[기고] 산업 AI 도입, 80%가 실패하는 진짜 이유

2024년 국내 제조업 인공지능(AI) 도입률이 35%를 넘어섰다. 그러나 랜드연구소(RAND Corporation) 연구에 따르면 AI 프로젝트 80%가 프로덕션 단계에 도달하지 못하고 있다. 일반 정보기술(IT) 프로젝트 실패율의 두 배다.

전시용 데모에서 빛났던 프로젝트가 현장에 투입되는 순간 좌초한다. 15년간 AI 현장에서 목격한 실패들은 한 가지 공통점을 보였다. 문제는 알고리즘이 아니었다. 흩어진 데이터, 불신하는 현장, 그리고 20년 된 시스템과의 단절이었다.

가장 흔한 실패는 데이터 준비의 과소평가다. 최첨단 레이싱카를 사고 연료 품질은 점검하지 않는 격이다. 한 반도체 기업은 수억원짜리 딥러닝 모델을 도입했지만, 20년 된 제조실행시스템(MES)의 데이터를 꺼내는 데만 8개월을 허비했다. 데이터는 시스템마다 흩어진 '사일로' 상태였고, 형식조차 제각각이었다. 더 큰 문제는 데이터의 '의미'였다. '온도 35도'라는 숫자 하나를 보자. 설비 센서 값인지, 제품 온도인지, 외부 기온인지를 사람은 맥락으로 안다. AI는 모른다. 라벨 없는 숫자는 AI에게 외국어와 같다. 60%의 AI 리더가 레거시 통합을 최대 장애물로 꼽는 이유다.

두 번째 실패 패턴은 역설적으로 '정확도의 함정'이다. 한 통신사의 네트워크 품질 예측 AI는 정확도 95%를 기록했다. 그런데 현장 엔지니어들은 외면했다. “왜 이 기지국이 문제라는 거죠?” 근거 없는 결론을 믿고 수천만원짜리 장비를 교체할 수는 없었다. 반도체도 다르지 않다. 0.1% 오류가 수십억 손실로 직결되는 곳에서 '블랙박스' AI는 통하지 않는다. 설명 가능한 AI(XAI)를 적용하자 상황이 달라졌다. “이 지역은 주변 기지국 신호가 기준치 이하이고, 3개월간 고객 불만이 2.3배 높았습니다” 근거가 보이니 엔지니어들이 움직였다.

세 번째 실패는 '없는 것을 가르치는' 문제다. 반도체 공정 99.9%는 정상이다. AI가 배워야 할 불량은 0.1%에 불과하다. 1만개 중 10개. 희귀결함 샘플을 모으려면 수년이 걸리거나 아예 불가능하다. 여기서 생성형 AI 기반 '합성 데이터'가 돌파구가 된다. 실제 불량 패턴을 학습한 AI가 '가상의 불량'을 만들어내는 것이다. 비행 시뮬레이터가 실제 추락 없이 조종사를 훈련시키듯, 합성 데이터는 희귀 상황을 재현한다. 이 방식으로 데이터 사각지대 예측 정확도를 30% 이상 향상한 사례도 있다. 다만 '가짜 데이터'로 훈련된 모델일수록 XAI 검증이 필수다. 결국 데이터 품질과 설명 가능성은 서로를 강화한다.

이런 실패를 극복한 기업에는 공통점이 있었다. '하이브리드 아키텍처'다. 챗GPT 같은 범용 AI의 유연함과, 99.9% 정확도를 추구하는 도메인 특화 AI를 결합한다. 예를 들어 “광주지역 커버리지 홀 찾아줘”라고 요청하면, 생성형 AI가 의도를 파악하고 전문 분석 모델들을 호출한다. 생성형 AI는 '통역사', 도메인 특화 AI는 '전문가'인 셈이다. 통역사가 질문을 전달하고, 전문가가 분석하고, 다시 통역사가 결과를 설명한다. 이 협업이 현장 수용성을 높인다. 다만 이 구조도 데이터 통합, 의미 연결, MLOps 인프라 없이는 작동하지 않는다.

산업 AI의 진짜 질문은 “어떤 AI?”가 아니다. “우리 현장의 암묵지를 어떻게 데이터로 바꾸고 연결할 것인가”다. 실패의 80%는 화려한 알고리즘이 아니라 데이터 거버넌스 부재, 현장 불신, 레거시 방치에서 비롯됐다. 실패한 80%의 교훈은 명확하다. 알고리즘보다 데이터, 속도보다 신뢰. 이 두 기둥을 먼저 세우는 기업만이 AI 시대 승자가 된다.

박명순 SK 텔레콤 경영자문위원 mspark@sk.com