음란 딥페이크 미차단, 팔짱인데 ‘싸움’…공공AI 신뢰도의 민낯

생성형 인공지능(AI)으로 제작된 딥페이크 음란 사이트의 실제 접속 차단율이 14.6%(이동통신 3사 기준)에 불과한 것으로 나타났다. 일반 AI 기술을 활용하는 지능형 폐쇄회로(CC)TV의 경우 한국인터넷진흥원(KISA) 인증 제품이 미인증 제품보다 탐지 정확도가 낮은 것으로 파악됐다.

감사원은 5일 이런 내용을 담은 AI 대비 실태(신뢰성 확보 분야) 감사 결과를 발표했다. 감사 보고서에 따르면, 방송미디어통신심의위원회가 2024년 접속차단을 요구한 딥페이크 음란물(생성형 AI 오남용) 사이트 2만3107개 중 감사원이 1000개를 무작위로 추출해 실제 접촉 차단 여부를 확인한 결과 85.4%(854개)가 이동통신 3사 중 적어도 1곳 이상에서 접속이 가능했다. 접속 가능 사이트 중 20.3%(173개)는 단순 접촉 차단 시스템 등록 누락 때문이었지만, 79.7%(681개)는 CDN(Contents Delivery Network·콘텐트 전송 네트워크) 기술을 통한 우회 접속이 원인이었다.

접속 차단이 요청된 사이트는 주무 기관인 방미심위의 무관심 속에 장기간 접속 가능 상태로 방치됐다. 방미심위는 매월 접속 차단 요청 사이트 중 2000개를 무작위 선정해 실제 차단 여부를 점검하지만, 그 대상은 총 9개 이동통신사 중 2개뿐이었다. 2022년 3월~2024년 5월엔 사후 점검으로 8331개 사이트에 대한 접속 가능 사실을 확인했으나, 2024년 7월까지 아무런 조치를 하지 않았다. 2024년 6월~지난해 5월 접속 가능 사실을 인지한 7250개 사이트에 대해서도 지난해 9월 감사 전까지 어떠한 조치도 이뤄지지 않았다.

2022년 10·29 이태원 참사 이후 확대 도입한 지능형 CCTV의 문제점도 드러났다. 지능형 CCTV는 사람과 사물의 행동 패턴 등을 분석해 위험 징후를 자동으로 감시하는 CCTV다. 감사원이 서울 25개 자치구를 표본으로 지능형 CCTV의 배회·침입·쓰러짐·싸움 등 탐지 성능을 확인한 결과, 11개 자치구에서 사용하는 KISA 성능 인증 제품의 정확도(배회 82.6%, 침입 52.3%, 쓰러짐 28.0%, 싸움 12.4%)가 나머지 7개 자치구에서 사용하는 미인증 제품의 정확도(배회 93.3%, 침입 58.0%, 쓰러짐 48.0%, 싸움 12.4%)보다 낮았다.

이러한 현상은 KISA가 제작·배포하는 AI 학습용 영상에 이상 상황(진실 데이터)만 담기고 유사 상황(거짓 데이터)은 빠졌기 때문이라고 감사원은 진단했다. 국제표준화기구와 국제전기기구는 AI 학습·평가 시 진실·거짓 데이터를 모두 활용하도록 하고 있지만, 한국은 현행 개인정보보호법상 실제 데이터를 AI 학습에 활용하기 어려워 KISA가 직접 연출한 진실 데이터 영상만을 기업 등에 배포하고 있다. 이 때문에 팔짱이나 어깨동무를 싸움으로 인식하거나, 팔굽혀펴기 운동을 하는 사람을 쓰러짐으로 탐지하는 경우가 잦았다.

이에 감사원은 방송미디어통신위원회와 방미심위에 현장 실사와 사후 점검 강화로 딥페이크 음란물 접속 차단 조치의 실효성을 제고하고, 해외 임시 저장 서버를 통한 우회 접속 문제를 해결하기 위한 식별·차단 기술 개발 등을 주문했다. 과학기술정보통신부에는 지능형 CCTV 성능 향상을 위한 학습데이터 추가 구축을 촉구했다. 행정안전부에도 2021년 7월 이후 전무했던 ‘공공분야 AI 도입을 위한 실무자 안내서’의 교육·홍보 강화 등 공공부문 AI 도입에 대한 지원체계 개선 방안을 마련하라고 통보했다.

감사원은 1월 22일 시행 예정인 AI기본법상 안전과 기본권에 중대한 영향을 미치는 고영향 AI에 관한 규제에 대해서도 명확한 해석 기준을 마련하라고 과기부에 통보했다. 감사원은 “AI 기술이 빠른 속도로 발전함에 따라 신뢰성과 관련된 새로운 이슈가 지속적으로 제기될 전망”이라며 “정부는 AI와 관련된 부작용 발생 실태를 지속적으로 추적 관리할 필요가 있다”고 했다.