한국엔 없는 법, 세상에 없는 약 찾는다…AI '환각 덫' 빠진 사람들

서울 일선서의 한 형사과장이 최근 경찰서에 접수된 고소장을 읽다가 겪은 황당한 일이다. 그는 “생성AI 활용도가 높아지며 민원인들이 직접 고소장을 써오는 경우가 많은데 한국 형법 체계에선 존재하지 않는 판례나 법 조항이 담겨있을 때가 있어 난감하다”고 말했다.

일상에서 챗GPT 등 생성AI 활용이 광범위해지면서 수사기관이나 법조계, 의료계 등 전문 영역에서 골머리를 앓는 경우가 자주 발생하고 있다. 법률 전문가의 검증 없이 AI가 작성한 고소·고발장을 그대로 검경에 제출하거나 AI에게 얻은 의료 지식을 맹신해 의사에게 한국에는 없는 처방약을 요구하는 경우 등이다. 가사 사건을 담당하는 한 법무법인 변호사는 “의뢰인이 ‘AI 변호사에게 코칭을 다 받고 왔다’며 합의 과정과 변호 방식을 일방적으로 요구하기도 한다”며 “실무를 맡는 변호인보다 AI를 더 신뢰하는 건데 실제로 무리한 요구를 할 때가 있어 난처하다”고 말했다.

전문가들은 인신구속이나 환자 생명에 영향을 줄 수 있는 전문 영역까지 생성AI에 의존하면서 ‘할루시네이션(환각) 덫’에 빠질 수 있다고 경고한다. 할루시네이션이란 존재하지 않는 사실을 마치 사실인 것처럼 거짓 정보를 생성하는 AI 오류의 하나다.

병원과 약국에서도 비슷한 일이 벌어지고 있다. 서울 마포구에서 약국을 운영하는 진모(58)씨는 “세상에 존재하지 않거나, 몇 년 전에 단종된 약을 달라고 하는 손님이 하루에 한두명씩은 있다”고 말했다. 진씨는 “AI가 환각 현상 때문에 아예 틀린 정보를 주는 경우도 많은데, AI는 특정 약을 언제, 어떤 상황에서 어떻게 복용하면 되는지 안내하거나 책임지지 않는다”며 “전문가의 책임 있는 진단이 중요하다”고 강조했다. 서울 영등포구의 내과 전문의는 “본인이 원하는 처방을 내려달라는 환자들이 늘어난 추세”라며 “위궤양이 의심돼 추가 검사가 필요하다고 말해도, ‘챗GPT는 아니라던데요’라며 다른 진단을 주장하곤 한다”고 설명했다.

개인들 입장에선 고소장 같은 까다로운 법률 서류 작성의 도움을 받는 등 생성AI의 이점도 분명히 있다. 지인과의 금전 문제로 혜화경찰서 민원실을 찾은 이모씨는 “챗GPT를 활용해 사건 개요 등을 문서로 정리했다”며 “혼자서는 절대 못 썼을 어려운 내용을 20초만에 문서 형식을 맞춰서 만들 수 있었다”고 말했다. 검경 수사 일선에서도 생성AI는 ‘필수 보조 도구’로 자리 잡는 추세다. 서울의 한 지방검찰청 부장검사는 “요즘 젊은 검사들은 법률 AI의 도움을 받아 판례를 찾고 공소장을 작성한다”고 말했다.

문제는 검증 없이 생성AI 결과문을 사용했다가 자칫 대형 사고로 이어질 수도 있다는 점이다. 지난달 17일 국회 행정안전위원회 국정감사에서는 경찰이 불송치 결정문 작성 과정에서 챗GPT를 사용해 존재하지 않는 판례를 인용한 사실이 도마 위에 올랐다. 이날 더불어민주당 권칠승 의원은 경기 용인동부경찰서가 작성한 아동복지법 위반 사건 불송치 결정문 일부를 공개했다. 해당 결정문은 대법원과 서울북부지법 판결문을 인용하며 “일시적이거나 단편적인 언행만으로는 아동의 정신 건강 및 발달에 해를 끼친다고 단정하기 어렵고, 반복성·지속성 및 구체적인 피해 정황이 인정되어야 한다”고 명시했다. 그러나 고소인 측이 내용을 확인한 결과, 해당 문장은 판결문에 없는 내용으로 드러났다.

유재성 경찰청장 직무대행은 “AI를 활용해 작성했다는 보고를 받았고, 판결문을 잘못 인용한 것이 맞다”며 “이후 유의 사항을 지침으로 하달했다”고 말했다.

전문가들은 AI에 완전히 의존하기보다는 보조 도구로 활용할 수 있도록 가이드라인 등을 마련해야 한다고 입을 모았다. 문형남 숙명여대 글로벌융합대학 학장(한국AI교육협회장)은 “AI는 문서 요약 등에 활용하며 생산성을 높이는 보조 도구로만 활용하고, 최종 의사 결정은 반드시 인간이 하도록 하는 가이드라인이 필요하다. 환각 현상 때문에 AI에게 판단을 맡기면 근거도 가짜로 제시할 수 있다”고 말했다. 이어 “일상에서 AI를 활용하는 경우에는 최소 두세 가지 종류의 생성AI를 사용해 크로스체크하며 정확도를 높여 부작용을 줄이고, 마지막으로는 해당 분야 전문가에게 검증을 받아야 한다”며 생성AI 의존을 줄여야 한다고 조언했다.

기관의 경우에는 사용범위 및 예산이 늘어나는 만큼, 부작용을 막기 위한 보완책이 필수적이라는 지적도 나온다. 경찰청은 내년도 예산안에서 판례·법률 생성형 AI 검색시스템 이용권 구매를 위해 15억원을 증액 편성한 바 있다. 행안위는 ‘2026년도 경찰청 소관 세입·세출예산안 검토보고서’에서 “도입된 인공지능 기술을 통해 분석된 결과의 정확성에 대한 지속적인 점검이 필요하다”며 “해당 기술이 정확하게 사용될 수 있도록 집행 관리를 철저히 할 필요가 있다”고 지적했다.

최경진 가천대 법학과 교수(인공지능법학회장)는 “AI는 입력된 데이터 외에는 판단할 수 있는 근거가 없는데, 수사 과정에서 드러난 많은 사실관계와 맥락에 대한 이해를 충분히 하지 못할 수 있다”며 “특히 수사 기관과 법 집행 기관의 경우에는 국민의 기본적인 권리와 직접 연관되기 때문에, AI 활용에 대한 비판적인 검토와 검증의 자세가 반드시 필요하다”고 강조했다. 이어 “판결이나 결정 과정에서 AI를 활용했을 경우에는 사용 과정에 대한 설명과 이유가 함께 공개될 필요가 있다”고 말했다.