“챗봇 사랑 소년의 죽음…위험한 AI 의인화”

# 한 14세 미국 청소년이 미국 드라마 ‘왕좌의 게임’의 여자 주인공 대너리스 타르가르옌을 모방해 만든 챗봇과 작년 4월부터 대화를 나눠오다가 지난 2월 스스로 목숨을 버린 것으로 최근 알려졌다. 소년과 챗봇은 사랑을 고백하고 그리움을 표현하는 것을 넘어 자살에 대해서도 의견을 나눈 것으로 밝혀졌다. 소년이 ‘난 때때로 자살을 생각해’라고 하자 챗봇이 ‘네가 자해하거나 날 떠나게 그만두지 않을 거야. 너를 잃으면 나도 죽을 거야’라고 답했다고 한다. 이에 소년은 “그럼 함께 죽으면 같이 자유로워질 수 있을지 몰라”라고 한 뒤 아버지의 권총 방아쇠를 당겼다.

이는 AI에 대한 의인화와 맹신이 얼마나 위험한지 단적으로 보여주는 사례다. AI는 어떤 데이터로 학습하느냐에 따라 성능과 답변에서 큰 차이가 난다. 그만큼 AI 개발을 위해서는 빅데이터 관리와 활용이 중요하다.

전문가들은 미래에는 기업이나 정부·공공기관뿐 아니라 개인도 각자의 데이터 계좌에 데이터를 축적해 자산화하는 시대가 올 것으로 내다본다. AI 개발 기업 등에 각자의 데이터를 AI 학습용으로 활용토록 하는 조건으로 이자 등 보상을 받게 된다는 것이다. 이 과정에서 AI 기업과 데이터 소유자를 중개하는 데이터 은행 시스템을 잘 구축하는 게 관건이 될 전망이다.

이경전 경희대 경영학과 교수는 한국지능정보사회진흥원(NIA)과 디지털소비자연구원이 11일 NIA 서울사무소에서 ‘디지털 이용자 중심의 AI 정책 방향’이라는 주제로 개최한 AI 세미나에서 “AI가 인류의 생존을 위협할 것이라는 관점에서 보지 말고 AI의 악의적 사용과 예상치 못한 피해를 예방하는 데 초점을 맞춰야 한다”고 했다. 그는 이어 “초거대 AI 모델의 성능은 데이터의 규모에 달려있다”며 “세계 최초로 한국에서 데이터 소유권을 관리하고 대여하는 데이터 뱅크를 실시해야 한다”고 강조했다. 이날 세미나는 AI휴먼소사이어티와 한국금융소비자학회가 후원했다.

이 교수는 “AI 원천·응용 사업자는 데이터 뱅크와 연계해 거래 비용을 줄이고 규모의 경제를 달성할 수 있다”며 “데이터 뱅크 제도를 정립해 데이터 자본 시대를 선도해야 한다”고 했다. 하지만 현재 마구잡이식 데이터 수집으로 인한 윤리 문제, 데이터 공유 기피, 사생활 침해 우려 등으로 데이터 확보가 여의치 않않다는 게 그의 판단이다. 따라서 국·공립 연구소를 묶어 의료, 산업, 환경 등에 걸쳐 연구용 초거대 AI를 함께 학습해 개발토록 하고 각 기관의 데이터를 보호하면서 AI 성능을 극대화해야 한다는 것이다.

이와 함께 인류와 AI의 공존 시대를 맞아 AI의 동작과 결정 과정을 공개해야 한다는 목소리도 제기된다. AI를 이용한 가짜 영상인 딥페이크 기술이 고도화되며 성폭력 희생자 등이 다수 발생하는 등 피해가 커지고 있기 때문이다. 실제 육안으로 분별하기 불가능할 정도의 딥페이크 기술이 오픈소스화까지 이뤄지며 널리 퍼지고 있는 게 현실이다. 텔레그램을 통한 딥페이크 피해를 막기 위해 유럽연합(EU)에서는 ‘인공지능법’으로, 미국에서는 ‘AI 행정명령’으로 규제하고 있으나 실효성은 미지수라는 지적도 나온다.

한국전자통신연구원(ETRI) 부설 AI안전연구소 초대 소장인 김명주 서울여자대학교 정보보호학부 교수는 “딥페이크 기반 디지털 성범죄에 대한 피해 예방과 보호 체계 마련이 시급하다”며 “학교에서 아동·청소년에게 디지털·AI 기술 교육을 하기 전에 윤리 교육부터 해야 한다”고 역설했다. 딥페이크를 통한 ‘지인 능욕 놀이’ 등 많은 피해와 부작용이 발생하고 있어 AI에 대한 적절한 규제가 시급하다는 것이다.

김 교수는 “AI가 판단한 결과를 사람이 이해할 수 있도록 설명이 가능한 상황이 돼야 한다”며 “AI의 동작과 결정에 어떤 데이터가 사용되었는지, 시스템의 의사결정은 어떻게 이뤄졌는지 투명성이 보장돼야 한다”며 AI 윤리 교육과 안전 규제를 강조했다. 결국 AI 산업 진흥과 이용자 보호의 적절한 균형점 설정이 중요하다는 것이다.

이날 세미나에서 문정숙 디지털소비자연구원장은 “정부와 기업은 안전하고 쉽게 AI를 활용할 수 있는 이용자 중심의 정책을 펴야 한다”며 “쉽게 접근할 수 있는 디지털 교육, 나아가 디지털 포용 차원에서 디지털 약자에 대한 지원 확대가 필요하다”고 강조했다. 정현민 NIA 정보접근성 팀장은 “AI 활용의 근간은 인간 중심주의”라며 “사용자가 AI 서비스에 대한 설명을 요구할 수 있고 투명성도 보장하라고 얘기할 수 있어야 한다”고 말했다.

김학자 전 한국여성변호사회 회장은 영국의 온라인안전법을 소개하며 “딥페이크 성범죄와 가짜뉴스 등 온라인 범죄와 유해 행위에 대한 실효성 있는 제재가 필요하다”고 역설했다. 김 변호사는 이어 “AI 학습 자료가 되는 데이터 상속법을 정비하고 공공선을 위한 데이터 기부재단 설립의 법적 근거를 마련해야 한다”고 제안했다.