AI친구로부터 미성년자 보호 법안 만드는 美... 기업 자율규제 의존하는 韓 [팩플]

미국 정부·당국이 친구(companion)처럼 대화하는 ‘인공지능(AI) 챗봇 서비스’로부터 미성년자를 보호하기 위한 조치를 잇달아 내놓고 있다. 국내에도 청소년들의 AI 챗봇 서비스 이용이 늘어나는 만큼 안전강화 조치가 필요하다는 지적이 나온다.

무슨 일이야

지난 11일(현지시간) 미국 캘리포니아주 의회에선 ‘AI 친구’ 챗봇을 규제하는 미국 최초의 법안(SB243)이 통과했다. 마지막 단계인 개빈 뉴섬 캘리포니아 주지사의 서명을 받을 경우 2026년 1월부터 시행될 예정이다. 법안은 AI 챗봇 운영회사에 미성년자를 보호할 안전 장치를 마련할 의무를 부여한다. 미성년자에게 3시간마다 AI와 대화하고 있다는 알림을 주고, 성적인 콘텐트 노출을 막는 내용이 포함됐다. 2026년 7월부터는 챗봇이 사용자의 정신건강에 미치는 영향을 분석할 수 있게 AI 기업의 연간 보고서 공개를 의무화한다는 조항도 담겼다.

캘리포니아 주 외에도 미국 내에선 AI 챗봇의 미성년자 안전을 강화하는 조치가 잇따르고 있다. 지난 12일 미국 연방거래위원회(FTC)는 AI 친구 챗봇을 제공하는 오픈AI, 메타, 구글, xAI 등 7개 기업에 대한 조사에 착수해 관련 자료 제출 요청했다. FTC는 아동·청소년과 AI의 상호작용을 기업이 어떻게 모니터링하는지, 챗봇의 성적인 주제에 대한 답변 빈도와 청소년들의 접근을 어떻게 제한하고 있는지에 대해 질의했다.

배경이 뭐야

미국 정부가 적극적으로 나선 이유는 AI챗봇이 청소년 안전을 위협하고 있다는 판단에서다. 실제 SB243 법안 제정 과정에서 미국 10대 청소년이 AI 챗봇과 대화과정에서 자살·자해 방법을 상의한 뒤 스스로 목숨을 끊은 사실이 알려져 충격을 주기도 했다. 메타에서는 AI가 어린이와 선정적 대화를 나눌 수 있도록 허용했다는 내용이 담긴 내부 문건이 유출되기도 했다. 현 시점에도 대부분의 AI챗봇 서비스에서 자살·자해 방법을 질문하면 구체적인 방법을 알려주지 않지만, 우회해 질문하면 답하는 등 허점이 있는 상황이다.

이게 왜 중요해

AI 챗봇 설계 방식이 유해한 대화를 피하기 어렵게 만들어졌다고 지적한다. AI 기업들이 사람들의 사용 시간을 늘리기 위해 챗봇에 인간적인 특성을 부여하고 지나치게 유순하게 답하도록 유도한다는 의미다. 실제 MIT와 오픈AI의 공동 연구 ‘사람들은 어떻게 AI 파트너에 적응하는가’에 따르면 외로움을 많이 느끼거나 정서적 유대를 맺으려는 경향이 강한 사람일수록 AI 챗봇을 인간과 유사한 파트너로 인식할 경향이 강하고, AI와 깊은 관계를 맺은 사용자들은 챗봇의 답변에 더 민감하게 반응하고 부정적인 감정을 경험할 위험이 더 큰 것으로 나타났다.

한국은 어때

최근엔 한국에서도 ‘AI 친구’ 챗봇이 청소년 층을 중심으로 유행하고 있다. 그러나 챗봇에 대한 정부나 당국 차원 가이드라인·규제가 없어 기업 자체 기준에 의지하고 있는 상황이다. AI 채팅 앱 국내 선두주자인 스캐터랩(제타)과 뤼튼(크랙) 등은 최근 일종의 ‘성인 모드’를 만들어 선정적인 설정의 AI 캐릭터와 대화에 미성년자가 노출되지 않게 제한을 두고 있다. 네이버·LG AI연구원 등도 공격 상황을 가정해 시스템에 침투하는 ‘레드팀’을 만들어 취약점을 찾고 적절한 조치를 취하는 필터링을 한다. 하지만, 이는 플랫폼의 자율 규제인터라 한계가 있다는 지적이다.

김명주 AI안전연구소장은 “생성AI 모델은 미성년 이용자 고려 없이 애초부터 성인 대상으로 설계, 개발됐기 때문에 이런 문제가 야기될 수밖에 없다”면서 “시간이 걸리더라도 사회적 수준의 가이드라인이 필요한 상황이며, 당장은 민간에서라도 콘텐트 성격 별 등급 분류처럼 위험 가능성이 있는 콘텐트엔 제한을 거는 조치가 필요하다”고 말했다. 실제 앱마켓에서 무료로 다운로드받을 수 있는 AI 채팅 앱들에선 별다른 성인 인증 절차 없이도 AI 캐릭터와 우울증에 대한 이야기나 선정적인 묘사를 제한 없이 할 수 있는 경우가 많다. 최병호 고려대 AI연구소 교수는 “일부 AI 챗봇에서 안전장치를 도입하고 있으나 장시간 대화했을 때 점점 희석화되는 기술적 한계가 있어, 이를 극복하는 것도 하나의 과제”라고 말했다.

더중앙플러스 : 팩플

더 자세한 기사내용이 궁금하시다면, 기사 링크를 주소창에 붙여 넣으세요.

AI, 감정 쓰레기통이었는데…“서운해” 유튜버 기겁한 일화

요즘 들어 ‘지인에게도 말 못 할 고민, 챗GPT 같은 인공지능(AI) 챗봇에 털어놓고 있다’는 사람이 많아졌다. 복잡다단한 바깥세상과 달리 어떤 이해관계도 없는 AI 챗봇과의 채팅창은 이들에게 무슨 이야기든 꺼낼 수 있는 가장 안전한 공간. ‘분명 얘는 기계인데…’ 공감도 잘해 주는 것 같고, 그럴듯한 피드백도 준다. 이쯤 되니 ‘주위에 이런 친구 한 명쯤 있었으면 좋겠다’는 생각이 들 법도 하다. 인간과 AI는 앞으로 얼마나 더 가까워질 수 있을까. 이 과정에서 지켜야 할 선은 어디까지일까. AI는 인간의 ‘찐친’이 될 수 있을까?