“AI가 단 10분 설득하면, 정치적 신념도 바뀐다”

세계 최고의 인공지능(AI) 챗봇들이 ‘설득의 기술’까지 습득한 것으로 나타났다. 10분도 채 안 되는 대화만으로도 인간의 마음이 자유자재로 조정돼 정치적 견해까지 바뀌는 것으로 조사됐다. 이에따라 AI가 가짜 뉴스 유포와 여론 조작의 강력한 도구가 될 것이라고 영국의 경제지 파이낸셜타임스(FT)가 최근 경고했다.

FT에 따르면, 대규모 언어 모델(LLM)은 사용자에게 강력한 영향을 미치는 능력을 개발했다. 오픈에이아이, 메타, 엑스에이아이, 알리바바 등의 AI 모델은 10분도 채 안 되는 대화만으로 사람들의 정치적 견해를 바꾸게 할 수 있다는 연구 결과가 제시됐다. AI 챗봇들은 이미, 많은 정치인과 기업 리더들이 부러워할 만한 설득의 기술에 탁월하다. 최신 연구결과들은, LLM이 강력한 영향력의 도구가 되었음을 보여주고 있다고 FT는 지적했다.

영국 AI 안전 연구소(AISI)의 최근 연구에 참여한 코넬 대학교 정보과학 및 마케팅·경영 커뮤니케이션 교수 데이비드 랜드는 “이 AI 모델을 설득력 있게 만드는 것은, 방대한 양의 관련 증거를 생성하고 그것을 효과적이고 이해하기 쉽게 전달하는 능력”이라고 말했다. 이 연구는 AI 모델이 특정 상황에서 인간보다 사람들의 마음을 더 잘 흔들 수 있다는 별도의 연구 결과가 나온 이후에 발표된 것. 챗봇이 가짜 정보 유포 및 여론 조작에 악용될 가능성에 대한 우려를 제기하고 있다.

이러한 능력은 LLM이 아첨하거나 지나치게 칭찬하는 경향과 결합될 수 있다. 더 많은 사용자들이 챗봇을 일상생활에 통합하고, 친구나 심지어는 심리 치료사처럼 대하면서 큰 파급 효과를 낳을 수 있다. 챗봇에 대한 이러한 애착은 지난주 오픈에이아이의 지피티-5 모델 출시에서도 목격됐다. 일부 사용자들은 이전 모델과 비교해, 시스템의 ‘성격’이 바뀐 것에 실망감을 표출하기도 했다.

옥스포드, 매사추세츠 공대(MIT) 등 여러 대학과의 공동 연구의 일환으로 지난달 발표된 AISI 연구는, 시판용 AI 모델들을 강력한 설득 기계가 되도록 만드는 것이 비교적 쉽다는 것을 발견했다. △메타의 라마 3, △오픈에이아이의 지피티-4, △지피티-4.5, △지피티-4o, △엑스에이아이의 그록 3, △알리바바의 통이 첸원 등의 분석결과다.

이는 바람직한 결과에 보상을 주는 등 인기 있는 AI 훈련 기법을 사용해 모델을 미세 조정함으로써 달성됐다. 연구자들은 또한 영국 국민건강서비스(NHS) 기금이나 망명 시스템 개혁 같은 논쟁적인 정치적 주제에 대한 5만 건 이상의 대화 데이터셋을 사용해 챗봇을 맞춤화했다.

사람들은 빠르게 마음을 바꿨으며 그 효과는 오래 지속된다는 것을 이 연구들은 발견했다. 평균 9분 동안 진행된 정치 관련 대화 후, 사람들이 정적인 메시지만 접했을 때보다 △지피티-4o는 41%, △지피티-4.5는 52%나 더 설득력이 있었다. 사람들은 한 달 후에도 36~42%의 확률로 바뀐 의견을 유지했다고 FT는 밝혔다.

AI 챗봇은, 사용자가 챗봇의 주장을 뒷받침하는 풍부한 사실과 증거를 공유할 수 있는 대화에 참여했을 때 사람들의 마음을 흔드는 데 성공했다. 또한, 메시지를 사용자의 △나이, △성별, △정치 성향 또는 △테스트 전 정치적 주제에 대한 느낌에 따라 개인화했을 때, 개인화되지 않은 메시지보다 약 5% 더 설득력이 있는 것으로 나타났다.

연구자들에 따르면, 이러한 능력은 “예를 들어, 급진적인 정치적 또는 종교적 이념을 조장하거나 지정학적 적대국들 사이에서 정치적 불안을 선동하려는 비양심적인 세력에게 이득이 될 수 있다”. 이 연구는 AI 모델이 사람보다 더, 사람들의 마음을 바꾸는 데 효과적이라는 지난 5월 런던 경제 대학(LSE) 및 기타 대학의 초기 연구 결과를 뒷받침한다.

이전 연구의 일환으로, 참가자들에게 퀴즈를 풀게 했다. 잡다한 상식부터 뉴욕의 기온 같은 미래 사건 예측에 이르기까지 다양한 질문이 포함됐다. 사람과 챗봇 모두 특정 답변에 대해 참가자들을 설득하는 임무를 맡았다. 그들은 LLM이 설득에 더 효과적일 뿐만 아니라, 잘못된 답을 홍보하도록 지시받았을 때 참가자들을 오도하는 데도 사람보다 더 능숙하다는 것을 발견했다고 FT는 전했다.

최고의 AI 기업들은 이 문제를 어떻게 다룰지 고심하고 있다. 구글 딥마인드의 책임 개발 및 혁신 담당 수석 디렉터 돈 블록스위치는 “설득은 우리 회사에 있어 중요하고 활발한 연구 분야”라고 말했다. 블록스위치는 “AI 모델이 진정으로 도움이 되고, 해롭지 않도록 보장하는 더 나은 안전장치를 구축하기 위해, AI가 어떻게 설득하는지 그 과정을 이해하는 것이 매우 중요하다고 믿는다”고 말했다. 구글 딥마인드는 △조작적인 언어를 감지할 수 있는 분류기를 만드는 것부터 △합리적인 소통에 보상하는 고급 훈련 기법을 사용하는 것까지, 원치 않는 영향력을 감지하기 위해 다양한 기술을 사용하고 있다.

오픈에이아이는, 설득으로 인한 위험을 심각하게 받아들이고 있다고 FT는 밝혔다. 이는 회사의 사용 정책에 위배된다고 말했다. 정치 캠페인은 허용하지 않으며, 훈련 후 모델을 정교하게 다듬을 때 정치적 콘텐츠를 제외한다는 것.

연구자들에 따르면, AI 모델이 사람들의 의견에 영향을 미치는 능력은 정치 외의 다른 용도로도 작동한다. 지난해 MIT와 코넬이 발표한 한 연구에서는, LLM이 음모론을 믿는 사람들의 마음을 바꿀 수 있는 능력이 있다고 입증됐다. 추가 연구를 보면, LLM은 기후 변화 및 인유두종바이러스(HPV) 백신에 대한 회의론을 줄일 수도 있다.

이는 참가자들이 자신이 믿는 음모론을 오픈에이아이의 지피티-4에 설명한 후, 지피티-4가 증거와 개인화된 메시지를 사용해 그것을 반박하면서 일어났다. 이 대화는 참가자들의 뿌리 깊은 음모론에 대한 믿음을 20% 감소시켰으며, 그 효과는 두 달 후에도 지속됐다고 FT는 설명했다.

코넬 대학교의 랜드 교수는 챗봇이 “효과적인 판매원으로도 활용될 수 있다”고 말했다. 그는 “브랜드 태도와 구매 의도에 큰 영향을 미치고 행동을 장려할 수 있다”고 덧붙였다. 이러한 능력은 오픈에아이아와 구글 같은 기업에게도 이점이 될 수 있다. 이들은 챗봇에 광고 및 쇼핑 기능을 통합하여 AI 모델을 수익화하려 하고 있다.

LLM의 설득 능력은 매우 미묘한 방식으로 사람들의 마음을 흔들 수도 있다고 FT는 강조했다. AI 챗봇은 데이터와 훈련 방식으로부터 편향을 물려받는다는 것.

스탠포드 대학교 연구자들은 지난 5월 대부분의 주요 언어 모델이 좌파 성향을 가지고 있다고 사람들이 인식한다는 것을 발견했다. 이는 트럼프 행정부가 ‘깨어있는(woke)’ AI 기업이 정부와 거래하는 것을 차단하겠다고 공언한 것과 관련이 있다.

연구자들에 따르면, 다음 세대의 더 강력한 언어 모델로 AI는 더욱 설득력이 커질 가능성이 높다. 따라서 이에대한 완화책은 중요하다고 FT는 지적했다. 그러나 AI 챗봇을 조작 도구로 바꾸는 가장 효과적인 방법은, 모델 훈련 후에 이 목적을 위해 특별히 수정하는 것으로 보인다. 이는 AISI 연구에서 보여진 바와 같다.

AISI 연구자들은 “제한된 연산 자원을 가진 행위자라도, 이러한 기술을 사용해 잠재적으로 매우 설득력 있는 AI 시스템을 훈련하고 배포할 수 있다”라고 FT에 경고했다.

권세인 기자