과대 포장된 인공지능 ‘현주소’를 직시하라

AI 버블이 온다

아르빈드 나라야난·사야시 카푸르 지음

강미경 옮김

윌북 | 420쪽 | 2만4800원

19세기 말과 20세기 초 미국에는 뱀에서 추출한 기름을 만병통치약으로 포장해 사기를 치는 장사꾼이 많았다. 이들은 사람들의 건강에 대한 욕망과 의학에 대한 무지를 악용해 이익을 취했다. 뱀기름을 산 사람들은 아까운 돈을 날리거나, 최악의 경우에는 가짜 뱀기름에 포함된 유독성분 탓에 목숨을 잃기도 했다. 를 쓴 프린스턴 대학교 정보기술정책센터 소장 아르빈드 나라야난과 연구원 사야시 카푸르에 따르면, 인공지능(AI)의 능력과 위협을 과장하는 연구자, 기업, 미디어야말로 21세기의 뱀기름 장수들이다.

AI 분야의 ‘뱀기름 감별사’ 역할을 자처해온 저자들은 AI를 ‘예측형 AI’ ‘생성형 AI’ ‘범용 AI(AGI)’ ‘콘텐츠 조정 AI’ 등으로 구분해 논의를 진행한다.

저자들이 가장 강하게 비판하는 것은 예측형 AI다. 자동화된 의사결정 시스템인 예측형 AI는 제대로 작동하지 않거나 사회적 편견에 따라 작동한다.

미 프린스턴대 정보기술정책센터 소장과 연구원 ‘AI 버블’ 위험성 지적

자동화된 의사결정 시스템‘예측형 AI’는 제대로 기능 못한다고 비판

‘범용 AI’실현 가능성에 동의…일각‘인류 절멸’ 경고엔 “엉터리 주장”

네덜란드는 2003년 복지 사기를 적발해 고발하는 AI를 도입했다. 이후 6년 동안 부모 3000여명이 복지 사기 혐의로 고발됐다. 부모들은 근거도 모른 채 고발됐지만 이의를 제기할 수도 없었다. 불만이 누적된 결과 시작된 조사에 따르면, AI는 국적을 차별했다. 튀르키예나 모로코, 동유럽 등 저개발국 출신 부모들일수록 복지 사기를 저지를 위험이 높다고 예측한 것이다.

예측형 AI를 판매하는 기업들은 ‘인간의 감독 없이 사용하면 안 된다’는 유보조항을 내걸지만 책임을 회피하려는 알리바이일 뿐이다. 정부든 기업이든 어느 조직에서 AI를 도입했을 때 고위급들은 십중팔구 실무자들의 이의 제기보다는 많은 비용을 주고 구축한 AI의 판단을 더 신뢰한다. 미국 건강보험사 유나이티드헬스는 AI의 결정에 강하게 반대하는 직원들은 해고될 수 있다고 위협했는데, 나중에 알고 보니 이 AI가 내린 결정의 90%가 잘못된 것이었다.

천체 운행이나 대기 흐름 같은 물리적 현상과 달리 문화 현상이나 형사사법, 팬데믹 등 사람들의 행위와 관련된 사회적 문제들을 높은 확률로 예측하는 것은 불가능하다고 저자들은 말한다. 이런 문제에는 구성원들의 의지보다는 환경적 변수가 많이 작용하고, 그 변수들조차 정해진 법칙이 아니라 우연에 좌우되는 경우가 많다. AI의 머신러닝 시스템(데이터를 통해 패턴을 학습하면서 성능을 개선하는 알고리즘)은 이런 예측에 적합하지 않다. “정확히 예측하려면 세상에 존재하는 것보다 더 많은 인간의 데이터가 필요할지도 모른다.”

엑스나 페이스북 등 소셜미디어에서 유해한 콘텐츠를 잡아내는 ‘콘텐츠 조정 AI’도 결함이 많다. AI가 맥락을 인지하는 능력이 떨어지기 때문이다. 2021년 한 남성은 걸음마를 시작한 아들의 성기가 부어 있는 것을 보고 안드로이드폰으로 사진을 찍어 의사에게 보냈다. 구글 AI는 클라우드에 업로드된 이 사진을 아동 성학대로 판단하고 계정을 폐쇄한 뒤 경찰에 신고했다. 한 엑스 이용자는 만화 <캡틴 아메리카>에서 주인공이 나치를 후려갈기는 이미지를 올렸다가 나치 이미지를 사용했다는 이유로 AI에 의해 계정이 차단됐다. “소셜미디어 알고리즘이 사용자의 참여를 극대화하도록 최적화되었다”는 점을 고려할 때 이 문제가 개선될 여지는 많지 않다. 사람들은 자극적이고 위험한 콘텐츠를 자주 클릭하는 경향이 있고, 소셜미디어 플랫폼은 그런 행동을 부추기도록 설계돼 있다.

생성형 AI의 성능이 빠르게 개선되면서 일각에서는 인간의 지능을 넘어서는 AGI가 실현될 날이 머지않았다는 전망이 나온다. 저자들도 초지능을 갖춘 AGI가 언젠가는 실현될 것이라고 본다. 그러나 AGI에 의해 인류가 절멸할지도 모른다는 경고는 “엉터리 주장”이라고 일축한다.

AI의 위험성과 관련된 대표적인 것은 AI가 인간이 제시한 목표를 달성하기 위해 오히려 인간을 제거하는 상황이 닥칠 수 있다는 두려움이다. 저자들은 AGI가 그러한 반인간적·비윤리적 행동을 한다는 가정 자체가 어불성설이라고 말한다. “혼자 또는 자신의 창조자를 무시한 채 행동하는 AI가 AI의 도움을 받는 사람보다 장차 더 유능해질 것이라고 생각할 이유는 없다. AI가 혼자 어떤 일을 할지보다 사람들이 AI로 무엇을 할지를 훨씬 더 걱정해야 한다. 그리고 우리는 곧 악의적인 인간 행위자들의 위협에 직면하게 될 것이다.”

저자들은 위험한 AI 시스템의 출현을 막기 위해 AI 기술의 확산을 억제해야 한다는 일각의 주장에 대해서도 비판적이다. 그것은 소수의 회사들만 몰래 AI를 개발하도록 함으로써, 더 많은 사람들이 AI의 성능을 비판적으로 논의할 가능성을 줄이는 결과를 낳는다는 것이다.

AI의 위험을 과장하는 것은 오히려 AI의 능력을 광고해주는 역효과를 낳을 수 있다. 헨리 키신저 전 미국 국무장관, 에릭 슈밋 전 구글 최고경영자(CEO), 대니얼 허튼로커 MIT 교수는 2021년 라는 책에서 AI의 강력한 파괴력이 우려된다고 지적했는데, 저자들은 이 책이 “과학기술의 한계를 지적하기보다 오히려 그것을 전능한 대상으로 묘사하는 꼴”이 됐다고 짚는다.

저자들은 오픈AI가 챗GPT-4를 출시한 지 한 달도 되지 않은 2023년 3월 미국의 비영리 연구기관 미래생명연구소에서 발표한 공개서한에 대해서도 비판적이다. 서한은 모든 일자리의 자동화가 대량 실업으로 이어질 것이라고 했는데, 이는 ‘AI가 일반 업무에서 인간과 경쟁할 수 있게 됐다’는 오픈AI의 주장을 검증 없이 수용한 것에 불과하다는 것이다.