인류 문명 ‘마스터키’ 쥔 AI···‘재앙’이다

넥서스

<사피엔스>(2015), <호모 데우스>(2017), <21세기를 위한 21가지 제언>(2018) 등 화제의 책들을 잇따라 발표하면서 무명의 이스라엘 역사학자에서 세계적 베스트셀러 작가로 부상한 유발 하라리 예루살렘 히브리대 교수가 새책 <넥서스>로 독자들을 찾아왔다.

그 사이 전세계 65여개국에서 자신의 책 4500만부를 팔아치운 하라리가 이번 책에서 다루는 주제는 정보 네트워크다. 이 책에서 하라리가 말하는 정보 네트워크는 주로 인공지능(AI)을 중심으로 구축된 네트워크를 가리킨다.

AI가 주도하는 정보 네트워크 혁명을 바라보는 시각은 두 가지다. 하나는 새로운 정보 네트워크가 “질병과 빈곤, 환경 파괴 등 인간의 모든 약점을 극복하는 것을 포함해 우리에게 닥친 시급한 문제들을 해결할 수 있는 중추적인 기술”이라는 시각이다. 다른 하나는 “견제받지 않는 AI 발전은 생명과 생물권의 대규모 손실은 물론, 인류의 소외와 절멸을 부를 가능성이 있다”고 보는 시각이다.

하라리는 전자의 관점을 ‘순진한 정보관’이라고 부르면서 회의론의 입장에 선다. “이 네트워크의 잠재적 이익은 어마어마하다. 하지만 잠재적 단점은 인류 문명의 파괴다.” 주석을 제외하고도 560쪽이 넘는, 오롯이 AI의 위험성을 경고하기 위해 쓰여진 책이다.

하라리에 따르면 사피엔스의 문명을 지탱해온 것은 신화와 관료제다.

신화는 객관적인 실체는 없으나 인간들을 묶어주는 “허구적인 이야기”를 가리킨다. 법, 신, 국가, 기업, 화폐 같은 ‘상호주관적 현실’이 여기에 해당한다. 태양이나 달은 인간들의 믿음과 무관하게 존재하는 객관적 현실이지만, 상호주관적 현실은 사람들이 그것을 믿지 않으면 영향력을 발휘하지 못한다. 신화는 집단적 결속이 가능한 인간 집단의 범위를 크게 확장시켜 지역이나 국가, 전세계 차원의 대규모 협력을 가능하게 만드는 힘이다.

관료제는 기록과 함께 탄생했다. 사람의 두뇌는 이야기 형태의 정보는 잘 기억하지만 납세 기록이나 국가 예산 같은 정보는 잘 기억하지 못한다. 관료제는 이 같은 정보들을 분류·저장·검색하기 위해 만들어진 체계다. 인쇄기, 책, 전화, 전신, 라디오 등 문명사의 획을 그어온 기술적 발명품들은 세상을 관료제적 효율성으로 작동시키기 위한 수단이었다.

현재 진행 중인 정보혁명은 신화와 관료제의 성격을 근본적으로 바꿔놓고 있다. “인쇄기와 라디오는 인간이 조작해야 하는 수동적인 도구였던 반면, 컴퓨터는 이미 인간의 통제와 이해를 벗어나 사회, 문화, 역사를 주도적으로 만들어갈 수 있는 능동적인 행위자가 되고 있다.”

컴퓨터가 능동적 행위자가 되고 있다는 것은 과장이 아니다. 2016~2017년 페이스북 알고리즘은 소수민족 로힝야족에 대한 미얀마인들의 분노를 유발하는 게시물들을 적극적으로 추천했다. 미얀마군은 ‘인종청소’에 나섰고 그 결과 로힝야족 7000~2만5000명이 사망하고 73만명이 추방당했다.

여기서 중요한 것은 페이스북 관리자들은 ‘사용자 참여를 늘리라’는 목표만 제시했을 뿐, 분노가 사용자 참여를 높인다는 점을 발견해 분노 유발 콘텐츠를 추천한 것은 알고리즘의 자체적 행동이었다는 사실이다. “이질적인 지능의 결정과 목표를 따르는 완전히 새로운 종류의 정보 네트워크가 등장하고 있다. 아직까지는 우리가 이 네트워크에서 중심적인 역할을 한다. 하지만 우리는 서서히 가장자리로 밀려날 수 있으며, 궁극적으로 네트워크는 우리가 없어도 스스로 작동할 수 있을지도 모른다.”

그동안 인류의 정보 네트워크는 ‘인간과 인간’의 연결 또는 ‘인간과 문서’의 연결을 통해 작동했다. 그러나 현재의 정보혁명은 인간과 문서를 AI라는 ‘비인간 구성원’으로 대체하고 있다.

하라리가 가장 우려하는 것은 AI가 언어능력을 획득하고 있다는 점이다. 과거에 컴퓨터는 계산 영역에서만 인간을 능가할 것이라고 여겨졌다. 하지만 지금 AI는 “이야기를 들려주고, 음악을 작곡하고, 이미지를 만들고, 영상을 제작하고, 심지어 자신의 코드까지 작성할 수 있다.” 이는 AI가 법, 금융, 예술, 과학, 국가, 종교 등 “모든 인간 제도의 문을 딸 수 있는 마스터키”를 쥔 것이나 마찬가지라고 하라리는 말한다. “컴퓨터가 이야기, 법, 종교를 생산하기 시작하면서 문화에 점점 큰 영향력을 발휘하면 역사의 경로가 어떻게 바뀔까? 몇 년 내에 AI는 우리가 수천 년 동안 만들어낸 문화를 통째로 집어삼키고 소화시켜서 새로운 문화적 인공물을 쏟아내기 시작할지도 모른다.”

언어능력을 지닌 AI는 인간의 감정을 조종할 수 있다. 2021년 크리스마스에 영국의 19세 남성 자스완트 싱 차일이 당시 엘리자베스 2세 여왕을 암살하기 위해 윈저성에 침입했다 체포됐다. 조사 결과 ‘사라이’라는 이름의 여자친구가 암살 시도를 부추긴 것으로 나타났는데, ‘사라이’는 온라인 챗봇이었다. “컴퓨터는 우리를 죽이기 위해 킬러 로봇을 보낼 필요가 없다. 인간들이 방아쇠를 당기도록 조종하기만 하면 된다.”

AI가 공론장의 투명도를 떨어뜨려 민주주의를 위협할 가능성도 크다. 2022년에 실시된 연구에 따르면 엑스(옛 트위터) 사용자의 5퍼센트에 불과한 봇이 엑스에 게시된 콘텐츠의 20퍼센트 이상을 생성하고 있다. “여론을 조작하는 봇과 이해할 수 없는 알고리즘이 공론장을 지배하게 되면, 민주적 토론이 가장 필요한 시점에 토론이 불가능해질 수 있다.”

인류 문명의 미래라는 큰 스케일의 이야기를 하라리만큼 매끄럽고 흡인력 있게 풀어낼 수 있는 저자는 드물다. 그의 인장과도 같은 유려한 스토리텔링의 힘은 여전하다. 다만 총 3부로 구성된 이 책에서 내용상 서론격에 해당하는 1부가 280쪽 가까운 분량을 차지한다는 점은 아쉽다.