알고리즘이 ‘스스로 판단해 살상하는’ 전쟁, 머지 않았다

※화학물질 규소(Si)를 뜻하는 실리콘은 ‘산업의 쌀’ 반도체의 중요한 원재료입니다. ‘실리콘밸리’처럼 정보기술(IT) 산업 그 자체를 뜻하기도 합니다. ‘김상범의 실리콘리포트’는 손톱만 한 칩 위에서 인류의 미래를 이끄는 전자·IT 업계 소식을 발빠르게 전하는 칸업 콘텐츠입니다. 더 많은 내용을 읽고 싶으시면 로그인해 주세요!

이달 초 우크라이나 남동부 자포리자주의 교외, 한 러시아 군인이 전선을 순찰하고 있다. 갑자기 병사의 머리 위로 자그마한 그림자가 날아들었다. 이내 폭발음과 함께 주위는 자욱한 흙먼지로 뒤덮였다. 병사의 모습은 오간 데 없다. 폭발물이 담긴 자살 드론, 이른바 ‘가미카제 드론’이다.

러시아·우크라이나 전장은 드론이 지배하고 있다고 해도 과언이 아니다. 드론은 값싸고 재빠르며 눈에 잘 띄지 않는다. 양국 군대는 드론에 폭탄을 묶어 상대편 탱크와 보병을 향해 끊임없이 날려보낸다. 드론에게서 도망치는 것은 불가능에 가까우니 차라리 스스로 목숨을 끊으라는 조언이 병사들 사이에서 암암리에 전승될 정도다. 그러나 몇몇은 수㎞ 바깥의 드론 조종사를 향해 두 손을 모으고 인정에 호소한다. 그리고 때로 목숨을 구한다.

조만간 이마저도 소용없어질 가능성이 크다. 전장이 더없이 비정해지고 있기 때문이다.

복잡한 드론 기동, AI가 손쉽게···“오펜하이머 모멘트 도래”

지금까지의 드론 조종은 전적으로 조종사의 손기술에 달려 있었다. 빠른 속도로 도망쳐 건물·참호 안에 숨어든 적군에게 전후좌우 날렵한 기동을 펼치며 자폭 드론을 날려보내는 기술은 노련한 조종사가 아니라면 흉내를 내기도 어렵다.

하지만 올해 초 러시아가 전투용 드론의 메인프로세서에 인공지능(AI)을 탑재하면서 드론전의 양상이 약간 달라졌다. 포브스는 “AI를 이용하면 가장 기동이 어려운 마지막 몇 초 동안의 비행을 자동으로 조종할 수 있다”고 전했다. 우크라이나군도 대응에 나섰다. 자포리자주 전선에서 러시아 병사에게 주저 없이 날아든 우크라이나군 118기계화여단 소속 드론을 조종한 주체는 인간이 아니었다. AI였다. 정확히는 ‘신형 AI 유도 드론’의 시험 비행이었다. 테스트 대상이 된 러시아 병사는 눈 깜짝할 새 죽었다.

사실 컴퓨터는 이미 수십년간 방어, 탐색, 추적, 데이터 수집, 분석에 이르기까지 광범위한 군사 영역에서 사용돼왔다. 그러나 최근 들어 AI의 ‘자율성’이 급격히 확대되고 있다. 미 국방부는 AI가 결합된 자율 무기체계를 “일단 활성화되면 인간의 개입 없이 목표를 선택하고 공격할 수 있는 무기 시스템”으로 규정한다. 목표물을 공격하기로 스스로 결정하는 무기체계의 등장, 일각에서는 1945년 원자폭탄 발명을 도운 과학자의 이름을 따 “AI의 ‘오펜하이머 모멘트’가 도래했다”고 경고한다.

이런 경향은 러시아·우크라이나 전쟁과 이스라엘·팔레스타인 분쟁을 통해 가속화됐다. AI 도입으로 우크라이나 살상용 드론의 정확도는 지난해 50%에서 올해 80%까지 올라갔다. 이 시스템은 미국의 국방 전문 AI 기업 팔란티어가 제공했다. 팔란티어 AI가 내장된 ‘세이커 정찰 드론’은 10㎞ 범위에서 군인·탱크·차량 등을 식별하고 언제, 어떤 무기로 공격하는 게 가장 효율적인지 분석한다.

지난 4월 이스라엘 독립 언론 ‘+972 매거진’에 따르면 이스라엘군은 ‘라벤더’라는 이름의 AI 타기팅 소프트웨어를 사용하고 있다. 하마스와 연계된 무장조직 ‘팔레스타인 이슬람 지하드(PIJ)’ 구성원을 군중 속에서 식별하는 게 주 임무다. 특정인이 PIJ 전투원일 가능성을 1부터 100까지의 점수로 평가해 점수가 높은 개인을 자동으로 암살 대상자로 분류한다. 또 다른 AI 시스템 ‘아빠 어딨어(Where’s Daddy)’는 목표물이 집으로 돌아왔을 때 이스라엘군에 신호를 보낸다.

아직 각국 군대는 인간이 무기체계의 최종 결정권을 갖는 ‘휴먼 온 더 루프(loop)’ 방식을 채택하고 있다. 하지만 문제는 인간이 갈수록 AI 판단을 전적으로 신뢰하게 된다는 점이다. 라벤더는 약 3만7000명의 팔레스타인인을 암살 대상자로 분류했는데 오인율은 10%에 이른다. 그럼에도 인간 분석가들이 라벤더 분석을 검토·승인하는 데 할애한 시간은 불과 20초였다.

자동화된 시스템이 사람보다 더 나은 결과를 제공한다고 보고 거기에 지나치게 의존하는 ‘자동화 편향’이 살상 여부를 결정하는 순간에도 작동하는 것이다. 미 육군 특수부대 출신 국방 분석가인 폴 샤레는 “시간이 지나면서 인간이 기계에 더 많은 판단을 떠넘길 위험이 있다”며 “15년~20년 뒤 우리는 지금 이 순간을 돌아보며 매우 중요한 한계를 넘었다는 것을 깨닫게 될 것”이라고 경고했다.

단순한 국지전이 아닌 국가 단위의 전략·전술에 AI가 개입하기 시작하면 위험성은 더욱 커질 수 있다. <인공지능과 전쟁의 미래>의 저자 제임스 존슨 애버딘대 국제관계학과 교수는 미국과 중국의 가상 핵전쟁 시나리오를 제시한 바 있다. 양국이 각각 도입한 AI 기반 ‘전략 예측 및 추천 시스템(SPRS)’과 ‘전략 및 정보 자문 시스템(SIAS)’이 자동적으로 방어·공격을 연쇄적으로 일으켜 수백만명이 사망하는 결과를 낳을 수 있다고 경고했다.

하이테크 기술의 원천인 실리콘밸리에도 변화가 일고 있다. 2018년 전투 데이터 분석을 위한 미 국방부의 ‘메이븐 프로젝트’에 구글이 참여했다는 사실이 알려지자 직원 3000여명이 “전쟁에 개입해서는 안 된다”며 반발했다. 구글은 결국 프로젝트에서 손을 뗐다. 그러나 구글은 이후 이스라엘군 클라우드 시스템 사업인 ‘프로젝트 님버스’에 참여했으며 여기에 반대하는 직원 50여명을 지난 3월 해고했다.

기술 기업들은 더 나아가 ‘스스로 생각해 살상하는’ AI를 적극 지지하기도 한다. 방위산업 스타트업 ‘안두릴’의 팔머 러키 최고경영자(CEO)는 지난 1일 미 캘리포니아주의 한 대학 강연에서 “어린이들이 탄 스쿨버스와 러시아 탱크를 구별하지 않는 지뢰에 도덕적 우위가 어디 있느냐”라고 강변했다. 대상을 가리지 않고 무차별적으로 폭발하는 지뢰보다는, 뛰어난 피아식별 능력을 지닌 AI가 더 낫다는 뜻이다. 안두릴은 “목표물을 추적하는데 필요한 수천 개의 수동 조작을 자동화했다”며 지난 11일 AI 경량드론 ‘볼트(Bolt)’를 공개한 바 있다.

알고리즘 전쟁에 대한 국가 간 협약과 행동윤리가 필요한 상황이다. 지난달 9일 외교부·국방부가 공동주관한 ‘인공지능의 책임 있는 군사적 이용에 관한 고위급회의(REAIM)’도 이 같은 취지로 열렸다. 이날 간담회에서 토니 어스킨 호주국립대 국제정치학 교수는 다음과 같이 지적했다. “AI 시스템은 군인·정치인들이 스스로를 ‘책임감 있는 행위자’로 인식하는 데 부정적인 영향을 미친다. 개인이 중요한 결정에서 제외되었다고 느낄 때, 책임은 무너진다. 이를 보완하려면 AI 시스템이 인간의 책임을 유지하는 방식으로, 인간 운영자와 상호 작용하도록 설계돼야 한다.”