자기 변조 기능 막으면 AI 통제 가능하다

AI 위험성 어떻게 통제할 것인가

21세기 우리 인류는 과거 경험해 보지 않은 문명사적인 도전에 직면해 있다. 인공지능(AI)이 우리 생활 깊숙이 들어오고 있기 때문이다. 우리 호모사피엔스는 20만 년 전에 출현한 이후 수많은 도구를 개발해 사용해왔다. 그런데 지금 대두하는 AI는 기존 도구와 다른 점이 있다. 기존의 도구들은 인간이 만든 기능만 수행해 ‘수동적’이라 말할 수 있다. 그러나 새로 나타난 도구인 AI는 스스로 변화하고 진화할 수 있다는 점이다.

AI 소프트웨어는 스스로 자기 복제가 가능하고, 또한 스스로 프로그래밍이 가능하다. 처음 만들어질 때의 기능에서 그치는 것이 아니라, 스스로 변화해 새로운 기능을 할 수 있다는 것이다. 즉 AI는 ‘능동적’인 도구라 말할 수 있다. AI는 능동적으로 변해 인간이 시키지 않은 위험한 일을 할 수 있다. 이점이 바로 우리 인간에게 위협이 되고 있다.

AI는 자기 복제·진화 가능한 ‘능동형’, 기존 수동형 도구와 달라

인간이 통제하려고 해도 AI 스스로 위험한 일 벌이면 문제 발생

자기복제 못 하는 ‘수동형’으로 바꾸고 유해성 검사 의무화 필요

인간이 감당할 수 있는 수준으로 AI 위험성 관리할 수 있어야

우리 인간이 개발한 도구 중에 가장 중요한 것은 아마 ‘불’일 것이다. 인간이 불을 이용함으로써 추위를 견딜 수 있게 됐고, 음식을 익혀 먹어 고단위 영양 섭취가 가능해졌다. 그 외에도 철기와 전기 이용 등은 인간의 삶을 획기적으로 바꿔줬다. 또한 20세기에는 원자핵 분열 기술을 개발해 이용하고 있다.

인간이 만든 도구의 양면성

대부분의 도구는 양면성이 있다. 잘 사용하면 문명의 이기이지만, 잘못 사용하면 크게 위험한 도구가 된다. 불은 화재를 유발할 수 있고, 철로 만든 칼은 살인 도구가 될 수 있다. 불과 칼은 전쟁 무기가 돼 수많은 인명을 살상하기도 한다. 원자력 발전은 현재 이 글은 쓰는 컴퓨터에 전기를 공급해 주기도 하지만, 원자 폭탄은 대규모 인명을 살상할 수 있다. 이런 위험에도 불구하고 우리 인간은 이러한 도구를 잘 관리·활용해 현대 문명을 이룩하여 발전시키고 있다.

이런 도구들이 위험한데도 불구하고 문명의 이기로 활용된 이유를 살펴보면 원하는 목적에 맞게 관리를 잘했다는 점이다. 이런 도구 이용의 목적은 크게 두 가지로 생각된다. 첫째는 일상생활, 둘째는 테러 또는 전쟁이다. 첫째 일상생활에 이용하는 것은 당연히 사용자가 조심해서 사용하기 때문에 큰 문제가 되지 않는다. 가끔 불이 나거나 칼부림 사고가 나기도 하지만, 이런 일은 우리 사회가 감당할 수 있는 범위 내의 일이다.

둘째 목적인 테러와 전쟁은 현재도 세계 곳곳에서 발생하고 있다. 이 경우에도 국제 공조에 의해 피해 범위는 제한적이다. 원자 폭탄의 경우에는 자체 파괴력이 스스로 자제력을 가지기도 한다.

AI의 수동적 도구화 필요

이상에서 살펴본 현존 위험 도구를 우리 인간이 관리 할 수 있는 이유는 이 도구들이 ‘수동적’이라는 점이다. 이런 수동적인 도구들은 완벽하지는 않지만, 우리가 감당할 수 있는 범위 내에서 위험을 관리할 수 있다. 즉 인간의 의지만 있으면 관리가 가능하다는 것이다. 그런데 새로 대두한 위험 도구인 AI는 스스로 변하고 진화해 ‘능동적’인 면이 있다. 인간이 아무리 잘 관리하려 해도 이것들이 스스로 변해 위험한 일을 벌이면 문제가 된다.

우리는 여기서 AI 관리의 힌트를 얻을 수 있다. AI를 수동형 도구로 바꾸면 우리가 감당할 수 있는 수준으로 관리할 수 있다는 말이 된다. 만약 AI를 수동형 도구로 만들 수만 있다면 기존의 불·칼·원자력을 다루듯이 관리하면 된다는 말이다.

AI를 포함한 프로그램에는 두 가지 파일이 있다. 소스코드(source code) 파일과 실행(execution) 파일이다. 소스코드 파일은 인간이 ‘프로그램 언어’를 이용해 작성한 파일이다. 그런데 이러한 프로그램을 실행하려면 ‘기계언어’로 번역해야 한다. 기계는 인간이 작성한 프로그램 언어는 이해하지 못하고, 기계어만 이해해 실행할 수 있기 때문이다. 한편 인간은 기계어를 이해할 수 없다. 그래서 AI가 기계어로 바뀌어 실행 파일이 되면 인간은 그 내용을 바꿀 수 없다. 다시 말해 AI를 스스로 변하지 못하도록 ‘불임수술’을 해버리는 것이다.

자기 변조 안 되는 AI만 허용

AI가 인간에게 위협이 되는 것은 이것이 스스로 변조(자기 복제 또는 자기 프로그래밍)되고 진화한다는 점이다. 그런데 현대 소프트웨어 기술은 프로그램의 자기 변조 코드를 찾아낼 수 있다. 현재 컴퓨터 바이러스 퇴치 연구의 핵심이 바로 이것이다. 한편 현재 우리 사회에 유통되는 거의 모든 제품은 유해성 검사를 통과해야 한다. 식품·의약품은 물론이고 전자 제품도 모두 검사에 합격해야 시판이 가능하다.

앞으로 많은 AI 제품이 시중에 나올 것이다. 온라인 거래 AI에서부터 로봇과 자율주행차 AI 등으로 매우 다양한 제품들이 나올 것이다. 그런데 이것들이 시장에 나올 때는 의무적으로 유해성 검사를 통과해야 할 것이다. AI가 자기 변조 기능을 가지면 이 검사를 통과할 수 없다. 이런 검사는 컴퓨터 바이러스 탐지 기술과 유사하기 때문에 어렵지 않게 개발할 수 있을 것이다. 물론 AI 자기 변조 코드를 숨겨서 검사를 통과하려는 시도도 있을 것이다. 이 상황은 현재 바이러스 퇴치에서 창과 방패의 경쟁처럼 될 것이다.

그리고 이렇게 합격한 AI 제품은 실행 파일 형태로만 유통된다. 기계어로 된 실행 파일 형태로만 유통되면 누구도 제품의 기능을 바꿀 수 없다. AI 스스로 변하지 못하고, 사람이 바꿀 수도 없다. 즉 ‘불임수술’로 능동형 도구를 수동형 도구로 바꿔 버리는 것이다. 이상과 같이 AI를 수동적인 도구로 바꾸면 그 위험성은 기존의 수동적 도구들(불·칼·원자력 등)과 비슷한 수준이 된다. 현재 우리가 감당하는 수준으로 AI 위험성을 낮출 수 있다는 말이 된다.

이러한 AI 관리 방식은 국제 무역에서도 적용될 것이다. 이미 식품·의약품이나 전자제품·자동차도 나라별로 비슷한 안전 기준을 정해 수출입 시에 적용하고 있다. 수동적인 도구로 전환된 AI도 비슷한 방식으로 국가 간의 거래가 이뤄질 것이다.

테러나 전쟁에서도 위험 관리 가능

또 다른 위험 도구 사용의 예로 테러와 전쟁이 있다. 현재 테러나 전쟁에서는 불과 칼을 사용해 피해를 주고 있다. 그러나 이러한 반칙적인 도구 사용은 국제 공조에 의해서 제한적으로 나타나고 있다. 테러분자들이 능동 AI를 불법적으로 유통하거나 온라인에 전파할 수 있다. 이것은 현재 바이러스와 해킹 방지 기술과 유사하기 때문에 비슷한 수준으로 위험을 감당하게 될 것이다.

또한 전쟁에서 AI를 무기로 사용할 것이다. 기존의 총·대포·미사일·항공기에 수동형 AI가 탑재돼 무인화 무기가 되고, 살상 능력도 대폭 확대될 것이다. 하지만 어느 나라가 AI 무기를 사용할 때에는 상대방도 비슷하게 대응할 것이다. 전장에는 사람은 거의 없이 AI끼리 상대방의 무기를 파괴하는 전쟁이 될 것이다.

한편 자기 변조 기능을 가진 능동형 AI 무기 출현을 상상해 볼 수 있다. 무기가 스스로 진화해 무차별 살상할 위험성이 있다. 그러나 이런 무기는 통제 불가능한 무기가 돼 아군에게도 위험하다. 따라서 이런 능동형 무기를 사용할 국가는 없을 것으로 생각된다. 결국 가장 위험한 전쟁에서도 수동적인 AI 무기만 사용될 것이기 때문에 그 위험성은 현재 우리가 견디고 있는 수준이 될 것이다.

물론 연구실에서는 모든 형태의 AI가 시도될 것이다. 이것들의 위험성도 예상된다. 하지만 이것은 현재 실험실에 있는 병원균에 비유할 수 있다. 실험실의 병원균은 외부 유출을 차단해 관리하고 있다. 결국 실험실 AI도 현재 우리가 감당하는 수준으로 관리 가능하다는 말이 된다.

21세기 우리 인간에게 다가온 도전인 AI도 차근히 따져보니, 그다지 불안해할 필요가 없을 것 같다. 어느 경우에도 현재 우리가 감당하는 수준으로 관리가 가능하다는 결론이다. 그러기 위해서는 AI 제품의 검사 제도를 도입하고, 자기 변조하는 코드를 탐지하는 기술의 개발이 급선무가 될 것 같다.

이광형 KAIST 총장