“범용AI 시대, 체계적 위험관리 필요하다”

‘인간 수준 지능’ 빠르게 진화

예측 불가능 요소 대비해야

‘3Ps’ 원칙 기반 위험요소 도출

“범국가적 AI협력 플랫폼 절실”

[정보통신신문=차종환기자]

범용AI 시대가 본격화되는 가운데 범용AI로 인해 야기될 수 있는 위험을 인지하고 이를 관리할 수 있는 안전장치가 필요하다는 목소리가 높아지고 있다.

한국정보통신기술협회(TTA)는 최근 ‘범용 인공지능(GPAI) 위험 관리 프레임워크’ 보고서를 통해, 범용AI와 관련한 위험요소를 체계적으로 분류하고 범용AI에 특화된 새로운 위험 관리 프레임워크를 제안했다.

범용AI는 단일 작업에 국한되지 않고 다양한 작업을 수행할 수 있는 AI시스템으로서, 인간 수준의 지능을 보이며 높은 자율성과 유연성을 갖춘 시스템으로 정의된다. 텍스트, 이미지, 오디오 등 다양한 형태의 데이터를 이해하고 처리할 수 있으며, 이를 통해 새로운 상황에 적응해 최적의 성능을 발휘할 수 있다.

범용AI의 개발이 점점 현실로 다가오면서 각국 정부와 국제기관뿐만아니라 개발 기업 자체적으로도 안전한 기술 개발을 위해 규범과 정책을 마련하고 있다. 이러한 규범과 정책들은 범용AI가 인류에게 기여할 긍정적인 가능성을 키움과 동시에 부정적인 영향 발생에 대비할 수 있도록 한다.

범용AI는 높은 지능과 자율성을 갖추는 만큼 기존 AI 시스템보다 훨씬 복잡하고 예측이 어려운 위험을 동반할 것으로 예상된다. 이러한 특성은 범용AI가 인간의 의도와 가치에 부합하지 않는 방식으로 작동할 가능성 역시 높일 가능성이 있다.

이에 범용AI의 행동이 인간의 가치와 목표에 일치하도록 만드는 ‘정렬(alignment)’ 기술이 범용AI의 안전한 개발과 활용을 위한 핵심 요소로서 부각되고 있다. 정렬이 제대로 이루어지지 않은 AI는 의도치 않은 결과를 불러올 수 있고, 이는 개인 프라이버시 침해부터 방대한 사회적 혼란까지 다양한 위험이 될 수 있다는 설명이다.

TTA는 범용AI의 정렬 원칙 ‘3Ps’를 제안했다.

‘3Ps’는 △인류 우선성(Primacy of humanity) △목표 지속성(Persistence of goal) △가치 보존성(Preservation of value)으로 정의된다.

‘인류 우선성’은 AI는 인간의 권리와 자율성을 항상 최우선으로 고려해야 한다는 원칙이다. AI가 인간을 속이거나 권력을 추구해 인간을 약화시키는 행위를 엄격히 금지하며 인간이 AI 시스템의 최종 결정권자로 남을 수 있도록 보장해 기술이 인간의 통제를 벗어나지 않도록 한다.

‘목표 지속성’은 AI의 기능 확장 과정에서 의도하지 않은 기능이 생길 수 있지만, 원래의 목표와 일관성을 유지해야 한다는 원칙이다. 즉, 새로운 기능이나 학습이 기존 목표를 해치거나 시스템의 성능을 저하시키거나, 부작용을 일으키지 않도록 해야 한다.

‘가치 보존성’은 AI 시스템이 전 세계적으로 다양한 사회적, 윤리적, 법적 규범 및 문화적 가치를 존중하고 보존하는 것을 목표로 한다. 이 원칙은 AI가 각 지역의 문화적 맥락을 깊이 이해하고 존중하면서도 글로벌 수준에서 통합과 수용을 촉진하고, 이를 통해 사회 전반의 안전과 안정을 강화하는 데 기여해야 함을 의미한다.

정렬되지 않은 범용AI 시스템이 개발되거나 운영 중 정렬 실패가 발생하는 경우, AI는 인간의 의도와 맞지 않는 방식으로 행동할 수 있다.

실제 사례로, 챗봇의 인종차별적 발언, 채용 시스템의 성차별적 편향, 자율주행 차량의 충돌 사고 등 AI 시스템이 오작동하거나 목표와 무관한 데이터를 학습하는 상황이 발생했다.

이러한 잠재적 위험을 방지하기 위해 체계적인 위험 관리가 필수적이다.

TTA는 국제 문헌과 논문 등 기존 연구에서 언급한 범용AI의 위험 요소들을 수집∙분석해 레벨링과 그룹화를 진행했고 범용AI의 위험요소 8가지를 도출했다. △무기화 △상황 과적응 △목표 이탈 △권력 추구 △인권 침해 △시스템 장애 △사회 혼란 △의사결정 약화가 그것이다.

아울러 범용AI에 특화된 위험 관리 프레임워크를 제안했다. 제안된 프레임워크는 국제 표준과의 호환성을 확보하기 위해 ISO 31000:2018을 기반으로 설계됐다.

범용AI 위험 관리 프레임워크는 위험 식별, 분석, 평가, 대응을 포함한 일련의 과정을 통해 범용AI가 가진 위험을 포괄적으로 관리할 수 있는 체계를 제공한다.

보고서는 “범용AI의 안전한 활용을 위해 범국가적 협력과 국제적 논의가 필수”라며 “기술의 긍정적 효과를 극대화하고 잠재적 위험을 최소화하기 위해서는 광범위한 연구, 정책 개발, 그리고 정책 입안자, 기술 전문가, 사회학자, 윤리학자들이 협력할 수 있는 플랫폼이 필요하다”고 강조했다.