과기정통부, 안전한 AI 활용 위한 '국가AI 안전 생태계 조성계획' 수립한다

과학기술정보통신부가 국내 산업 현장과 국민 일상생활에서 안전한 인공지능(AI) 활용을 위한 '국가AI 안전 생태계 조성 종합계획(가칭)'을 마련한다.

배경훈 부총리 겸 과기정통부 장관은 23일 성남 판교 인공지능안전연구소를 방문해 연구 평가 현장을 살핀 뒤 산·학·연 전문가 간담회에서 “국민이 안심하고 사용할 수 있는 AI는 AI 공존사회의 첫 걸음”이라며 이같이 밝혔다.

AI 안전이 모든 산업과 국민 생활에 녹아들 수 있게 과기정통부가 관계부처, 유관기관 등과 연내 계획을 수립할 방침이다.

최근 AI를 활용해 사람 음성·얼굴을 합성하거나 조작하는 딥페이크를 악용한 피해가 발생하고, 다가올 범용 AI(AGI)·AI 에이전트 시대에 미처 예상하지 못한 새로운 유형의 피해 발생 우려를 고려한 결정이다.

배 부총리는 현재 AI 안전 확보 기술 현황 등을 확인·공유하고 정부 정책 방향을 논의하기 위해 이날 AI안전연구소에 방문했다. AI안전연구소 설립·운영은 주요 국가 중심의 세계적인 추세다. 2023년부터 영국, 미국, 일본 등 주요국은 다양한 AI 위험 대응을 위해 AI안전연구소를 각각 설립하고 있다.

우리나라도 글로벌 대응과 국가 차원 AI 안전성 확보를 위해 지난해 AI안전연구소를 설립했다. 연구소는 안전확보 기술 선도와 모델 평가, AI 안전 정책 전반에 대한 논의·대응과 글로벌 협업 등을 수행한다.

배 부총리는 이날 AI안전연구소의 안전 평가 현장을 방문해 딥페이크 탐지 기술, 미래 AI 위험 연구, AI 안전 평가 수행, AI 안전 정책과 글로벌 AI 협력 등을 수행하는 직원을 격려했다.

이어 산업계·학계·연구계 등 AI 안전 관련 전문가 15명과 간담회를 열고 AI의 지속 가능한 혁신, 안전과 신뢰의 균형을 갖추면서 건전한 AI 환경을 구축하기 위한 방안을 논의했다. AI 위험 대응을 위한 기술개발 현황과 AI 안전 생태계 조성을 위한 의견 청취 차원이다.

특히 딥페이크 방지 기술와 AI 에이전트를 안심하고 사용할 수 있는 기술 개발 현황과 대응 방향 등을 논의했다. 최근 불거진 딥페이크 악용 문제 해결과 AI 에이전트 안전성·신뢰성 확보를 위해 딥페이크 탐지 기술과 AI 에이전트 안전성 평가 시연도 진행했다.

또 글로벌 AI 위험 대응 동향을 고려, 연내 우리나라 체계적 AI 위험 대응과 안전 확보를 위해 '국가AI 안전 생태계 조성 종합계획' 마련을 위한 추진방향을 검토했다.

간담회 참석자들은 AI 안전 생태계를 조성해 안전하고 신뢰 가능한 AI 개발·활용 환경을 만들어야 한다는 데 공감했다.

박종진 기자 truth@etnews.com