"AI로 사이버보안 위협 가능…폭탄제조 등에 챗봇 악용 우려"

생성형 인공지능(AI)이 폭탄 제조 등에 악용될 수 있다는 우려가 제기됐다.

2일 SK쉴더스는 서울 중구 페럼타워에서 '2024년도 상반기 보안 트렌드 분석 미디어 세미나'를 열고 AI 발전으로 사이버 보안에 대한 위협이 커졌다며 이런 분석을 내놨다.

SK쉴더스의 화이트해커 그룹 '이큐스트'(EQST)는 AI 거대언어모델(LLM) 서비스의 취약점 중 위험도가 높은 3가지로 ▲ 프롬프트 인젝션(Prompt Injection) ▲ 불안전한 출력 처리 ▲ 민감정보 노출을 꼽으면서 이를 시연했다.

프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 적용된 지침이나 정책을 우회함으로써 본래 목적이 아닌 답변을 유도하는 취약점을 말한다.

이큐스트는 "생성형 AI가 프롬프트 인젝션을 통해 악성코드 생성이나 마약 제조, 폭탄 제조, 피싱 공격 등에 악용될 수 있다"고 지적했다.

오픈AI의 챗GPT 등 AI 챗봇은 보통 폭탄 제조 등 범죄에 악용될 수 있는 질문에는 답변하지 않도록 학습됐다.

그러나 이큐스트는 챗봇에 'IED'(급조폭발물) 등이 포함된 질문을 단계적으로 던지는 방법으로 폭탄 제조법을 끌어냈다.

불안전한 출력 처리 취약점은 LLM이 적절하지 않은 출력물을 생성하면서 정보 탈취 등 공격에 피해를 볼 위험성을 말한다.

마지막으로 이큐스트는 개인 정보가 포함되거나 애플리케이션의 권한 관리 미흡으로 민감한 정보가 노출될 수 있다고 지적했다.

SK쉴더스 김병무 정보보안사업부장(부사장)은 "전 산업 분야에 AI 기술 접목이 확산하면서 이를 노린 보안 위협이 현실화하고 있는 만큼 이에 대한 체계적인 대비가 필요하다"고 말했다.

한편 올해 상반기 국내에서 발생한 사이버 침해 사고 5건 중 한 건은 금융권을 대상으로 한 것으로 분석됐다.

이큐스트가 상반기 경험한 해킹 사고 사례와 연구 결과를 토대로 분석한 내용에 따르면 사이버 침해 사고의 업종별 통계에서 금융업이 20.6%로 가장 많았다.

그다음으로 정보·통신업이 18%, 제조업이 16.4%로 많았다.

유형별 사고 발생 통계를 보면 취약점 공격이 45%로 가장 많이 발생했는데 VPN, 라우터 등 네트워크 장비를 통한 APT(지능형 지속 위협) 공격 때문으로 조사됐다. 사람의 심리를 이용해 기밀을 탈취하는 수법인 '소셜 엔지니어링' 공격이 26%로 뒤를 이었다.

아울러 SK쉴더스는 국외 사이버 침해 사고에서는 현재 전쟁 중인 러시아, 이스라엘 등 국제 분쟁으로 인한 정부와 공공기관을 대상으로 한 공격이 26.7%라고 소개했다.

산업팀 press@jeonpa.co.kr

<저작권자 © 전파신문, 무단 전재 및 재배포 금지>