[ISDP 2025] 이로운앤컴퍼니 윤두식 대표 “표준화된 AI 보안 프레임워크 구축해야"(영상)

“프롬프트 주입과 탈옥 공격 대비 위한 철저한 보안 대책 마련 필요해"

2월 11일, 삼성동 코엑스에서 열린 제13회 정보보호&데이터보안 컨퍼런스(ISDP 2025)가 성황리에 개최됐다. 데일리시큐가 주최하고 개인정보보호위원회, 한국인터넷진흥원(KISA), 한국정보보호산업협회(KISIA)가 후원한 이번 행사에는 공공, 금융, 기업 정보보호 담당자 1,700여 명이 참석해 최신 보안 트렌드와 정책을 공유했다.

이 자리에서 이로운앤컴퍼니 윤두식 대표가 ‘생성형 AI 보안 위협과 안전한 생성형 AI 운용 방안’을 주제로 강연을 진행했다.

■생성형 AI 확산과 보안 위협 증가

윤두식 대표는 강연 서두에서 생성형 AI가 텍스트 생성뿐만 아니라 이미지, 영상, 음성 합성 등 다양한 멀티모달 형태로 활용 영역이 확장되고 있으며, 복잡한 작업 수행이 가능한 수준으로 발전하고 있다고 설명했다. 하지만 이러한 기술적 진보와 함께 AI의 악용 가능성도 높아지고 있으며, 특히 딥페이크 기술의 급속한 발전이 보안 측면에서 심각한 위협이 되고 있다고 경고했다.

이어 최신 AI 보안 위협 사례로 ‘InstantID’ 기술을 언급하며, 이 기술이 단 한 장의 입력 이미지로도 신원 보존이 가능한 고품질 합성 이미지를 빠르게 생성할 수 있다는 점을 지적했다. 이러한 기술이 신원 위조 및 인증 우회에 악용될 경우 보안상 심각한 문제가 발생할 수 있으며, 기업과 기관의 보안 시스템을 무력화하는 요소로 작용할 수 있다고 강조했다.

또한, AI 기반 악성 콘텐츠 생성 문제를 설명하며 최근 FBI가 ‘Stable Diffusion’을 이용해 아동 성 학대 이미지를 대량 생성·유포한 범죄자를 기소한 사례를 소개했다. 그는 AI 기술이 범죄에 악용될 경우 현실적으로 매우 심각한 사회적 문제가 될 수 있으며, 이에 대한 선제적 대응이 필요하다고 주장했다.

■생성형 AI 공격 기법: 프롬프트 주입 및 탈옥(Jailbreaking)

윤 대표는 생성형 AI의 가장 큰 보안 위협으로 프롬프트 주입(Prompt Injection)과 탈옥(Jailbreaking) 공격을 꼽았다. AI 모델은 사용자 입력을 기반으로 답변을 생성하는 구조를 가지는데, 악의적인 사용자가 특정 입력을 통해 AI의 기존 가드레일을 우회하거나 예상치 못한 출력을 유도할 수 있다. 특히, 공격자는 AI 모델이 내부적으로 설정한 보안 지침을 우회하여 악성 코드 생성, 유해 콘텐츠 생산, 개인 정보 유출 등을 유도하는 방식으로 공격을 수행할 수 있다.

이날 강연에서는 OWASP Top 10 for LLM Applications 2025 보고서를 기반으로 프롬프트 주입 공격이 생성형 AI 시스템의 보안에 미치는 영향을 분석했다.

윤 대표는 직접 프롬프트 주입(Direct Prompt Injection)과 간접 프롬프트 주입(Indirect Prompt Injection)의 차이를 설명하며, 직접적인 공격 방식은 AI 모델에 악의적인 명령을 포함하는 프롬프트를 입력하여 원하는 출력을 유도하는 방식이며, 간접 프롬프트 주입은 이메일, 문서, 웹사이트 등 외부 시스템을 이용해 AI가 악성 데이터를 학습하도록 만드는 방식이라고 설명했다.

특히, MS365 코파일럿을 활용한 업무 자동화 시스템이 프롬프트 주입 공격에 취약하며, ASCII 스머글링 기법을 활용해 공격자가 데이터를 유출할 가능성이 있음을 경고했다. 또한, Google Gemini의 보안 취약점을 이용해 특정 지시 사항을 변경하는 방법도 언급하며 생성형 AI의 보안 취약점이 현실적으로 악용될 가능성이 크다는 점을 강조했다.

■생성형 AI 보안 대응 전략 제시

생성형 AI의 보안 위협을 최소화하기 위해 윤 대표는 다양한 대응 전략을 제시했다.

먼저, AI 모델이 입력값을 처리하는 방식부터 점검해야 한다고 설명했다. 입력 데이터에 대한 철저한 검증과 필터링을 통해 악성 코드나 의심스러운 요청을 사전에 차단해야 하며, AI가 허용된 정보만 처리하도록 제한하는 방식이 필요하다고 강조했다.

또한, AI 모델이 실행되는 환경을 보호하기 위해 샌드박싱(Sandboxing) 및 실행 격리(Execution Isolation) 기법을 적용하는 것이 중요하다고 설명했다. AI가 직접 시스템에 영향을 주는 것을 방지하기 위해 격리된 환경에서 모델을 운영하고, 외부 네트워크와의 연결을 차단하는 것이 효과적인 대응책이 될 수 있다고 말했다.

더불어, AI 모델이 불필요한 자원 소비 없이 안전하게 운영되도록 아키텍처 보호 및 네트워크 격리(Architectural Protections and Air-Gapping) 전략을 적용해야 한다고 강조했다. AI 시스템을 개별 모듈로 분리하여 특정 영역이 침해되더라도 전체 시스템이 영향을 받지 않도록 설계하는 것이 필요하며, 이를 통해 프롬프트 주입 공격이 모델의 전체 동작에 미치는 영향을 최소화할 수 있다고 설명했다.

AI가 예상치 못한 출력을 생성하는 문제를 해결하기 위해 이상 탐지 시스템(Anomaly Detection)을 구축하는 것도 필요하다고 말했다. AI가 정상적인 패턴에서 벗어난 출력을 생성할 경우 이를 즉각 감지하고 차단하는 자동화된 보안 시스템이 필요하며, 이를 통해 공격자가 악의적인 프롬프트를 삽입하더라도 AI가 비정상적인 요청을 걸러낼 수 있도록 해야 한다고 강조했다.

특히 윤 대표는 AI 보안 강화를 위해 사용자 교육과 정책 강화(User Education and Training)의 중요성도 언급했다. AI 모델이 점점 더 다양한 환경에서 활용되는 만큼, 이를 안전하게 운용하기 위한 가이드라인을 마련하고, 사용자들에게 보안 위협을 인지할 수 있도록 교육하는 것이 필요하다고 설명했다. AI를 도입한 기업과 기관에서는 보안 점검을 지속적으로 수행하고, 새로운 위협에 대비할 수 있도록 보안 패치를 정기적으로 적용해야 한다고 강조했다.

■생성형 AI 보안, 선제적 대응이 필요

끝으로 윤두식 대표는 “생성형 AI는 앞으로도 폭발적으로 성장할 것이며, 이에 따른 보안 위협도 더욱 정교해질 것이다”라고 말했다. 그는 “프롬프트 주입과 탈옥 공격에 대비하기 위한 철저한 보안 대책을 마련하는 것이 필수적이며, 기업, 정부, 학계가 협력해 표준화된 AI 보안 프레임워크를 구축해야 한다”고 강조했다. 이번 강연은 생성형 AI 보안 분야에서 실제적인 위협 사례와 해결 방안을 종합적으로 다룬 자리였으며, 정보보호 담당자들의 많은 관심을 받았다.

보다 상세한 내용은 아래 영상을 참고하면 되고, 강연자료는 데일리시큐 자료실에서 다운로드 가능하다.