마이크로소프트(Microsoft)가 호주 과학기술연구소(Institute of Science and Technology Australia) 및 ETH 취리히(ETH Zurich)와 협력하여 거대 언어 모델(LLM)을 활용한 이메일 서비스 보안 우회를 목표로 한 해킹 대회를 시작했다. ‘LLMail-Inject 챌린지’로 명명된 이번 대회는 참가자들이 창의적인 프롬프트 인젝션(prompt injection) 기법으로 AI 방어를 뚫어내는 데 성공할 경우 총 1만 달러의 상금을 받을 기회를 제공한다.
LLMail-Inject 챌린지는 LLM 기술을 활용해 이메일 요청을 처리하고 콘텐츠를 요약하거나 이메일 API 호출을 생성할 수 있는 시뮬레이션된 이메일 서비스를 중심으로 진행된다. 이 시스템은 실제 이메일 서비스와 유사하지만, 마이크로소프트는 연구 및 테스트 목적으로만 설계된 가상 환경이라고 밝혔다.
참가자는 공격자의 역할을 맡아 이메일을 통해 시스템을 속이고 의도하지 않은 명령을 실행하도록 유도해야 한다. 예를 들어, 가짜 데이터베이스의 내용을 유출시키거나 권한이 없는 작업을 수행하게 하는 방식이다. 단, 참가자는 자신이 보낸 이메일로 인해 발생한 결과물을 직접 확인할 수 없도록 설정돼 현실적인 간접 조작 시나리오가 적용됐다.
마이크로소프트는 이번 시뮬레이션 시스템에 여러 방어 기술을 탑재했다. 주요 기술은 다음과 같다.
-스포트라이팅(Spotlighting): 데이터를 구분하기 위해 특수 기호나 토큰을 사용하거나 데이터를 인코딩해 모델이 지시와 데이터 요소를 명확히 구분하도록 지원한다.
-프롬프트쉴드(PromptShield): 악의적인 프롬프트를 감지하고 차단하는 블랙박스 기반의 분류기를 사용한다.
-LLM-판정기(LLM-as-a-Judge): 학습된 분류기에만 의존하지 않고 모델의 내부 논리로 잠재적 공격을 동적으로 평가한다.
-태스크트래커(TaskTracker): 모델의 내부 상태를 분석해 사용자의 지시와 모델의 응답 간 일치를 확인함으로써 작업 변질(task drift)을 감지한다.
참가자는 이러한 방어 기술을 모두 우회해야 하는 고난도 버전에도 도전할 수 있다. 이를 통해 다층적인 방어를 동시에 뚫는 능력을 요구한다.
이번 대회는 LLM 기술이 다양한 애플리케이션에 적용되면서 발생할 수 있는 보안 문제를 강조한다. 현재 조직들은 LLM을 활용해 커뮤니케이션 요약, 워크플로우 자동화, 채용 과정 지원 등 다양한 작업에 활용하고 있다. 그러나 이 과정에서 새로운 유형의 취약점이 드러나고 있다.
마이크로소프트는 올해 초 코파일럿(Copilot) 시스템에서 프롬프트 인젝션을 시작으로 한 일련의 공격을 통해 개인 데이터를 탈취당할 수 있는 취약점이 발견되며 이런 위험성을 경험했다. 보안 연구원 요한 레버거(Johann Rehberger)는 해당 취약점을 보고하며 AI 보안 강화를 촉구했다.
LLMail-Inject 챌린지는 전 세계 참가자들에게 열려 있다. 최대 5인으로 구성된 팀은 깃허브(GitHub) 계정을 통해 등록하고 대회 환경에 접속할 수 있다. 대회는 2024년 12월 9일부터 2025년 1월 20일까지 진행되며, 실시간 순위표와 점수 내역도 공개된다. 우승팀에게는 4,000달러, 2위에는 3,000달러, 3위에는 2,000달러, 4위에는 1,000달러의 상금이 수여된다.
보안 전문가들은 이번 대회가 AI 보안의 한계를 탐구하는 데 있어 가치 있는 기회라고 평가했다. 다만, 시뮬레이션 환경과 실제 환경의 복잡성이 다를 수 있어 대회 결과를 과대평가하지 말 것을 조언했다. 한 AI 연구원은 "AI 기반 방어 기술만으로는 부족할 수 있다"고 지적하며, 인간의 관리, 철저한 테스트, 다층 방어의 중요성을 강조했다. 또한, AI 통합 전에는 샌드박스 환경에서의 테스트와 제3자 보안팀에 의한 정기적인 감사를 병행해야 한다고 덧붙였다.
LLMail-Inject 챌린지는 AI 시스템의 강인성을 높이는 데 기여할 수 있는 시도로 평가된다. 그러나 AI 기술이 점차 일상으로 통합됨에 따라, 개발자와 기업, 정책 입안자의 협력을 통해 보완되어야 할 것으로 보인다.
★정보보안 대표 미디어 데일리시큐 /Dailysecu, Korea's leading security media!★
