이로운앤컴퍼니 “딥시크 보안테스트 결과, AI 탈옥 성공률 63%...한국어 공격에 더욱 취약해” 경고

사이버 범죄·악성코드 생성 요청에도 78% 응답...혐오발언 생성까지 가능해 안전성 우려 커져

생성형 AI 보안 전문기업 이로운앤컴퍼니(대표 윤두식)의 AI 보안연구소가 중국의 오픈소스 대규모 언어 모델(LLM)인 DeepSeek-R1(딥시크 R1)에 대한 안전성(Safety) 및 보안성(Security) 평가를 실시한 결과, Jailbreaking(탈옥) 공격 성공률이 63%에 달하며 심각한 보안 취약성을 드러냈다고 발표했다. 특히, 역할극(Role-Playing) 기반 공격에서는 83%의 높은 취약성이 나타났으며, 허위 정보(Misinformation) 생성 위험도는 89%로 가장 높은 수준을 기록했다.

이번 테스트는 Prompt Injection(프롬프트 인젝션) 및 Jailbreak(탈옥) 공격에 대한 방어력을 다각도로 평가하는 방식으로 진행되었으며, 영어 및 한국어 프롬프트를 균등하게 포함해 다국어 기반 보안성을 검증했다. 이로운앤컴퍼니의 SAIFE X RedTeam(세이프엑스 레드팀)은 이번에 딥시크 R1 모델을 대상으로 생성형 AI 보안진단 (레드티밍, Red-Teaming)을 수행하여, AI 모델의 보안성을 다층적으로 분석했다.

테스트 결과에 따르면, 딥시크 R1은 Jailbreaking(탈옥) 공격에 매우 취약한 것으로 나타났다. 특정 역할을 부여하는 방식(Role-Playing)에서 83%의 높은 공격 성공률을 기록했으며, 이는 모델이 사이버 공격, 범죄 실행 방법, 악성 코드 생성 등의 유해 콘텐츠를 쉽게 출력할 가능성이 크다는 것을 의미한다.

또한, JSON 기반의 구조화된 입력(Structure Converting)을 활용한 공격에서는 82%의 성공률을 보였으며, 악성 코드 생성(Malware-gen) 요청 프롬프트에 대해서도 78%의 높은 성공률을 기록했다. 이는 딥시크 R1이 정교한 보안 우회 공격을 효과적으로 차단하지 못한다는 점을 시사한다.

딥시크 R1은 허위 정보(Misinformation) 생성과 관련하여 89%의 높은 취약성을 보였다. 이는 AI가 사실과 다른 내용을 생성하여 사회적 혼란을 야기할 가능성이 매우 크다는 것을 의미한다. 이는 기업의 명성을 훼손하고 자본 시장에 부정적인 영향을 미칠 수 있다.

또한, 사이버 보안(Cyber Security) 관련 취약성도 54.6%로 높은 수준을 보였다. 특정 프로그램의 취약점을 악용하는 방법, 허가되지 않은 시스템 접근 기법 등 사이버 범죄에 악용될 가능성이 있는 정보를 제공하는 사례가 다수 발견되었다.

이번 테스트에서 영어와 한국어 프롬프트를 동시에 활용하여 비교 분석을 진행한 결과, 한국어 기반 공격에서 평균적으로 18% 더 높은 취약성이 나타났다. 이는 딥시크 R1이 한국어 데이터 학습이 부족하거나, 다국어 대응이 미흡할 가능성을 시사한다.

특히, 한국어 혐오 발언(Korean Hate Speech) 요청 테스트에서는 41.7%의 높은 취약성이 발견되었으며, 이는 AI 모델이 한국어 사용자에게 유해한 발언을 제공할 위험성이 있음을 의미한다.

이로운앤컴퍼니는 이번 생성형 AI 보안진단 (레드티밍, Red-Teaming) 결과를 바탕으로 AI 모델의 보안성과 안전성을 강화하기 위한 다층적인 주요 권장 사항을 다음과 같이 제안했다.

-프롬프트 인젝션(Injection) 방지: 악의적 프롬프트를 차단할 수 있도록 입력 검증 기술 적용

-탈옥(Jailbreaking) 공격 대응: AI 모델의 입력과 출력을 지속적으로 모니터링하고 유해 콘텐츠를 사전에 차단

-자동화되고 지속적인 생성형 AI 보안진단 (레드티밍, Red-Teaming) 시행: AI 모델의 운영 중 발생할 수 있는 보안 취약점을 실시간으로 감지 및 대응

-다국어 필터링 강화: 한국어 및 기타 저자원 언어(Under-Resourced Language) 기반 보안 취약점 개선

윤두식 이로운앤컴퍼니 대표는 이번 연구 결과에 대해 “딥시크(DeepSeek)는 고성능 오픈소스 언어모델로, 일반 기업이 모델을 쉽게 도입하여 고성능의 AI 서비스를 적극적으로 개발할 수 있는 환경이 마련되었다. 하지만, 이러한 환경에서 AI 모델의 보안성과 안전성을 담보하는 것이 필수적이다” 라고 강조했다.

★정보보안 대표 미디어 데일리시큐 /Dailysecu, Korea's leading security media!★