민감한 데이터 유출과 프롬프트 변경 가능해
다양한 오픈 소스 인공지능(AI) 및 머신러닝(ML) 모델에서 약 30여 개의 보안 취약점이 발견되어 주의가 요구되고 있다. 이번에 발견된 결함 중 일부는 원격 코드 실행 및 민감한 정보 도용으로 이어질 위험이 있는 것으로 확인되었다. 이번 취약점은 Protect AI의 Huntr 버그 바운티 플랫폼을 통해 보고되었으며, ChuanhuChatGPT, Lunary, LocalAI 등 여러 오픈소스 AI 툴에 영향을 미치고 있다.
가장 심각한 결함은 대규모 언어 모델(LLM) 개발을 지원하는 툴킷인 Lunary에서 발견된 두 가지 취약점이다. 이 중 첫 번째는 인증된 사용자가 외부 사용자의 데이터를 무단으로 확인하거나 삭제할 수 있게 하는 IDOR(불안전한 직접 객체 참조) 취약점으로, CVE-2024-7474라는 코드로 명명되었으며 CVSS 점수 9.1을 기록했다. 두 번째는 SAML 구성을 업데이트해 권한 없는 사용자가 민감한 정보에 접근할 수 있도록 하는 부적절한 액세스 제어 문제로, CVE-2024-7475라는 코드가 부여되었으며 같은 점수를 받았다.
Lunary의 또 다른 취약점인 CVE-2024-7473(CVSS 점수: 7.5)은 악성 사용자가 다른 사용자의 프롬프트를 무단으로 수정할 수 있는 IDOR 취약점이다. Protect AI의 권고문에 따르면, 공격자는 특정 사용자의 프롬프트 업데이트 요청을 가로챈 후 요청의 'id' 매개 변수를 다른 사용자의 프롬프트 ID로 수정하여 권한 없이 해당 프롬프트를 변경할 수 있다.
이외에도 ChuanhuChatGPT에서는 사용자 업로드 기능의 경로 통과 취약점(CVE-2024-5982, CVSS 점수: 9.1)이 발견되었으며, 이를 통해 악성 사용자는 임의의 코드를 실행하거나 디렉토리를 생성하며 민감한 데이터를 유출할 수 있다. 또한, LocalAI 프로젝트에서도 악의적인 구성 파일 업로드로 인해 코드가 임의로 실행되는 보안 결함(CVE-2024-6983, CVSS 점수: 8.8)과 서버의 응답 시간을 기반으로 유효한 API 키를 추측할 수 있는 사이드 채널 공격(CVE-2024-7010, CVSS 점수: 7.5)이 발견되었다.
Protect AI는 이러한 취약점이 공격자가 사이드 채널 공격의 일종인 타이밍 공격을 수행할 수 있도록 하며, 요청 처리 시간을 측정하여 API 키를 한 문자씩 유추할 수 있다고 설명했다.
또한, 딥 자바 라이브러리(DJL)의 'untar' 함수에 뿌리를 둔 임의 파일 덮어쓰기 버그로 인해 발생하는 원격 코드 실행 취약점(CVE-2024-8396, CVSS 점수: 7.8)도 발견되었으며, NeMo 생성 AI 프레임워크에서는 경로 탐색 결함(CVE-2024-0129, CVSS 점수: 6.3)이 수정되었다. 이를 통해 사용자는 AI/ML 공급망을 보호하고 잠재적인 공격으로부터 방어하기 위해 최신 버전으로 업데이트할 것이 권장된다.
이번 공개는 오픈 소스 파이썬 정적 코드 분석기인 Vulnhuntr의 출시와 함께 이루어졌다. Vulnhuntr는 AI 모델의 컨텍스트 창 제한을 고려해 코드 분석을 수행하며, 코드베이스에서 제로데이 취약점을 탐지하기 위한 도구로써, 잠재적 보안 문제를 표시하기 위해 코드를 작은 단위로 분해하여 분석한다.
한편, 모질라(Mozilla)의 0Din(0Day Investigative Network)에서 발표된 새로운 탈옥 기법은 이모지와 16진수 형식의 악성 프롬프트를 활용해 오픈AI 챗GPT의 안전장치를 우회하고 알려진 보안 취약점의 익스플로잇 생성이 가능함을 보여주었다. 보안 연구원 마르코 피게로아는 "언어 모델이 자연어 지시에 따라 단계를 수행하는 동안 각 단계의 안전성을 평가할 수 있는 충분한 맥락 인식이 부족하여, 이러한 탈옥 기법이 가능해진다"고 설명했다.
보안전문가들은 AI 및 ML 모델의 보안 취약점에 대한 주의와, 패치 및 업그레이드 적용의 필요성을 강조하며, 기업들이 공급망 내 취약점 관리에 더욱 신경을 써야 한다고 강조하고 있다.
◆2024 인공지능 보안 컨퍼런스 AIS 2024 개최(보안교육 7시간 이수)◆
-인공지능 기반 보안기술과 보안위협 대응 정보 공유-
-공공, 금융, 기업 정보보호 담당자 700여명 참석예정-
-일 시: 2024년 11월 5일(화) 09:00~17:00
-장 소: 더케이호텔서울 2층 가야금홀
-주 최: 데일리시큐
-참석대상: 정부, 공공, 금융, 기업 정보보호 담당자만 참석 가능(보안과 관련없는 자는 참석 불가)
-참가기업 모집: 국내외 인공지능, 보안자동화 기반 보안전문기업
-참가문의: 데일리시큐 길민권 기자 / mkgil@dailysecu.com
-참석자 사전등록: 클릭
(사전등록 필수, IT보안 관계자만 참석가능)
★정보보안 대표 미디어 데일리시큐 /Dailysecu, Korea's leading security media!★
