[AIS 2024 영상] 윤두식 이로운앤컴퍼니 대표 “생성형 AI의 보안 위협과 안전한 운용 방안” 제시

“생성형 AI, 안전하게 활용하기 위해 기술적 신뢰성과 보안성 동시에 강화해야”

지난 11월 5일 서울 더케이호텔서울에서 열린 국내 최대 인공지능 보안 컨퍼런스 AIS 2024에는 공공, 금융, 기업 보안 담당자 약 650명이 참석해 높은 관심을 보였다.

이 자리에서 인공지능 보안 전문기업 이로운앤컴퍼니 윤두식 대표는 "생성형 AI 보안 위협과 안전한 생성형AI 운용 방안"을 주제로 생성형 AI가 가진 잠재적 위협과 이를 극복하기 위한 구체적 방안을 제시하며 참관객들의 큰 호응을 얻었다.

■ 생성형 AI의 잠재적 위협: 프롬프트 제일브레이킹의 심각성

윤두식 대표는 강연에서 생성형 AI의 보안 문제를 상세히 설명했다. 그는 "생성형 AI는 데이터를 학습하고 이를 바탕으로 텍스트, 이미지, 비디오, 음성 등 다양한 콘텐츠를 생성하는 혁신적인 기술이지만, 그 이면에는 보안 위협이 도사리고 있다"고 말했다. 특히, Prompt Jailbreaking(프롬프트 제일브레이킹)에 대해 "이 기법은 AI 모델의 가드레일을 우회하거나 악의적인 프롬프트를 주입해 시스템을 교란시키는 방법"이라고 설명했다.

강연에서는 두 가지 주요 유형의 Prompt Jailbreaking이 소개되었다:

-직접적 접근(Direct Injection): 공격자가 AI 모델 내부에 프롬프트를 주입해 의도한 응답을 유도하는 방식.

-간접적 접근(Indirect Injection): 웹페이지, 이메일, 공유 문서 등 다양한 경로를 활용해 AI 모델에 악성 프롬프트를 간접적으로 주입하는 방식.

실제 사례로는 의료 상담 챗봇의 민감한 데이터 유출, 자동차 판매 시스템의 잘못된 거래 체결, 그리고 금융 데이터를 포함한 개인정보 유출 가능성이 언급되었다. 윤 대표는 "이러한 위협은 단순한 기술적 문제가 아니라, 사회적 신뢰까지 위협하는 심각한 문제"라고 강조했다.

■ LLM 가드레일로 보안 강화

윤두식 대표는 생성형 AI의 보안 문제를 해결하기 위한 구체적인 기술로 LLM Guardrail(LLM 가드레일)을 제안했다. 그는 "LLM Guardrail은 생성형 AI 시스템의 입력과 출력을 체계적으로 관리해 악성 데이터 주입을 막고, 안전한 응답만 제공하도록 보장하는 기술"이라고 설명했다.

강연에서 소개된 주요 LLM Guardrail 기술은 다음과 같다:

-엔비디아의 Nemo Guardrail: 대화형 AI 시스템에서 입력과 출력 데이터를 실시간으로 검증하고, 사전에 정의된 규칙에 따라 안전하게 처리.

-메타의 Llama Guard: 사용자 프롬프트와 AI 응답에 대해 불법적이거나 비윤리적인 콘텐츠를 필터링하고, 위반 내용을 정책에 따라 보고.

윤 대표는 "이러한 가드레일 기술은 AI가 사용자에게 안전하고 신뢰할 수 있는 답변을 제공하도록 돕는 핵심적인 역할을 한다"고 말했다.

■ 안전한 생성형 AI 운용을 위한 전략적 방향성 제시

윤두식 대표는 강연 후반부에서 생성형 AI의 안전한 운용을 위한 전략적 방향성을 제시했다. 그는 AI Red Team(AI 레드팀)과 같은 전문 테스트 환경의 필요성을 강조하며, AI의 취약점을 사전에 탐지하고 개선할 수 있는 시스템의 중요성을 역설했다.

그는 또한 생성형 AI의 도입 시 준수해야 할 3대 원칙을 다음과 같이 제시했다:

-투명성 확보: AI의 데이터 처리와 운용 과정이 명확해야 함.

-다계층 방어: 여러 보안 계층을 도입해 위협을 다각적으로 차단.

-지속적인 업데이트: 최신 위협에 대응하기 위해 기술과 정책을 지속적으로 개선.

윤두식 대표는 "기술과 보안의 균형이 중요하다. 생성형 AI는 미래를 혁신적으로 바꿀 수 있는 도구지만, 이를 안전하게 활용하기 위해서는 기술적 신뢰성과 보안성을 동시에 강화해야 한다"고 강조했다.

AIS 2024는 생성형 AI가 가진 잠재적 위험을 경고하고 이를 해결하기 위한 실질적인 방안을 제시하며 보안 업계의 관심을 집중시켰다. 컨퍼런스에 참석한 한 보안 담당자는 "생성형 AI 기술이 가진 가능성을 보며, 동시에 보안 문제에 대해 다시 한번 고민할 수 있는 유익한 자리였다"고 소감을 밝혔다.

보다 상세한 내용은 아래 강연영상을 참고하면 되고 강연자료는 데일리시큐 자료실에서 다운로드 가능하다.