식약처 ‘첨단 AI 디지털 의료제품 레드팀 챌린지·기술 워크숍’ 준비 본격화

식품의약품안전처(처장 오유경)가 ‘첨단 AI 디지털 의료제품 레드팀 챌린지 및 기술 워크숍’ 개최를 위한 조직위원회 회의를 지난 7월 25일(금) 서울 웨스틴조선호텔에서 열고, 9월 행사 준비와 홍보를 본격화한다고 밝혔다.

이번 행사는 식약처가 주관하는 대형 출연사업 ’첨단의료 AI 안전성·신뢰성 향상 기술개발’의 핵심 과제로, AI 기반 디지털 의료기기의 보안성과 안전성을 실질적으로 시험하고 제도화 및 산업화 기반을 마련하기 위한 중요한 이정표로 평가된다.

이번 행사는 세 가지 주요 세부 과제를 중심으로 진행된다. 첫 번째는 ‘생성형 AI 디지털의료제품 레드팀 시험 평가 기술 개발 및 실증(3과제)’이며, 두 번째는 ‘생성형 AI 디지털의료제품 레드팀 플랫폼 개발 및 실증(4과제)’이다. 마지막으로 ‘첨단 AI 취약점 동향조사 및 글로벌 대응체계 마련(5과제)’이 함께 추진된다.

특히 오는 9월 4~5일, 노보텔 서울 동대문 호텔에서 개최될 본 행사는 ▲ 첨단 AI 의료기기 대상 보안 취약점 시험 및 대응 전략 공유 ▲ 국내외 생성형 AI 기반 의료기기용 거대언어모델(네이버, KT, 카카오, LG, 업스테이지, 딥시크, 구글, OpenAI 등) 8종 이상을 대상으로 사용자 참여형 레드팀 챌린지 행사 개최 ▲ 기술 워크숍을 통한 국내외 기술/제품/규제 동향 공유 등을 주요 내용으로 한다.

ETRI(한국전자통신연구원), 분당서울대학교병원, STA테스팅컨설팅, KTR(한국화학융합시험연구원) 등 국내를 대표하는 산·학·연 기관들이 이번 사업에 컨소시엄 형태로 참여하고 있다.

아시아 지역에서는 최초로 추진하는 이번 ‘첨단AI 레드팀 챌린지’는 생성형 AI 의료기기 개발에 사용 가능성이 높은 LLM들을 대상으로 100여명 이상의 참가자들이 모의 공격을 수행하고, 의료용으로 사용시 위험 요소와 취약점을 발굴해 대응 방안을 제시하는 혁신적 시험 방식이 적용된다.

평가 기준은 ▲기술적 난이도 ▲위해도 ▲공격의 창의성 ▲재현성 등을 종합적으로 반영할 예정이다. 또한 챌린지에서 발견된 취약점과 위험들에 대한 정보는 협력 LLM 개발사들에게 제공하여 안전과 품질 향상에도 기여하도록 할 계획이다. 이를 통해 의료용 소버린 AI 플랫폼뿐만 아니라 소버린 AI 안전과 보안 평가 기술 경쟁력도 함께 확보해 갈 계획이다.

총1600만원 이상의 상금이 걸린 이번 행사에는 의료 AI, 보안, 소프트웨어 시험 분야의 전문가뿐만 아니라, AI 기술에 관심 있는 학생, 의료진, 연구자 및 개발자들의 폭넓은 참여가 기대된다. 참가자 모집은 7월 말부터 8월 22일까지 온라인으로 진행되며, 8월말 1차 간이서류 전형을 거쳐 본선 참가자를 선정하여 진행된다.

STA테스팅컨설팅 권원일 대표는 “이번 레드팀 챌린지는 단순한 기술 경연을 넘어, AI 기반 의료기기의 안전성과 글로벌 경쟁력을 확보하는 시험대가 될 것”이라며, “STA는 평가기술과 레드팀 플랫폼 개발을 통해 의료 AI 산업의 새로운 기준을 제시하겠다”고 말했다.