“AI 개발팀과 보안팀, 팀 스포츠처럼 같이 가야”

“생성형 AI 서비스 개발과 활용에 시프트 레프트(Shift-letf) 전략을 구성한다고 할 때, AI 개발팀 또는 인력이 보안팀이랑 따로 플레이할 수 없다. 이 둘은 협업을 많이 해나가야 하는 상황에 놓여 있다.”

하석현 한국마이크로소프트 기술 아키텍트는 25일 서울 서초구 엘타워에서 <바이라인네트워크>가 주최한 ‘사이버보안 기술 전략 컨퍼런스 2025’에서 이같이 강조했다.

이날 컨퍼런스에서 하석현 기술 아키텍트는 ‘생성형 AI를 위한 보안, 그리고 보안을 위한 생성형 AI’을 주제로, 생성형 AI 서비스 및 개발 환경에서 발생할 수 있는 위험과 생성형 AI 활용으로 보안 운영을 강화할 수 있는 방안에 대해 이야기했다.

‘시프트 레프트’는 소프트웨어 개발 라이프사이클 전반에서 보안 테스트를 최대한 초기에 시작해 개발 초기에 취약점을 발견하고 결함을 수정하는 방식을 뜻한다. 소프트웨어와 보안팀이 따로 개발을 진행하면 위험이 커 이러한 전략이 나왔다.

하 아키텍트는 “생성형 AI를 가지고 뭔가 개발한다는 것도 크게 보면 소프트웨어 개발의 일부기 때문에, 생성형 AI를 만드는 환경이라면 비슷한 접근을 해야 한다”고 조언했다.

맥킨지 조사에 따르면 기업 환경 내에서 생성형 AI를 사용하고 있다는 응답자는 약 71%로, AI를 사용하고 있다는 응답자는 78%로 나타났다. 이후 다가올 AI 에이전트 시대에 보안이 더 우려되는 상황이다. AI 에이전트는 자체적인 판단과 작업 수행이 가능한 AI 모델이기 때문에 사용자는 편의성이 높아지고 다양한 작업을 할 수 있다. 하지만 의도하지 않은 개인정보 유출 등 가능성이 있고 보안에 대한 논의가 시작되는 단계다.

하 아키텍트는 대표적인 보안 위험으로 ‘프롬프트 인젝션’ 공격을 예로 들었다. 프롬프트 인젝션 공격은 사용자가 대규모언어모델(LLM)에 악의적 목적으로 프롬프트를 작성해 잘못되거나 위험한 정보를 얻어내는 보안 취약점이다. 특정 단어를 넣었을 때 의도하지 않은 결과를 받아내거나, 의도적으로 ‘화염병 제조법’ 같은 정보를 얻어내는 등 보안 담당자는 해당 취약점에 대응해야 한다.

하 아키텍트는 마이크로소프트가 이미 수년 동안 고민을 해왔던 결과 끝에 ‘팀 스포츠’처럼 협업 방식을 취했다고 설명했다. 마이크로소프트는 AI만을 위한 레드팀을 신설하고, 보안팀과 협력해 어떤 공격 기법이 있는지, 어떻게 대응해야 하는지에 대한 논의를 하고 있다고 덧붙였다.

그는 ‘실질적으로 팀 스포츠를 AI 개발팀과 보안팀이 어떻게 해 나가야 할까’에 대한 솔루션으로 애저 AI 파운드리 플랫폼을 꼽았다.

애저 AI 파운드리 플랫폼은 AI 개발 툴로 AI 모델 선택부터 배포, 테스트 등 관리할 수 있는 통합 플랫폼이다. 기본적으로 모델마다 증명된 자격이 있는지 검증을 진행하기 때문에 보안팀은 안전한 모델인지 아닌지 판단에 도움을 줄 수 있다. 또, 보안팀이 제한한 모델을 AI 개발팀이 배포하려고 할 경우 경고 문구가 뜨면서 배포를 제한한다.

하 아키텍트는 “어떤 플랫폼을 사용하건 기본적으로 상태를 체크할 수 있게끔 툴을 제공한다”며 “보안팀 입장에서는 이런 걸 보고 얼마나 안전한지 혹은 위험한지 볼 수 있고, 실제 개발 작업을 하고 있는 AI 개발 팀에게 알리고 수정할 수 있다”고 강조했다.

글. 바이라인네트워크

<최가람 기자> ggchoi@byline.network