‘AI의 공격, AI 노린 공격’ 효과적으로 막으려면

팔로알토네트웍스코리아 조현석 프로

“보안을 위한 생성형 AI가 필요해졌다. 그리고 생성형 AI 수명주기 전반, AI 에이전트까지 포함하는 포괄적인 플랫폼으로서 보안에 접근해야 한다. 플랫폼화된 보안은 각각의 요소을 상호 연동해 자동화할 수 있는 기반을 갖춰준다.”

조현석 팔로알토네트웍스코리아 프로는 25일 바이라인네트워크에서 개최한 ‘사이버보안 기술 전략 컨퍼런스 2025’ 강연에서 이같이 말했다.

조현석 프로는 “요즘 사이버 공격이 전과 다르게 동시다발적으로 발생한다고 느껴질 텐데 AI 기술의 발전과 무관하지 않다”며 “사이버보안이 대응할 수 있는 시간이 줄어들고 있다”고 말했다.

조 프로는 “보안을 위한 생성형 AI가 필요하고, AI 수명주기와 공급망 모든 단계까지 포괄적으로 보호할 수 있는 체계가 필요하다”고 강조했다.

생성형 AI는 일상적 업무 생산성을 높이고 새로운 가능성을 열고 있다. 하지만 생성형 AI의 뛰어난 창조적 역량을 악의적으로 사용하면 전례없는 위기를 만들 수 있다.

과거 12시간 걸리던 랜섬웨어 제작에 생성형 AI를 이용하면 3시간이면 만들어진다. 내년이면 15분으로 줄어들 것으로 예상된다. 사회적 공격 방법을 이용하는 데이터 유출 시도는 9일 이상 걸리던 게 AI 덕에 하루, 나아가 20분이면 이뤄질 수 있게 됐다. 악성코드 제작도 일주일이면 만들 수 있고, 앞으로 1시간 안에 만들 게 될 것으로 전망된다. 생성형 AI를 악용하면 CVE 번호만 알아도 특정한 취약점을 야기하는 악성코드를 순식간에 만들 수 있다.

공격자가 점차 빠르고 간편하게 보안 공격 시도를 하게 되는 상황에서 방어자도 AI를 활용해 대응 속도를 높여야 한다. 속도를 높이려면 활용하는 AI 도구가 더 똑똑해져야 하고, 기존 보안과 AI 측면의 보안을 잘 이해해야 한다.

조 프로는 “팔로알토네트웍스는 프리시전 AI란 이름의 보안을 위한 생성형 AI를 만들고 있다”며 “사용자와 악성코드의 형태적, 행위적, 절차적 특성 등을 모두 학습하고, 각 보안 솔루션에 맞는 솔루션을 구현한다”고 말했다.

그는 “보안 솔루션의 유형마다 학습의 결과가 다를 것인데, 가령 제로데이 악성코드에 대응하려면 네트워크 방화벽에서 특정 악성코드의 행태를 탐지하는 머신러닝 결과가 필요할 것이고, SOC SOAR 측면에선 절차적 형태 악성코드의 절차적 행위를 학습한 결과가 필요할 것”이라며 “이런 부분들을 별도로 다 학습하고 각 솔루션에서 자동 대응할 수 있게 해주는 기반이 프리시전 AI”라고 설명했다.

사이버보안 체계에서 대형언어모델(LLM)과 AI 에이전트는 추가로 보호해야 할 대상이다. 공격자가 기업과 조직이 사용하는 생성형 AI 환경의 취약점을 적극적으로 공략하고 있기 때문이다.

조 프로는 “AI 위협에 대응하려면 크게 2가지 방향에서 봐야 한다”며 “조직과 내부 직원의 업무 생산성 향상에 쓰이는 생성형 AI 사용을 제어해야 하고, 생성형 AI 모델이 실행되는 런타임을 노리는 공격을 방어해야 한다”고 밝혔다.

우선 생성형 AI 애플리케이션에 대한 사용자 접근 제어가 요구된다. 업무와 무관한 AI 앱 활용을 막고, 허용된 AI 앱을 쓰더라도 기밀 데이터를 외부로 유출하는 행위를 실시간으로 감지해 차단해야 한다.

유명 AI 모델이나 AI 애플리케이션이 거의 대부분 웹브라우저 환경에서 이뤄지는 것을 고려해 전용 브라우저를 활용하는 웹 인터페이스 접근 제어도 필요하다. AI 데이터센터를 운영하는 입장이라면 런타임을 노리는 시도를 방어할 방화벽이 있어야 한다. AI모델의 서비스거부(DOS) 공격 방어 대책도 필요하다.

조 프로는 “그런 부분에서 시큐리티 포스처 매니지먼트, 현장 관리, 실시간 모니터링, 마이크로 세그멘테이션 기반 접근제어 등을 구현할 수 있는 플랫폼이 있어야 한다”고 강조했다.

조 프로는 “조직 내 섀도우 AI에 대한 가시성을 확보하고 제어하는 게 중요하다”며 “애플리케이션 기반 접근 제어를 우선적으로 해야 하고, 위협의 표면적을 낮추고 허용된 범위 내에서 데이터 유출을 차단할 수 있는 플랫폼이 구성돼야 한다”고 밝혔다.

생성형 AI 애플리케이션과 데이터에 대한 가시성 확보와 접근 제어와 함께 중요한 게 AI 자체를 보호하는 것이다. 그 중요성이 갈수록 커지고 있다.

AI 모델은 초인적 능력과 어처구니없는 실수를 모두 할 수 있는 양면성을 가졌다. AI 학습 데이터를 오염시키면 악성코드로 연결되는 URL을 답변으로 제공하게 만들 수도 있다. 갈수록 생성형 AI 애플리케이션의 허점을 노린 새로운 유형의 AI위협이 증가하고 있다. 기본적인 시스템 보안에 LLM도 포함시켜야 하는 상황이다.

조 프로는 “기존에 시스템 아키텍처의 CVE 취약점과 데이터 유출 취약점에 AI 모델에 대한 취약점이 새롭게 발생하고 있다”며 “AI 위협 중 프롬프트 인젝션이 제일 많이 이뤄지고 있으며, AI 모델 DOS 공격, 악성코드 공격 등도 많이 이뤄진다”고 말했다.

프롬프트 인젝션은 LLM의 답변과 행위를 규정하는 가드레일을 우회해 제공하면 안 되는 정보를 내놓게 만드는 공격이다. 이런 프롬프트 인젝션은 기존의 패턴 매치나 안티바이러스 시그니처로 탐지할 수 없다.

조 프로는 “서비스를 운영하는 입장에서 잘못된 정보가 고객에게 전달되면, 비용과 시간을 들여 구축한 서비스의 신뢰도가 한순간에 떨어지고 비즈니스를 할 수 없는 상황에 처할 수 있다”며 “LLM이 어떤 답을 할 지 항상 모니터해야 하고, 실시간으로 관리해야 한다”고 강조했다.

단순히 자연어 프롬프트를 입력해 정보를 제공받던 것에서 달성 목표와 업무를 지정해 전적으로 맡기는 AI 에이전트가 급부상하고 있다. AI 에이전트는 보안 입장에서 보면 보이지 않는 곳에서 어떤 사고를 일으킬 지 모르기 때문에 리스크를 높인다.

조 프로는 “데이터센터에 구성된 LLM을 누군가 해킹해서 악의적 행동을 할 수 있는 AI 에이전트를 심는다고 상상하면 너무 무섭다”며 “AI 에이전트가 외부 통신 없이 내부에서 모든 시스템 환경을 파악하고 중요한 정보를 삭제하고 랜섬웨어에 감염시키는 시나리오는 충분히 가능하다”고 말했다.

그는 “AI 에이전트는 여러 AI 모델의 상호 연동과 동작으로 운영되고, 그 과정에서 여러 커뮤니케이션이 일어나면서 데이터를 주고 받게 된다”며 “여기서 AI 에이전트 목적에 맞는 데이터를 주고 받는지, 어떤 행동을 하고 있는 지 가시성을 확보하고 통제할 수 있어야 한다”고 설명했다.

그는 “AI 에이전트는 기존의 시스템 아키텍처에서 ‘액션’이라는 새로운 리소스가 추가되는 것”이라며 “에이전트의 액션을 노린 위협이 새롭게 등장하고 있으므로 제어 역량을 갖춰야 한다”고 덧붙였다.

LLM과 AI 에이전트에 대한 가시성, 제어 역량을 확보하려면 모델에 대한 포스처 매니지먼트, 컴플라이언스 관리, AI 레드팀, LLM 런타임 시큐리티 등을 확보해야 한다.

팔로알토네트웍스는 ‘AI 런타임 시큐리티’란 네트워크 보안 솔루션을 제공 중이다. 방화벽을 배포하고 특정 권한을 AI 런타임 시큐리티에 주면, 데이터센터 내의 모든 AI 모델과 데이터세트, 플러그인 등을 조사하고, 목록화해 보여준다.

결과적으로 급증하는 AI 활용 사이버 공격과 AI를 노린 공격을 방어하려면 최대한의 자동화를 추구할 수밖에 없다.

조 프로는 “자동화를 하려면 먼저 솔루션의 오케스트레이션을 해야 하는데, 개별 솔루션으로는 오케스트레이션을 할 수 없다”며 “전체적인 보안 솔루션을 플랫폼화해서 각각을 조율하고 상호 연동시켜 자동화를 이뤄야 한다”고 말했다.

그는 “보안 대응과 SOC 운영에 AI를 활용해야 하고, 지속적으로 모니터링하고 사고 발생 시 자동 대응하도록 해야 한다”며 “AI 에이전트를 SOC에서 활용하고, 실시간으로 행위를 확인하고 대응할 수 있는 기능을 자동화하면서 제로 트러스트를 구현해가야 한다”고 강조했다.

글. 바이라인네트워크

<김우용 기자>yong2@byline.network