[우리가 AX 주역]〈35〉에임인텔리전스, 생성형 AI 취약점 탐지·최소화 솔루션 제공

에임인텔리전스는 생성형 인공지능(AI)의 취약점을 탐지·최소화하는 솔루션을 제공하는 기업이다.

생성형 AI를 위한 보안은 소프트웨어(SW) 보안과 다르다. SW 보안은 짜여진 코드에 대한 악성코드 등을 막는 식이지만, 생성형 AI는 특정 정보를 입력했을 때 어떤 결과가 나올지 알 수 없는 '블랙박스'를 가졌다.

이 때문에 생성형 AI는 거짓 결과물을 진짜인 것처럼 생성하는 '환각'과 개발자의 통제를 벗어난 행동을 하는 '탈옥'이라는 취약점이 있다. 해커들은 이를 악용해 AI가 학습한 데이터 중 개인정보 등을 유출시키거나, 비윤리적 답변 등을 이끌어낸다.

이 때문에 주목받는 것이 '레드팀'이다. 레드팀은 생성형 AI에 비윤리적·폭력적 입력값을 넣는 일종의 '공격'을 가해 생성형 AI가 잘못된 결과를 생성할 수 있는 변수를 유도한다.

에임인텔리전스는 AI 레드팀 솔루션 '에임 레드'를 개발했다.

에임 레드는 생성형 AI 모델에서 발생할 수 있는 취약점을 종합한 데이터베이스(DB)를 기반으로 만들어진 AI 모델이다. 이 모델이 평가하고자 하는 AI 모델과 대화하며 문제가 될 수 있는 결과물을 탐지한다.

에임인텔리전스는 빠르게 발전하는 AI 악용 기법에 대응할 수 있도록 에임 레드의 업데이트에 집중하고 있다.

에임인텔리전스는 최근 AI 가드레일 솔루션 에임 가드(Guard)도 출시했다. 에임 가드는 생성형 AI 입출력 과정에서 필터 역할을 하며 생성형 AI의 취약점을 실시간 탐지·최소화한다.

현재 네이버 D2SF, SK텔레콤, 하나은행, 국민은행 등 국내 대기업에 AI 보안 시스템 구축을 위해 협력하고 있다.

지난 9월에 유치한 시드 투자를 규모 확장·해외 진출 등의 발판으로 삼을 계획이다.

〈인터뷰〉유상윤 에임인텔리전스 대표, “'AI 안정성' 하면 떠오르는 기업으로 만들 것”

“AI는 의도없이 사람을 속입니다. AI 서비스 운영을 위해선 취약점을 제대로 이해해야 합니다.”

유상윤 에임인텔리전스 대표는 서울대 전기정보공학부 석사 과정 당시 'AI 윤리·공정성' 분야를 연구했다.

유 대표는 “생성형 AI 시대가 오면서 다들 성능에만 신경 쓰곤 했지만, AI가 상용화돼 실제 사람들을 마주할 때는 안전성이 허들로 작용할 것이라 생각했다”며 “누군가는 해결해야 한다”는 마음으로 창업을 결심했다.

그는 “미국의 경우 AI 보안 분야에는 많은 인재와 돈이 몰리고 있는 상황”이라며 “AI에 있어서 미국보다 1~2년 뒤처졌다고 평가받는 우리나라에서도 AI 보안 분야는 발전할 여지가 많다”고 전망했다.

에임인텔리전스는 솔루션 개발과 함께 해외 진출을 계획 중이다. 최근 메타가 주최한 AI 솔루션 공모 프로그램 '라마 임팩트 이노베이션 어워즈'에 참여한 것도 해외 진출에 대한 노력의 일환이다.

이 대회에서 에임인텔리전스는 기술력과 사회적 기여도를 높이 평가받아 아시아 태평양 지역 수상자로 선정됐다.

유 대표는 “올해 안에 더 많은 고객사를 유치해 다양한 분야에 솔루션을 적용할 것”이라며 “AI 안전성 하면 떠오르는 기업이 되는 것이 궁극적 목표”라며 포부를 밝혔다.

현대인 기자 modernman@etnews.com