이로운앤컴퍼니, 국내에서 가장 먼저 ‘생성형 AI 보안’ 기술 상용화한 기업

국내 한 보안 스타트업이 최근 세계를 놀라게 한 중국의 오픈소스 인공지능(AI) 대규모언어모델(LLM) ‘딥시크(Deepseek)’에 대한 보안성과 안전성 평가를 실시한 결과를 발표해 크게 주목 받았다.

이 평가에 따르면, 딥시크-R1은 제일브레이킹(jailbreaking, 탈옥) 공격 성공률이 63%에 달해 심각한 보안취약성을 드러냈다. 역할극(Role-Playing) 기반 공격에서도 83%의 높은 취약성이 나타났으며, 허위정보(Misinformation) 생성 위험도는 89%로 가장 높은 수준을 기록했다. 이 테스트는 생성형 AI 프롬프트 인젝션(Prompt Injection)과 제일브레이킹 공격에 대한 방어력을 다각도로 평가하는 방식으로 진행됐고, 영어와 한국어 프롬프트를 균등하게 포함해 다국어 기반 보안성을 검증했다.

딥시크 LLM에 대한 이같은 보안 테스트를 수행한 기업은 바로 ‘이로운앤컴퍼니’란 이제 갓 창업 1년을 넘긴 생성형 AI 보안 스타트업이다. 이로운앤컴퍼니는 지란지교시큐리티를 10년간 이끌었던 윤두식 대표가 지난해 1월 설립한 기업이다. 윤 대표는 대학교 졸업 후 지란지교소프트에 입사해 10여 년간 근무하며 연구소장과 보안사업부문장을 역임한 뒤 분사를 직접 이끌어 탄생한 지란지교시큐리티 대표를 맡아 코스닥에 상장시켰다. 또 에스에스알 인수도 진행해 대표를 겸임하기도 했다.

경기 불황이 심화되고 불확실성이 큰 시점에 안정된 기업의 대표직을 내려놓고 창업에 나선 이유로 윤두식 대표는 “2022년 말에 챗GPT가 출시됐을 때 처음 접하고 나서 ‘이게 세상을 바꿀 수 있겠다’ 싶었다”고 했다. 그는 “앞으로 AI로 할 수 있는 일이 엄청 많아질 것”이라며 “궁극적으로 AI 에이전트가 나오면서 AI를 통한 자동화가 이뤄지게 되면, AI로 인한 보안 문제 발생할 것이다. 앞으로 AI 보안 시장도 매우 커질 것”이라는 전망을 내놨다.

오픈AI의 챗GPT가 세상에 나온 뒤 생성형 AI 열풍이 불며 지난 3년간 전세계적으로 AI 개발 경쟁이 불붙었고 거의의 모든 기업들이 생성형 AI를 채택하려는 움직임이 활발한 상황이다. 그만큼 생성형 AI 보안위협도 점점 커지고 있다.

이에 따라 많은 보안 기업들이 생성형 AI 보안 기술 개발에 매진하고 있다.

이제 설립 1주년을 넘긴 이로운앤컴퍼니는 가장 발빠르게 생성형 AI 보안 기술을 개발해 상용 제품을 시장에 내놨다.

창업 1년도 안돼 생성형 AI 보안 제품 ‘세이프X’ 개발, 첫 레퍼런스 확보

이로운앤컴퍼니는 정식 회사 창업 후 약 반년 남짓 만인 지난해 7월 생성형AI 보안 솔루션인 ‘세이프X’를 개발했다. 먼저 최소기능제품(MVP)을 선보인 데 이어 지난 해 11월 말 정식 제품을 출시했다. 출시와 동시에 GS인증을 받고 첫 레퍼런스도 확보했다.

‘세이프X’는 기업들이 안전하고 효율적으로 AI 기술을 업무에 도입할 수 있도록 하는데 특화된 보안 솔루션이다. AI 사용 과정에서 발생할 수 있는 개인정보 유출과 기밀 정보 노출 위험을 실시간 탐지하고 차단하는 스캐닝 기술을 탑재하고 있다. AI 사용현황을 모니터링해 개인정보 및 민감 정보 유출 방지하며, AI 공격과 오남용을 파악하고 방어하는 레드티밍(RedTeaming)과 블루티밍(BlueTeaming) 기술을 모두 제공한다. 따라서 기업들이 AI를 활용하는 동안에도 보안성을 유지할 수 있도록 돕는다.

윤 대표는 “기업이나 공공·금융기관에서 외부 LLM을 쓰고 싶어한다. 하지만 사용하도록 무작정 열어주면 기업 기밀정보나 개인정보가 유출될 수 있어 우려가 크다”라면서 “세이프X 서버가 프록시 서버처럼 중간에서 필터링 역할을 한다. 사용자가 프롬프트를 입력하면 세이프X가 받아서 필터링해 문제가 없으면 넘겨서 답변을 받아서 사용자에게 보여준다. GPT-4o, 클로드(Claude), 제미나이(Gemini), 클로바X(ClovaX), 라마(Llama) 등과 API를 연동했고, 사용자가 접속하는 화면도 똑같이 구현했다”고 설명했다. 각 기업 조직에서는 원하는 LLM 모델을 선택해 쉽게 사용할 수 있도록 제공한다는 얘기다.

안전한 LLM 사용 지원…프롬프트 인젝션 공격 등에 의한 정보유출 위험 해소

세이프X를 사용하면 사용자가 잘못 입력하는 개인정보나 기밀정보 유출을 방지할 수 있을 뿐만 아니라 제일브레이킹 기법 등을 사용하는 프롬프트 인젝션 공격에 의한 보안 위험도 막을 수 있다.

프롬프트 인젝션은 AI에게 공격자가 의도한 프롬프트를 주입해 AI의 악의적인 동작을 유도하는 공격을 말한다. 단어 대체나 삽입, 삭제, 추가 등 프롬프트 텍스트를 조작해 모델의 응답을 조정하거나 변경하고, 대화를 가로채거나 사용자를 사칭해 맥락을 조작해 모델 응답을 유도하는 유형이 있다. 또 실행 가능한 코드나 명령어를 삽입하거나 개인정보처럼 민감한 데이터를 유출시킬 수 있도록 프롬프트를 제작하고, 필터링·보안 장치를 우회하기 위해 복잡한 난독화 기법을 사용하기도 한다.

윤 대표는 “기업에서 LLM을 외부 연결해 AI 챗봇이나 AI 에이전트를 개발할 경우 자율 행동을 할 때 민감한 정보가 그대로 노출될 수 있다. 이같은 보안위험을 방지할 수 있도록 이로운앤컴퍼니가 API를 만들어 제공한다. API가 프롬프트 데이터를 보내면 필터링을 해서 제공한다”라면서 “사람이 직접 하거나 AI에이전트나 챗봇같은 로봇, 기계가 하건 간에 중간에서 데이터를 필터링해준다. 사용자가 악의적으로 이상한 내용을 물어보는 공격까지 필터링한다”고 덧붙였다.

이로운앤 컴퍼니는 세이프X에서 LLM과 AI 에이전트를 대상으로 한 보안 및 안전성 평가를 자동으로 수행할 수 있는 레드티밍 에이전트도 곧 출시할 예정이다. 레드티밍은 이로운앤컴퍼니가 딥시크에 대해 수행했던 안전성 평가처럼 기업에서 개발하는 AI 서비스에 대해 취약점 공격을 미리 수행해보고 그 주요 결과를 보고서로 만들어 제공해줄 수 있는 기능이다.

아울러 세이프X를 도입해 생성형 AI를 도입하거나 서비스를 제공하려는 기업을 위해 보안 프롬프트 엔지니어링 교육도 제공하고 있다. 프롬프트 엔지니어링 기초 교육부터 심화, AI 위협(제일브레이킹), AI 보안 프롬프트 엔지니어링 등 기본 교육부터 IT 보안 담당자를 위한 교육 과정까지 온·오프라인 강연 형태로 고객사를 대상으로 제공하고 있다.

세이프X는 현재 한국정보보호산업협회(KISIA) 정보보호교육원에 처음 공급해 올 초부터 교육생들이 활용하고 있다.

‘높은 민감정보 판별률’ 지원…레드티밍 엔진·SaaS 기반 구독형 서비스 곧 출시

윤 대표는 세이프X의 가장 큰 강점으로 월등한 민감정보 판별률을 꼽았다. 자체 분석결과, 프롬프트에 입력하는 개인정보나 기업의 중요정보 실시간 판별률은 90%에 달한다는 설명이다.

윤 대표는 “이같은 수치는 기존 한글 모델 대비 25% 이상 높은 판별률이다. AI 기반 NER(Named Entity Recognition) 모델을 자체 개발해 적용했기 때문에 가능한 것”이라며 “오탐을 줄여 판별률을 높이기 위해 NER 모델을 계속 업그레이드하고 있다. 또한 자연어를 통한 제일브레이킹 프롬프트 인젝션 판별 엔진 외에 LLM에 특화된 해킹 방어를 수행할 수 있도록 LLM에 대한 보안과 안전성 테스트를 수행하는 레드티밍 엔진도 3월 중 출시할 예정”이라고 강조했다.

세이프X는 사용 기업에서 직접 민감정보를 판별할 수 있도록 설정할 수 있는 기능과 더불어 사용 중 민감정보가 판별된 결과에 대한 실시간 오탐·미탐지 신고가 가능하도록 지원한다. 관리자들은 제공되는 대시보드상에서 판별된 민감정보와 사용자 오탐신고로 해제된 민감정보, 최근 검출된 탐지내역 리스트는 물론 사용자별 또는 LLM 모델별 사용량을 확인할 수 있다. 프롬프트 실시간 모니터링 결과 등 다양한 로그를 확인을 비롯해 손쉬운 사용자 관리 및 통합 기능 등을 제공한다.

이같은 기능을 모두 제공하는 국내 생성형 AI 보안 상용 제품은 세이프X가 처음으로, 외산 제품을 제외하고 아직까지 이렇다 할 경쟁 제품을 찾기 어려운 상황이다. 그만큼 금융사와 기업 등 생성형 AI를 사용하거나 AI 에이전트를 개발해 서비스하려는 조직으로부터 이로운앤컴퍼니로 연락이 많이 들어오고 있다.

세이프X는 패키지로 공급되지만, 이로운앤컴퍼니는 AI 에이전트를 만드는 기업에서 프롬프트 인젝션 제일브레이킹 판별 엔진만 필요로 하는 수요가 있어 이 엔진만도 별도 공급하고 있다.

이로운앤컴퍼니는 세이프X를 사내 직접 구축형(온프레미스) 버전으로 제공하고 있는데, 올 상반기 중 서비스형소프트웨어(SaaS) 버전도 제공해 월 구독형 토큰 플러스 보안 서비스를 출시할 예정이다.

‘AI 보안 플랫폼 회사’ 목표…비전은 ‘토털 AI 서비스 제공업체’

세이프X에서 제공하려고 계획했던 세 가지 보안 엔진이 곧 완비되고 온프레미스에 SaaS 버전 제품 출시까지 눈앞에 두고 있는만큼, 이로운앤컴퍼니가 매출과 수익을 거둘 수 있는 비즈니스가 올해부터 본격화될 것으로 예상된다.

윤 대표는 이로운앤컴퍼니의 비전을 묻는 질문에 “AI로 만들어지는 모든 애플리케이션의 보안을 책임지는 AI 보안 플랫폼 회사가 되겠다”고 말했다. 궁극적으로는 “LLM 토털 서비스 공급업체가 되고자 한다”고 밝혔다. 우선은 AI 보안에 주력하지만, 사업 분야와 회사 정체성을 ‘AI 보안’에만 가두지 않고 안전한 AI를 제공하는 진정한 AI 매니지드 서비스 제공업체(MSP)로 발전해나가겠다는 계획이다.

“AI에게 전권 주면 절대 안돼…가시성 확보하고 통제하라”

그는 생성형 AI를 도입하고자 하는 기업들에게 가장 강조하고 싶은 우선 고려사항을 묻는 질문에 “가장 중요한 것은 가시성”이라고 지적하며, “(AI를 도입하더라도) 항상 누군가 지켜봐야 한다. 가시성을 확보해 통제할 수 있는 환경을 만들어놔야 한다. AI에게 전권을 주면 절대 안된다”고 말했다.

윤 대표는 “AI에게 최소한 두 가지 제한을 걸어야 한다. AI가 접근할 수 있는 데이터와 시스템, 그리고 AI의 활동 반경에 대한 제안을 걸어야한다. 사람이 판단할 것과 AI가 할 수 있는 것을 반드시 구분해야 한다. 이 두 가지만 잘 정해놔도 AI 위협에서 상당히 많이 자유로워질 수 있다. 우려가 많이 나오는 LLM의 할루시네이션(환각)은 모델을 만드는 기업이 해결해야 할 문제고, 실제 AI 기술을 적용하는 경우에는 어디까지 AI를 접근시키고 행동하게 만들 것인지 명확히 정의해야 한다. 모든 것을 제한해두고 항상 확인하고 검증한 뒤에 뭔가를 하게 하는 것, 제로트러스트 보안 개념과도 일맥 상통한다”고 강조했다.

[바스리] 바이라인네트워크에서 스타트업을 리뷰합니다. 줄여서 ‘바스리’. 투자시장이 얼어붙어도 뛰어난 기술력과 반짝이는 아이디어, 새로운 비즈니스 모델을 가진 스타트업은 계속해 탄생하고 있습니다. 세상을 깜짝 놀라게 하겠다고 출사표를 던진 이들을 바이라인 기자가 만나봤습니다.

글. 바이라인네트워크

<이유지 기자>yjlee@byline.network