AI가 만드는 가짜정보·해킹 막는다… 에임인텔리전스의 혁신 기술

-3만개 취약점 패턴으로 AI 안전 지킨다

-94.4% 침투율로 글로벌 AI 기업들도 인정

-AI 기본법 통과로 AI 보안 시장의 수혜 기업으로 주목

-창업 1년 만에 글로벌 AI 기업 진단까지… ‘보안+윤리’ 결합한 솔루션 주목

지난해 11월, AI 챗봇 제미나이가 ‘제발 죽어줘’라는 부적절한 답변을 내놓아 논란이 일었다. 최근에는 반복적으로 우회 질문을 해서 폭력이나 범죄 관련 답변을 이끌어내는 ‘다중 탈옥’ 수법도 횡행하고 있다. 또한 AI가 허위 정보를 만들어내는 ‘환각'(Hallucination) 현상도 빈번히 발생하고 있으며, AI를 이용한 보이스피싱과 이메일 사기도 급증하고 있다.

이러한 AI 안전 문제를 해결하기 위해 나선 스타트업이 있다. 에임인텔리전스(AIM Intelligence)는 AI 사용자의 악의적인 시도를 원천 차단하는 기술을 보유한 AI 보안 전문 스타트업이다. 에임인텔리전스는 피싱 이메일, 허위 정보, 딥페이크 이미지 제작은 물론, 해킹과 사이버 공격 시도까지 효과적으로 막아낸다.

“AI 기술이 발전할수록 보안의 중요성도 커지고 있습니다. 저희는 AI가 윤리적이고 안전하게 사용될 수 있도록 돕는 것을 목표로 합니다.”

서울 강남구 코엑스 SKT AI Lab for Startups에서 만난 유상윤 에임인텔리전스 대표는 이렇게 회사의 비전을 설명했다. 사명 에임인텔리전스(AIM Intelligence)의 ‘에임’은 AI와 ‘조준하다’라는 이중적 의미를 나타내고 있다. 회사 로고의 빨간 점은 정확한 조준점을 상징하며, AI 보안의 취약점을 정밀하게 찾아내 제거하겠다는 의지를 담고 있다.

서울대 전기정보공학과 석사 출신인 유 대표는 AI 윤리를 연구하던 중 가상머신최적화 연구실의 후배와 함께 2024년 초 에임인텔리전스를 창업했다. 창업 이후 짧은 기간 동안 ‘메타 라마 임팩트 이노베이션 어워드’ 수상, 과학기술정보통신부 ‘AI 레드팀 챌린지’ 우승, SK 텔레콤의 ‘AI 스타트업 액셀러레이터 2기’ 선정 등 주목할 만한 성과를 거뒀다. 이러한 성과를 토대로 에임인텔리전스는 매쉬업벤처스로부터 시드 투자를 유치했다. ‘AI 스타트업 액셀러레이터 2기’ 프로그램은 SK텔레콤(대표 유영상)이 하나은행(은행장 이승열)과 함께 AI 스타트업을 육성하기 위해 마련한 프로그램이다. 선정된 기업은 무료 사무공간, 사업 멘토링, 특허, 투자, 홍보 등을 지원받는다.

창업한 지 1년도 안됐지만 에임인텔리전스는 이미 국내 주요 통신사가 에임레드로 자사 AI 서비스를 진단했고 글로벌 AI 기업 앤트로픽(Anthropic)의 클로드(Claude) 모델 진단 프로젝트에도 참여하는 등 그 가치를 인정받고 있다.

■ 혁신적인 ‘공격’과 ‘방어’ 솔루션 개발

에임인텔리전스의 대표 제품은 ‘에임레드’(AIM Red)와 ‘에임가드’(AIM Guard)다. 에임레드는 AI 시스템의 취약점을 자동적으로 찾아내는 진단 도구이다. 기존에는 보안 전문가가가 직접 취약점을 찾아내는 ‘휴먼 레드팀’ 방식을 사용했지만, 에임레드는 이 과정을 자동화하여 효율성을 높였다.

에임레드는 해커의 관점에서 다양한 방식으로 AI 시스템을 시험한다. 예를 들어 직접적인 해킹 코드 요청은 AI가 거부하지만, 특정 상황을 가정한 우회적 요청에는 취약할 수 있다는 점을 활용한다.

“그동안 알려진 취약점 패턴들을 체계화했습니다. AI에 특정 역할과 임무를 부여하여 공격을 시도하고, 사이버공격 코드나 허위 정보 제작 같은 특정 주제와 결합하며 패턴을 발전시킵니다. 커뮤니티와 대회를 통해 계속해서 새로운 패턴을 찾아나가고 있습니다.”

에임인텔리전스는 현재 3만 개가 넘는 취약점 패턴을 보유하고 있다. 특히 한 번의 질문과 답변만 하는 ‘싱글턴'(single-turn) 방식을 넘어, 여러 차례 대화를 주고받는 ‘멀티턴'(multi-turn) 방식의 공격도 수행하고 있다. 멀티턴 방식은 AI가 이전 대화의 맥락을 기억하고 이를 바탕으로 적절한 응답을 생성하는 것이 핵심이다. 최근 AI 모델들은 단순한 공격은 막아내지만, 복잡한 대화 과정에서 취약점을 드러내고 있다.

에임가드는 이러한 취약점을 방어하는 솔루션이다. 에임레드가 취약점을 찾아내는 ‘공격’ 도구라면, 에임가드는 이러한 취약점을 막아내는 ‘방어’ 도구라고 할 수 있다.

에임가드의 핵심은 입력과 출력 단계 모두에서 작동하는 이중 방어 체계라는 점이다. 입력 단계에서는 사용자의 악의적인 시도를 사전에 차단하고 출력 단계에서는 AI의 답변이 적절한지 검토하여 욕설, 개인정보 유출, 저작권 침해 등을 방지한다.

두 제품 모두 뛰어난 성능을 보여준다. 에임레드는 마이크로소프트의 PyRIT(33.3%)보다 높은 94.4%의 침투율을 기록했다. 같은 시간 동안 약 3배 더 많은 취약점을 발견할 수 있다는 의미다. 에임가드는 보호율 90%를 달성한 메타의 라마가드(Llama Guard)를 뛰어넘는 99%의 보호율을 달성했다. 특히 한국어와 한국 문화권의 특수성을 반영한 취약점 진단이 가능하다는 것이 강점이다. 예를 들어 젠더 갈등이나 군대 관련 이슈처럼 한국 사회에서 특히 민감한 주제들에 대한 침투와 보호를 효과적으로 수행할 수 있다.

유 대표는 “전통적인 사이버 보안은 소프트웨어 코드를 분석하지만 AI는 ‘블랙박스’ 같아서 다양한 입력값으로 문제점을 찾아야 합니다. 또한 AI 보안은 윤리적 문제와도 밀접하게 연관되어 있습니다.“라며 AI 보안의 특수성에 대해 설명했다.

■ AI기본법으로 AI 보안 중요성 커져

2024년 12월 26일 국회를 통과한 AI 기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)으로 AI 보안의 중요성은 더욱 커질 전망이다. 이 법은 EU에 이어 세계에서 두 번째로 제정된 포괄적 AI 규제법으로, AI의 투명성과 안전성 확보를 의무화했다. 이번 법안은 인공지능에 관한 국가 차원의 거버넌스 체계를 정립하고 인공지능 산업을 체계적으로 육성하며, 인공지능의 기술적 한계, 오남용 등으로 인해 발생가능한 문제를 사전에 예방하기 위한 내용으로 구성돼 있다. 법에는 투명성 확보 의무, 안전성 확보 의무, 사업자 책무, 민간 자율적으로 AI 안전성, 신뢰성 검인증, 인공지능 영향 평가에 대한 지원 근거도 함께 포함되어 있다.

유 대표는 한국이 AI 보안 분야에서 다소 뒤처져 있다고 진단하면서 “미국은 AI 보안 산업이 자리잡혀 있고 관련 법과 제도도 마련돼 있습니다. 반면 한국은 이제 막 관심을 갖기 시작했습니다. 최근에 AI 기본법이 통과되면서 AI 보안 산업이 발전할 것으로 보입니다.“라고 설명했다.

■ 안전한 AI 시대를 꿈꾸며

에임인텔리전스는 현재 컨설팅 기반으로 제공하는 서비스를 곧 구독형 SaaS로 확대할 계획이다. 또한 금융, 의료 등 특수 분야별 맞춤형 보안 솔루션도 준비 중이며, 미국 시장 진출도 추진하고 있다.

장기적으로는 생성형 AI를 넘어 로봇, 자율주행차 등 물리적 AI 보안까지 영역을 넓히려 한다. 유 대표는 ”로봇이나 자율주행차처럼 물리적 형태를 가진 AI가 등장하면 안전성이 더욱 중요해질 것”이라며 “그때 꼭 필요한 기업이 되는 것이 저희의 목표”라고 강조했다. 이를 위해 AI 안전성, 보안 연구자, 규제 전문가 등 다양한 분야의 인재를 적극 영입하고 있다.

AI-created fake information and hacking prevention… Aim Intelligence’s innovative technology

– Protecting AI safety with 30,000 vulnerability patterns

– Recognized by global AI companies with a 94.4% penetration rate

-Attention as a beneficiary company in the AI security market with the passage of the AI Basic Law

– From Establishment to Global AI Company Diagnosis in Just One Year… Attention on Solutions Combining ‘Security + Ethics’

Last November, AI chatbot Gemini caused controversy when it gave the inappropriate answer, “Please die.” Recently, the “multiple jailbreak” method, which repeatedly asks indirect questions to elicit answers related to violence or crime, has also become rampant. In addition, the phenomenon of “hallucination” in which AI creates false information is occurring frequently, and voice phishing and email fraud using AI are also on the rise.

There is a startup that has stepped up to solve these AI safety issues. AIM Intelligence is an AI security startup that possesses technology that blocks malicious attempts by AI users at the source. AIM Intelligence effectively blocks phishing emails, false information, and deepfake image creation, as well as hacking and cyberattack attempts.

“As AI technology advances, the importance of security also increases. Our goal is to help AI be used ethically and safely.”

This is how Sang-yoon Yoo, CEO of AIM Intelligence, explained the company’s vision, which we met at the SKT AI Lab for Startups in COEX, Gangnam-gu, Seoul. The “aim” in the company’s name, AIM Intelligence, has a dual meaning of AI and “aim.” The red dot on the company logo symbolizes an accurate crosshair, and it contains the will to precisely find and eliminate vulnerabilities in AI security.

CEO Yoo, who holds a master's degree in electrical and information engineering from Seoul National University, founded AimIntelligence in early 2024 with a junior from the Virtual Machine Optimization Lab while studying AI ethics. In a short period of time since founding the company, it has achieved notable results such as winning the 'Meta Rama Impact Innovation Award', winning the 'AI Red Team Challenge' of the Ministry of Science and ICT, and being selected for SK Telecom's 'AI Startup Accelerator 2nd Batch'. Based on these achievements, AimIntelligence attracted seed investment from Mashup Ventures. The 'AI Startup Accelerator 2nd Batch' program is a program created by SK Telecom (CEO Yoo Young-sang) and Hana Bank (CEO Lee Seung-yeol) to foster AI startups. Selected companies will receive support such as free office space, business mentoring, patents, investment, and public relations.

Although it has not even been a year since its establishment, Aim Intelligence has already been recognized for its value, with major domestic telecommunications companies diagnosing their AI services with Aimred and participating in the Claude model diagnosis project of global AI company Anthropic.

■ Development of innovative ‘attack’ and ‘defense’ solutions

AIM Intelligence's flagship products are 'AIM Red' and 'AIM Guard'. AIM Red is a diagnostic tool that automatically finds vulnerabilities in AI systems. Previously, security experts used the 'human red team' method to find vulnerabilities, but AIM Red has automated this process to increase efficiency.

Aimred tests AI systems in a variety of ways from a hacker’s perspective, for example by exploiting the fact that while direct requests for hacking code are rejected by AI, they can be vulnerable to roundabout requests based on specific scenarios.

“We have systematized known vulnerability patterns. We assign specific roles and tasks to AI to attempt attacks, and we develop patterns by combining them with specific topics such as cyberattack code or disinformation production. We continue to find new patterns through the community and competitions.”

Aim Intelligence currently has over 30,000 vulnerability patterns. In particular, it is performing attacks in the 'multi-turn' method, which involves multiple conversations, rather than the 'single-turn' method, which only asks and answers once. The key to the multi-turn method is that the AI remembers the context of the previous conversation and generates an appropriate response based on this. Recent AI models are blocking simple attacks, but are revealing vulnerabilities in complex conversation processes.

AimGuard is a solution that defends against these vulnerabilities. If AimRed is an 'attack' tool that finds vulnerabilities, AimGuard can be said to be a 'defense' tool that blocks these vulnerabilities.

The core of AimGuard is its dual defense system that operates at both the input and output stages. At the input stage, it blocks malicious attempts by the user in advance, and at the output stage, it checks whether the AI's answers are appropriate to prevent abusive language, personal information leakage, and copyright infringement.

Both products show excellent performance. Aimred recorded a penetration rate of 94.4%, which is higher than Microsoft's PyRIT (33.3%). This means that it can find about three times more vulnerabilities in the same amount of time. Aimguard achieved a protection rate of 99%, surpassing Meta's Llama Guard, which achieved a protection rate of 90%. In particular, its strength is that it can diagnose vulnerabilities that reflect the unique characteristics of the Korean language and Korean culture. For example, it can effectively perform penetration and protection for topics that are particularly sensitive in Korean society, such as gender conflicts or military-related issues.

“Traditional cybersecurity analyzes software code, but AI is like a ‘black box’ and needs to find problems with various input values. AI security is also closely related to ethical issues,” said CEO Yoo, explaining the special nature of AI security.

■ The importance of AI security increases with the AI Basic Law

The importance of AI security is expected to increase further with the passage of the Framework Act on AI (Basic Act on the Development of Artificial Intelligence and Creation of a Trust Base, etc.) by the National Assembly on December 26, 2024. This law is the second comprehensive AI regulation law enacted in the world after the EU, and mandates the transparency and safety of AI. This bill consists of contents to establish a national governance system for AI, systematically foster the AI industry, and prevent problems that may arise due to the technical limitations and misuse of AI in advance. The law also includes the obligation to ensure transparency, the obligation to ensure safety, the responsibility of business operators, and the basis for supporting private sector autonomous AI safety, reliability verification, and AI impact assessment.

Representative Yoo diagnosed that Korea is somewhat behind in the AI security field, explaining, “The US has an established AI security industry and related laws and systems in place. On the other hand, Korea is just beginning to take interest. With the recent passage of the AI Basic Act, the AI security industry is expected to develop.”

■ Dreaming of a safe AI era

Aim Intelligence plans to expand its current consulting-based services to subscription-based SaaS soon. It is also preparing customized security solutions for specialized fields such as finance and healthcare, and is also pursuing entry into the US market.

In the long term, we plan to expand our scope beyond generative AI to include physical AI security such as robots and self-driving cars. CEO Yoo emphasized, “When physical AI such as robots and self-driving cars emerge, safety will become even more important,” and “Our goal is to become a company that will be indispensable at that time.” To this end, we are actively recruiting talents from various fields such as AI safety, security researchers, and regulatory experts.

AIが作る偽情報・ハッキングを防ぐ…エイムインテリジェンスの革新技術

-3万個の脆弱性パターンでAI安全を守る

-94.4%の浸透率でグローバルAI企業も認める

-AI基本法の通過でAIセキュリティ市場の受益企業として注目

-創業1年ぶりにグローバルAI企業診断まで…「セキュリティ+倫理」結合したソリューション注目

昨年11月、AIチャットボットジェミナイが「どうぞ死んでください」という不適切な回答を出して論議が起こった。また、AIが虚偽情報を生み出す「幻覚」（Hallucination）現象も頻繁に発生し、また、AIを利用したボイスフィッシングと電子メール詐欺も急増している。

このようなAIの安全問題を解決するために、スパイラルスタートアップがある。ディープフェイクイメージ制作はもちろん、ハッキングとサイバー攻撃の試みまで効果的に防ぎます。

「AI技術が進化するにつれて、セキュリティの重要性も高まっています。

ソウル江南区COEX SKT AI Lab for Startupsで出会ったユ・サンユンエイムインテリジェンス代表はこのように会社のビジョンを説明した。の赤い点は正確な照準点を象徴し、AIセキュリティの脆弱性を正確に見つけ出す除去するという意志を込めている。

ソウル大電気情報工学科修士出身のユ代表は、AI倫理を研究している間、仮想マシン最適化研究室の後輩とともに2024年初めにエイムインテリジェンスを創業した後、短期間にわたって「メタラマインパクトイノベーションアワード」受賞、科学技術情報通信部「AIレッドチームチャレンジ」優勝、SKテレコムの「AIスタートアップアクセラレータ2期」選定など注目すべき成果を収めた。このハナ銀行（銀行長イ・スンヨル）と一緒にAIスタートアップ育成するために設けたプログラムだ。

創業してから1年も経っていないが、エイムインテリジェンスはすでに国内主要通信社がエイムレッドで自社のAIサービスを診断しており、グローバルAI企業アントロピックのクロードモデル診断プロジェクトにも参加するなど、その価値が認められている。 。

■革新的な「攻撃」と「防御」ソリューションの開発

エイムインテリジェンスの代表製品は「エイムレッド」（AIM Red）と「エイムガード」（AIM Guard）だ。 「ヒューマンレッドチーム」方式を使用したが、エイムレッドはこの過程を自動化して効率性を高めた。

エイムレッドは、ハッカーの観点からさまざまな方法でAIシステムをテストします。

「これまで知られている脆弱性パターンを体系化しました。AIに特定の役割と任務を与え、攻撃を試み、サイバー攻撃コードや虚偽情報の作成などの特定のトピックと組み合わせて、パターンを発展させます。を探しています。」

エイムインテリジェンスは現在、3万を超える脆弱性パターンを保有している。方式の攻撃も遂行している。 AIモデルは単純な攻撃は防いでいるが、複雑な対話過程で脆弱性を明らかにしている。

エイムガードはこのような脆弱性を防御するソリューションである。

エイムガードの核心は、入力と出力段階の両方で動作する二重防御方式だという点である。著作権侵害等を防止する。

両製品とも優れた性能を見せてくれる。率90%を達成したメタのラマガード(Llama Guard)を超える99%の保護率を達成した。特に韓国語と韓国文化圏の特殊性を反映した脆弱性診断が可能であることが強みだ。

「代表的なサイバーセキュリティはソフトウェアコードを分析しますが、AIは「ブラックボックス」のようで、さまざまな入力値で問題を探す必要があります。について説明した。

■AI基本法でAIセキュリティの重要性が大きくなる

2024年12月26日、国会を通過したAI基本法（人工知能発展と信頼基盤の造成などに関する基本法）で、AIセキュリティの重要性はさらに大きくなる見通しだ。規制法で、AIの透明性と安全性確保を義務化した。体系を確立し、人工知能産業を体系的に育成し、人工知能の技術的限界、誤乱用などにより発生可能な問題を事前に予防するための内容で構成されている。 、民間自律的にAI安全性、信頼性検認証、人工知能影響評価に対する支援根拠も一緒に含まれている。

ユ代表は韓国がAIセキュリティ分野で多少遅れていると診断し、「米国はAIセキュリティ産業が位置づけられており、関連法と制度も用意されていますが、韓国は今や興味を持ち始めました。セキュリティ業界が発展しているようです。」と説明した。

■安全なAI時代を夢見て

エイムインテリジェンスは現在、コンサルティング基盤で提供するサービスをまもなく購読型SaaSに拡大する計画だ。

長期的には、生成型AIを越えてロボット、自律走行車など物理AIセキュリティまで領域を広げようとしている。その時、必ず必要な企業になることが私たちの目標」と強調した。積極的に取り入れている。