AI 시대, 공격자는 진화 중…한국 보안 수준은 어디쯤?

생성형 AI 개념이 등장한 지 약 10년, AI는 제조·로봇·의료·교육·금융 등 우리 생활을 비롯해 산업 곳곳에 빠르게 녹아들었다. 특히 2022년 챗GPT 출시 이후 LLM(대규모 언어 모델)을 활용한 챗봇과 AI 비서 서비스는 기업과 일반 사용자를 가리지 않고 나날이 정교한 서비스를 제공하고 있다.

그러나 명령 프롬프트만 입력하면 사용자 요구에 딱 맞는 정보를 제공하는 이토록 편리한 AI 서비스도 ‘보안’을 신경 쓰지 않으면 편리함이 오히려 독으로 돌아올 수 있다. AI를 공격하는 대표적인 예 중 하나인 ‘환각(Hallucination)’은 존재하지 않는 정보를 생성해 신뢰도를 떨어트리고 허위정보 유포에 따른 위험성을 증가시킨다. 또 다른 예인 ‘탈옥(Jailbreak)’은 정상 응답 규칙을 우회해 금지 응답을 끌어내는 악용 위험성을 높이는 등의 형태로 AI 보안에 큰 위협을 끼친다. 이제 AI도 사용하는 만큼이나 보안을 신경 쓸 때가 됐다.

생성형 AI, 보안 없이도 괜찮을까?

지난 2023년 3월, 삼성전자에서 임직원들이 생성형 AI 서비스인 챗GPT를 활용하던 중 기업의 내부 정보가 외부로 유출되는 사고가 발생했다. 특히 반도체 설비 계측 데이터베이스 다운로드 프로그램의 소스 코드와 회의 내용 등이 유출됐다는 점에서 당시 이에 대한 우려의 목소리가 컸다.

AI 보안 시스템 공격에 따른 피해 사례는 해외에서도 찾아볼 수 있다. 지난해 1월, 홍콩의 한 금융회사에서 딥페이크 피싱으로 한화 약 342억 원 상당의 피해를 입었다. 사기범들은 화상 회의에서 고위 임원의 모습과 목소리를 딥페이크로 조작해 재무 담당자에게 거액의 자금 이체를 지시했다. 이처럼 생성형 AI 취약점을 파고드는 보안 사고는 실질적인 데이터 유출과 금전 피해를 일으킬 수 있다.

미국‧유럽, 정부 차원 정책적 보완 ‘뒷받침’

실제 해킹 피해와 보안 위협이 커지자 미국과 유럽 등 AI 보안 시장을 주도하는 지역에서는 정부 차원의 정책 보완이 이어지고 있다. 미국은 지난 1월, 바이든 행정부 하에서 미국 국토안보부(DHS)가 공공 부문에서 생성형 AI를 책임감 있게 활용하기 위한 ‘Generative AI Public Sector Playbook’을 발표했다. 해당 지침서는 정부 기관이 생성형 AI 기술을 효과적이고 안전하게 도입하는 데 필요한 단계와 사례에 대한 내용을 담았다.

뒤따라 트럼프 행정부도 AI 보안에 대한 정책을 발표했다. 도널드 트럼프 대통령은 ‘Removing Barriers to American Leadership in Artificial Intelligence’라는 행정명령을 통해 이전 정부의 AI 관련 정책을 재검토함과 동시에 미국의 AI 리더십 강화를 위한 새로운 계획을 수립하도록 지시했다.

유럽연합(EU)은 지난해 3월, AI 시스템의 안전성과 윤리성을 보장하기 위해 AI 법안을 제정했다. 이 법안은 AI 시스템의 위험 수준에 따라 규제를 달리하며 특히 생성형 AI에 대한 투명성 요구 사항을 포함하고 있다. 이 AI 관련 신규 법안은 EU 회원국에 진출한 모든 AI 기업을 대상으로 했는데, 이를 위반한 기업은 최대 3500만 유로 또는 전 세계 연간 매출 7% 중 더 큰 금액의 벌금을 부과받는다. 아울러 규제 위반의 정도에 따라 AI 시스템 운영 중단 및 데이터 삭제 명령을 받을 수 있다.

이와 관련해 유럽 내 한 편에서는 AI 법안의 강제성을 문제 삼는 의견도 일부 표출되고 있다. AI의 자유로운 활용에 대한 강력한 제재가 있을 경우, 미래 먹거리인 유망 산업의 빠른 발전을 저해할 수도 있다는 것이 그 이유다. 하지만, 유럽의회 의원들은 AI 규제가 완화될 경우 미국의 대형 기술 기업들이 규제를 우회해 AI를 악용할 수 있다는 우려를 표명하는 등 AI 보안 관련 정책 지원 및 규제의 필요성을 강조하며 이에 대응하고 있다.

AI 보안시장, 한국은 어떻게 준비하고 있나

국내 사이버보안 업계에서는 네트워크 보안과 클라우드 보안이 주요 시장으로 인식되고 있는 분위기다. 한 국내 사이버보안 업계 관계자는 “AI 보안과 달리 클라우드와 네트워크 보안은 대기업 차원에서도 자체 시스템이나 팀을 구축해 운영할 만큼 이미 빠르게 자리잡고 있다”고 설명했다.

이러한 경향은 구체적인 조사 지표를 통해서도 찾아볼 수 있다. 국내 보안 전문매체인 시큐리티월드에서 올해 초 발표한 ‘2025 보안 시장 백서’에 따르면 2023년 기준 국내 사이버 보안 시장 규모는 총 7조4633억 원으로 분석됐다. 이 시장 안에 속하는 클라우드 보안 시장이 규모의 경우 IDC 보고서에 따르면 4조9885억 원에 이르는 것으로 나타났다. 특히, 국내 퍼블릭 클라우드 서비스 시장은 2024년에 5조8099억 원, 오는 2027년에는 7조6641억 원까지 성장할 것이라 전망될 만큼 주요 시장으로 평가받고 있다. 이에 비해 아직 AI 보안 시장에 대한 구체적인 통계 자료는 비교적 부족한 것이 현실이다.

다만 국내에서도 장기적인 관점에서 AI 보안이 업계의 ‘주연’이 될 가능성이 높다는 것에 대해서는 공감대가 형성되고 있다. 한국인터넷진흥원(KISA)에서는 2025년 사이버보안 10대 이슈 중 하나로 ‘AI 보안 산업’을 선정하기도 했으며 정부 역시도 AI 보안에 대한 대응책을 하나씩 마련하는 움직임을 보이고 있다.

대표적인 예가 지난해 12월, 국회 본회의의 문턱을 넘은 ‘인공지능 기본법(AI 기본법)’이다. 이 법안은 특히 고위험 AI와 생성형 AI를 대상으로 보안 설계 및 운영 의무를 구체화했다는 점에서 주목받는다. 또 생명·안전·기반시설 등 사회 전반에 영향을 미칠 수 있는 고위험 AI에 대해서는 해킹 방지 등 정보보안 조치를 의무화하고, 생성형 AI 제공자는 허위정보나 개인정보 유출, 악성 콘텐츠 생성 등에 대응할 수 있는 기술적·관리적 보호조치를 갖추도록 명시한 바 있다.

이와 관련해 국내 AI 업계 관계자는 “인공지능 기본법이 갖는 가장 큰 의미는 국내에서도 이제 AI의 무분별한 사용을 방지함과 동시에 환각이나 탈옥 등 AI에 대한 다양한 형태의 공격을 막는 보안시스템이 필요하다는 법적 토대를 마련했다는 것”이라고 설명했다.

한국이 아직 AI 보안에 속도 내지 못하는 이유는?

AI 활용이 산업 깊숙이 파고들수록 보안 피해가 발생할 경우 기업의 피해 규모 역시 막대해진다. 회사 주요 데이터를 비롯해 고객 개인정보까지 모두 전소하는 상황에 이를 수 있음에도 불구하고, 여전히 AI 보안 시장이 국내에서는 크게 확대되지 못하는 이유는 무엇일까? 주된 이유는 전반적인 업계의 분위기를 꼽을 수 있다.

앞서 언급한 국내 사이버보안 업계 관계자는 “대기업도 자체 보안팀을 꾸리거나 솔루션을 개발하는 등 적극적인 대응 대신 기술력을 확보한 스타트업과 협업하는 방식으로 대응책을 꾸려나갈 만큼 국내에서 AI 보안은 ‘당장 해결해야 할 숙제’로 여겨지는 분위기는 아니다”라고 말했다. 위험에 대비하면 좋은 것은 알지만 여유가 부족한 기업일수록 눈앞에 닥치지 않은 잠재적 위험에 대해 투자를 집행하는 것에는 어려움이 있을 수밖에 없고 결국 투자의 우선순위에서 밀려나게 되는 것이다. 마치 개인이 화재보험에 큰돈을 들이는 데 주저하는 것과 마찬가지라고 볼 수 있다.

그밖에 요인은 제도적 불확실성, 인프라 부족, 인력 격차 등이 있다. AI 기본법이 국회를 통과하며 고위험 AI에 대한 보안 의무를 명문화했지만 현장에서는 아직 구체적인 기술 지침이나 평가 기준이 미비하다는 지적이 제기된다. 특히 중소기업과 스타트업은 생성형 AI 기반 서비스 개발에는 적극적이지만 이를 보호할 수 있는 보안시스템 구축에는 여전히 역량과 예산이 부족한 상황이다. 전문 인력 부족도 AI 보안 확산의 장애 요인이다. 과학기술정보통신부와 한국정보보호산업협회에 따르면, 정보보호 산업의 인력 수요는 빠르게 늘고 있으나 AI 보안 분야는 전문성 있는 인력 공급이 절대적으로 부족한 상태라고 밝혔다.

이에 대해 한 업계 전문가는 “공격자들은 AI 보안 위협을 앞으로 더욱 치밀하게 고도화할 것”이라며 “AI 보안 위협은 금융 등 소프트웨어뿐 아니라 AI가 적용되는 로봇과 같은 하드웨어에도 영향을 미칠 수 있는 만큼 국내에서도 거시적인 시각을 갖고 정부나 기업 차원의 단계적인 대응 방안을 수립하는 것이 필요하다”고 설명했다.

헬로티 구서경 기자 | 김재황 기자 |