[AI 네이티브 검색 패권 경쟁] 〈1〉 'AI 네이티브'로 재편되는 검색 시장

세계 검색 시장이 인공지능(AI) 중심으로 재편되고 있다.

구글의 독주 체제에 오픈AI 등 거대 언어 모델(LLM)을 앞세운 AI 기업과 다양한 플랫폼이 도전하고 있다. 동시에 국내 검색 시장을 지켜온 네이버 또한 위기론이 불거지고 있다. 전자신문은 AI 중심으로 재설계되고 있는 검색 시장 현황을 4회에 걸쳐 점검하고, 국내 검색 플랫폼의 대응 전략을 짚어본다.

◇AI 기술로 급변하는 검색 시장…네이버는 위기론

AI 검색이란 기존의 웹페이지 나열 방식에서 벗어나, AI가 사용자의 질문과 의도를 파악하고 여러 문서를 분석해 직접 답변을 제공하는 검색 방식을 말한다. 단순히 정보 획득을 넘어 사용자에게 최적화된 요약·발견·탐색·추천 등 다양한 서비스로 확장하고 있다. 한국은행이 지난 8월 발간한 'AI의 빠른 확산과 생산성 효과: 가계조사를 바탕으로' 보고서에 따르면, 국내 AI 활용 목적은 검색·요약(62.2%), 문서 작성·검수(38.6%), 아이디어 생성(25.3%) 순으로 나타났다. 주로 검색을 위해 생성형 AI 서비스를 활용하고 있는 셈이다.

AI 기술이 발달하면서 오픈AI, 퍼플렉시티 등 대화형 AI 서비스를 앞세운 기업들도 검색 기능을 강화하고 있다. 오픈AI는 지난해 하반기부터 챗GPT에서 실시간 웹 검색과 생성형 AI 기능을 결합한 검색 기능을 제공하고 있다. 챗GPT에는 지난달 검색한 상품을 바로 결제할 수 있는 '즉시 결제' 기능을 도입했다. 퍼플렉시티는 AI 브라우저 '코멧' 등을 앞세워 AI 검색을 확장 중이다. 구글은 생성형 AI 모델을 기반으로 요약 정보를 제공하는 'AI 오버뷰'에 이어, 복잡한 질문과 멀티모달 입력에 대응하는 'AI 모드'를 지난달 출시했다.

글로벌 기업들이 치열하게 AI 검색 기술을 강화하면서 국내에서는 네이버의 위기론이 퍼지고 있다. 네이버는 구글이 세계 검색 시장을 90% 이상 점유한 상황에서도 한국에서 약 절반 정도의 검색 점유율을 사수하고 있다. 하지만 검색 시장이 AI 중심으로 재편되면서 순식간에 점유율이 떨어질 수 있다는 우려가 커졌다.

◇네이버, 축적된 검색 기술로 대응…AI검색 시대에도 자신감

네이버는 수십 년간 쌓아온 검색엔진 기술 경쟁력에 AI 기술을 결합해 대응하겠다는 구상을 수립했다. 최근 LLM을 앞세운 기업들이 공격적으로 검색 시장을 공략하고 있지만, 수십 년간 쌓아온 검색엔진 기술은 갖추기 힘들기 때문이다.

대표적인 예가 검색 '색인(Index)' 기술이다. 색인은 본 데이터를 검색에 적합한 구조, 검색어 토큰 형태로 변환해 저장한다. 사용자 검색 입력에 효율적으로 대응할 수 있다.

네이버는 지난해 색인 규모를 50% 확대했다. 올해 '벡터' 색인 규모를 300% 늘렸다. 벡터 검색은 단어와 맥락을 함께 '임베딩'함으로써 단어가 정확히 일치하지 않더라도 사용자의 '의도'와 콘텐츠의 '의미'를 연결한다. 검색 결과의 커버리지와 다양성을 높일 수 있다. 네이버는 2021년부터 벡터 검색을 도입했고, 독자적인 경량화 기술을 적용하는 등 기술을 고도화하고 있다.

김상범 네이버 검색플랫폼 리더는 “네이버만 해도 1초 만에 수천 개 '쿼리'가 들어오는데, 이것들이 들어왔을 때 빠르게 검색하는 색인 인프라를 갖추는 것이 중요하다”면서 “기존에는 색인을 덜 했던 블로그, 카페 등에서는 중요한 콘텐츠를 색인할 때 '핫 인덱스'로 나눠놓고, 그것에서 결과가 나오지 않으면 '콜드 인덱스'를 찾는 '투페이즈' 색인 전략도 쓰고 있다”고 설명했다.

오픈AI, 퍼플렉시티 등이 기존의 검색 인프라 없이는 고품질 검색을 구현하는 데 한계가 있다는 지적도 나온다. 대표적으로 AI 검색의 핵심 기술로 꼽히는 '검색 증강 생성(RAG)' 기술은 검색 인프라 보유 여부에 따라 성능 격차가 확연하다. RAG는 언어 모델이 사전에 구축된 인덱스나 외부 검색 응용 프로그래밍 인터페이스(API)에 의존해 문서를 불러와야 되기 때문이다.

김 리더는 “네이버는 가져온 콘텐츠를 미리 색인하는 준비 작업을 거치는데, 여기서 미리 비슷한 콘텐츠들은 묶어서 미리 요약할 수 있다”면서 “네이버가 검색 회사로서 직접 정보를 수집하고 색인하기 때문에 갖는 강점”이라고 말했다.

변상근 기자 sgbyun@etnews.com