[if카카오2024] 일하는 방식부터 달라야…‘AI 네이티브’ 자신감

AI 탐색 거쳐 전사 업무에 에이전트 활용

선경험 통한 혁신 서비스 발굴

2025년부터 카카오 AI 서비스 일상 적용

“카카오에는 이런 철학이 있습니다. ‘좋은 서비스를 만들려면 먼저 경험을 해봐야 된다’ 이런 철학인데요. 일하는 방식을 우리가 ‘AI 네이티브(Native)’로 바꾸지 않으면 절대 좋은 서비스가 나올 수 없다는 것이죠. 내부의 변화가 곧 혁신적인 서비스로 이어지는 경험을 했기 때문입니다.”

정규돈 카카오 최고기술책임자(CTO)<사진>가 23일 카카오 AI 캠퍼스에서 열린 개발자 컨퍼런스 ‘if(kakaoAI)2024’ 기조 세션에 나서 “급변하는 AI 시대에서 카카오는 단순히 서비스에 AI 기능을 추가하는 것을 넘어, AI가 이용자의 일상에 자연스럽게 스며드는 ‘AI 네이티브’를 목표로 하고 있다”고 밝혔다.

‘AI 네이티브’ 성숙도 레벨 정의

이날 정 CTO는 국내 기업으로는 이례적으로 자체적으로 구축한 ‘AI 네이티브 성숙도 레벨’ 지표를 소개했다. 이 지표는 AI 도입을 체계적으로 관리하기 위한 것으로 글로벌 유수의 IT기업들이 도입해 AI 관련 서비스 출시 및 도입 활성화를 위한 기준점으로 삼고 있다는 게 회사 설명이다.

정 CTO는 AI 도입의 초기 단계인 ‘탐색’에서부터 ‘적용’, ‘혁신’, 그리고 ‘일상’ 단계까지 총 네 단계를 나누고, 현재 AI를 서비스와 일하는 방식에 ‘적용’하는 단계에서 우리의 일상을 바꿀만한 ‘혁신’의 단계로 나아가는 시점으로 봤다. 최종 단계인 ‘일상’은 AI가 일상 속에 자연스럽게 스며들어 편리함과 생산성 향상을 가져오는 것을 의미한다.

‘AI 기술 전파 학습’ 탐색 단계

정 CTO는 AI 도입 탐색을 위해 교육 리셉션과 테크톡, AI 해커톤 등을 거쳤다고 밝혔다. 단순 교육 세미나와는 다르다고 짚었다.

“교육 세미나가 상상하신 것처럼 팀 내 세미나 이런 게 아닙니다. 되게 집중적이고 인텐시브한 오프라인 과정을 통해서 진행이 됐고요. 이렇게 지식을 쌓은 후에는 매주 열리는 테크톡이 있습니다. 이걸 통해서 카카오 내부 직원분들이 공유를 할 수 있습니다.”

“지난 2년간 테크톡 토론 주제를 AI로 삼았고요. 그동안 열심히 배워온 지식들을 실제 구현해 볼 수 있습니다. AI 해커톤엔 연간 50팀이 참여했습니다. 주목받은 아이디어들은 실제 서비스에 채택이 되기도 합니다. 카카오의 크루들은 AI 기술 학습을 통해서 준비가 됐죠. 이렇게 축적된 지식으로 그 다음 단계 적용을 위해 다양한 AI 성공 사례를 확보하는 것이 중요합니다.”

AI로 일하는 방식 ‘혁신’: ① ‘AI 버디’ & ‘코드 버디’

카카오는 ‘이용자에게 좋은 서비스를 제공하려면 먼저 우리가 직접 경험해봐야 한다’는 철학에 따라 올해 10월 ‘AI 버디(AI Buddy)’와 ‘코드 버디(Code Buddy)’를 자체 개발해 사내 업무 시스템에 도입했다.

‘AI 버디’는 사내에 흩어진 데이터와 정보를 통합해 업무 생산성을 향상시키고 편리한 업무 환경을 제공하고자 개발됐다. 인사, 복지 제도, 내규 등의 지식 통합과 검색 기능을 제공하는 것은 물론 자료 검색과 요약, 번역, 회의실 예약 등 업무 자동화 기능도 갖췄다.

예를 들어, 이전에는 사내 시스템에 로그인 후 회의실 예약 시스템에 접속해 원하는 시간대의 빈 회의실을 찾아 회의 주제, 참석자 등 관련 정보를 입력해야 했다면, AI 버디 도입 후에는 요청만 하면 된다. 이 같은 간단한 프롬프트 작성을 통해 AI가 예약 가능한 회의실을 찾아 보여주고 회의를 잡아 참석자 초대도 대신해준다.

AI 버디에게 ‘오늘 오후 5시 10층 회의실에서 PR 멤버들과 AI Native 리뷰 회의 예약해줘’ 라고 간단하게 메시지를 보내면 버디가 해당 시간에 예약 가능한 회의실 목록을 보여주고, 회의 참석자에게 ‘AI Native’ 라는 제목으로 초대장을 자동 발송한다. 각자 캘린더에도 회의가 자동 입력된다.

정 CTO는 AI 버디의 정교하고 효율적인 답변을 위한 카카오의 기술적 조치도 소개했다. 카카오는 AI 버디 개발 초기, 사전에 학습하지 않은 데이터나 실시간 정보는 제공하지 못하는 대규모 언어 모델(LLM)의 단점을 보완하기 위해 펑션콜(Function Call)* 등 다양한 종류의 검색증강생성(RAG)* 기술을 도입했다. 이를 통해 LLM을 라우터(router)*처럼 사용해 이용자 문의를 분석, 가장 잘 처리할 수 있는 기술로 라우팅하도록 설계해 복합적인 질문과 요청을 처리할 수 있도록 했다.

*펑션콜(Fuction Call): AI 언어모델이 자체적으로 수행할 수 없는 동작을 지시하거나 사전에 학습하지 않은 정보를 실시간 정보를 받아올 수 있도록 언어모델과 API 등의 외부 도구를 연결하는 기술

*RAG(Retrieval-Augmented Generation): 검색 증강 생성 기술. AI 언어모델의 응답을 최적화해 응답하기 전 외부 데이터를 추가로 참조하게 해 답변의 정확도를 높이는 기술을 뜻함.

*라우터(Router): 네트워크상에서 최적의 경로를 찾아주는 장비

예를 들어, ‘ifkakao 세션 내용 요약해줘’ 라고 버디에게 요청하면 라우터(router)가 ‘에이전틱(Agentic) RAG’를 호출한다. 에이전틱 RAG는 RAG에서 정보를 검색하는 과정 중에 에이전트가 이용자의 질의를 더욱 구체화하고 이를 RAG에서 검색하는 과정을 반복 수행해 기존보다 더 정확한 답변을 제공한다.

‘ifkakao 회의 자료 요약해줘’라고 요청하면 라우터가 지식 그래프 기반의 ‘그래프(Graph) RAG’*를 호출한다. 기존의 RAG보다 정확하고 상황에 맞는 데이터에 접근하게 하는 기술로 더욱 정교한 응답이 가능하다.

*Graph RAG 기술: 기존의 RAG가 벡터 유사성 검색 방식에 의존한다면 그래프 RAG는 문서에서 엔티티(Entitiy), 그리고 엔티티와 엔티티 사이의 관계성(Relation)을 추출해 지식 그래프를 구축한다. 이 지식 그래프를 기반으로 응답을 구성하기 때문에 더욱 정교한 응답이 가능하다.

AI 버디는 카카오 사내 여러 시스템과 연동돼 있다. 회의실 예약, 사내식당 메뉴 확인 등의 요청은 펑션콜을 사용해 관련 API를 호출, 이용자의 요청을 처리해준다. 최종적으로 RAG와 API에서 받은 응답을 LLM이 한 번 더 적절히 구성해 풍성한 응답을 이용자에게 전달한다.

‘코드 버디’는 개발자들의 ‘풀 리퀘스트(PR, 코드 변경 요청)’ 리뷰를 돕는 AI 도구다. 코드 작성 및 리뷰 시 필수로 거쳐야 하는 단계들을 AI가 대신해주고 개선된 코드를 제안해준다. 최근 1년간 카카오에서 생성된 PR 생성 건수는 32만건 이상, 하루 평균 1200건 이상이다. 이처럼 코드 버디는 PR 리뷰 절차를 간소화하고, 자동화된 리뷰 및 제안을 통해 보다 시간 단축은 물론 코드의 품질을 높여준다.

“테스트 코드 예시를 개발자에게 보여주고 이를 통해 테스트 코드를 쉽게 작성할 수 있습니다. 코드 자체의 개선을 할 수도 있습니다. 코드 제안도 가능하고요. 처음 PR 내용을 풍성하게 바꾸고 개발자나 리뷰어 입장에서 실수할 부분을 잡을 수 있습니다.”

AI로 일하는 방식 ‘혁신’: ② AI 개발 효율화 ‘카카오 AI 플랫폼(KAP)’

카카오는 복잡하고 시간이 많이 걸리는 AI 서비스 개발 과정을 효율적으로 단축시킬 수 있는 카카오 AI 플랫폼(KAP)을 구축했다. KAP는 데이터 준비, 모델 트레이닝, 검증, 배포 등의 과정을 자동화하고, 개발자들이 더 쉽고 빠르게 AI 서비스를 개발할 수 있도록 지원한다.

AI 서비스 개발을 위해서는 가장 먼저 학습시킬 데이터를 획득해야 한다. 이후 서비스에 적용할 수 있는 모델로 만들기까지 ▲데이터 정제 및 전처리 ▲AI 세이프티, 개인정보보호 및 라이선스 등 법무적 검토 ▲GPU 확보 및 분산 학습 환경 등 인프라 구축 ▲파운데이션 모델 트레이닝 ▲파인튜닝 ▲모델 평가 및 검증 ▲추론 엔드포인트 생성 ▲보안 및 안정성 검토 등의 복잡한 단계를 거쳐 한다.

이렇게 완성한 모델은 서비스에 적용할 수 있게 되며 개발자는 모델의 성능을 지속적으로 모니터링 하면서 추가적인 데이터를 획득, 이를 기반으로 더 나은 서비스와 모델을 위해 모델 트레이닝이나 파인 튜닝을 진행한다.

KAP(Kakao AI Platform)은 이 긴 과정을 혁신적으로 단축시켰다. 모델 개발자와 AI 서비스 개발자 두 가지 케이스를 모두 지원하도록 설계했다. 모델 개발자의 경우 데이터 스토어에서 모델 트레이닝에 사용할 데이터를 선택하면 되는데, 이 데이터는 이미 카카오의 AI 세이프티 가이드라인, 법무, 라이선스, 개인정보보호 측면에서 검토가 완료된 안전한 데이터다. 이로써 복잡한 단계의 데이터 준비 과정이 한 번에 끝난다.

모델 트레이닝을 진행하기 위해 복잡한 인프라 환경도 구축할 필요 없다. KAP에서 GPU 인스턴스를 생성하면 바로 분산 학습 환경을 구축할 수 있다. 그리고 모델 스토어에서 사용할 모델을 선택하고, 앞서 구성한 환경에서 데이터를 활용해 파운데이션 모델 트레이닝을 진행할 수 있다. 트레이닝이 끝난 모델은 모델 스토어에 저장한다. 개발자는 이를 모델 카탈로그에 업로드해 카카오 내 다른 개발자들과 모델을 공유할 수 있다.

AI 서비스 개발자는 이 모든 과정을 알 필요가 없다. 모델 카탈로그에서 사용할 모델을 선택하고 추론 엔드포인트를 생성하기만 하면 된다. 그런 다음 이를 서비스에 연결하거나 에이전트를 생성해서 서비스에 즉시 적용할 수 있다.

AI로 일하는 방식 ‘혁신’: ③ AI 모니터링 시스템

카카오는 안정적인 서비스 운영을 위해서도 AI를 적극 활용하고 있다. 카카오가 자체 기술로 구축한 ‘매트릭스 AI(Matrix AI)’는 카카오의 전체 서비스 아키텍처를 실시간으로 모니터링하고, 이상 현상이 발생하면 과거 이력 중 유사한 사례를 찾아 이를 기반으로 예상 원인과 가장 적합한 조치를 담은 리포트를 개발자에게 발송한다. 개발자는 AI 리포트를 참고해 이상 현상이 장애로 이어지기 전에 신속히 조치할 수 있으며, 이런 과정을 통해 장애 발생 시에도 대응 시간을 단축시켜 서비스 안정성을 높이고 있다.

“매트릭스 AI가 ‘데이터센터 레이어’와 그 위에 ‘클라우드 인프라 레이어’, 그 위에 ‘서비스 레이어’ 등 전 레이어에 대해 계속 모니터링하고 있습니다. 이상 현상을 감지하면 과거 장애 이력과 관련이 있는지를 살펴보고, 관련한 조치와 대안들을 리포팅 작성을 해서 개발자에게 발행합니다.”

정 CTO는 “‘혁신’의 단계는 AI가 본격적으로 서비스 전면에 나타나면서 우리의 일상을 바꾸기 시작하는 시점을 의미한다”며 “2025년은 카카오가 본격적으로 AI 서비스 적용을 가속화하는 시기로, 카카오 내부에도 AI 가 곳곳에 스며들어 일하는 방식, 생각하는 방식 또한 AI Native로 바꾸는 기점이 될 것이라 기대한다”고 말했다.

이어 “AI 버디와 코드 버디 또한 툴이나 봇의 형태를 넘어선 AI 에이전트로, 복잡한 업무도 소화할 수 있는 단계로 고도화해 카카오 사내에서 크루와 실제로 협업하는 동료가 될 것”이라며 “AI Agent는 회사 내 모든 영역에 퍼져 크루들과 함께 문제점을 해결해 나가면서 카카오를 AI Native로 만들기 위해 노력할 것이다” 라며 카카오 미래 기술 비전을 제시했다.

글. 바이라인네트워크

<이대호 기자>ldhdd@byline.network