서울시, 연내 행정 전용 LLM 구축…AI 강소기업 접전 전망

서울시가 행정 전용 거대언어모델(LLM)을 구축해 공무원 업무 효율성을 강화한다. 시민용 챗봇 '서울톡'에도 생성형 인공지능(AI)을 시범 적용한다.

서울시는 7일 경기도에 이어 전국 지방자치단체 두 번째로 전용 AI 서비스를 도입하는 '챗봇 2.0' 프로젝트를 발표했다. 현재 시청 공무원 대상 챗GPT 등 AI 서비스를 업무용으로 지원하고 있지만, 시정 기밀 유출 가능성 등 보안 관점에서 정보보호 강화와 업무 편의 확대를 위한 결정이다.

시는 업무에 필요한 주요 문서와 데이터를 기반으로 검색증강생성(RAG) 기술을 적용, 데이터 중심 업무 환경을 구축할 계획이다. LLM으로만 행정지원 시스템을 구축하면 업그레이드 등 향후 운용·고도화 과정에서 AI 학습을 다시 시켜야 하는 비효율 등을 고려한 전략적 판단이다.

서울시는 연내 내부망에 자체 LLM을 도입, 일부 부서를 대상으로 시범 운영하고 내년부터는 내부 행정 시스템과 연계한 고도화 기능을 확대할 계획이다. 생성형 AI 기반 유연하고 정교한 'AI 행정 지원체계'로 전환이 목표다.

그동안 서울톡과 업무 챗봇 등 AI 챗봇 기반 민원·행정 자동화를 선도해왔지만 정해진 규칙과 검색 기반 고정 응답방식으로 운영됐다. 이번 자체 LLM 도입으로 유연한 대화 생성이나 맥락 이해가 필요한 복합적인 질의응답을 가능하게 한다.

시는 이번 사업으로 민감한 공공데이터를 안전하게 처리할 수 있는 AI 기반 독립 인프라를 확보할 방침이다. 행정 수요에 최적화된 실용적 생성형 AI 서비스로 공공행정 전반의 AI 전환(AX) 선도를 예고했다.

핵심은 자체 폐쇄망에서 운영되는 LLM 기반 'AI 비서'다. 내부 정보보호 강화 차원에서 독립된 AI 환경을 내부망에 구축한다. 이를 위해 시는 올해 엔비디아 H200 등 그래픽처리장치(GPU) 서버를 도입하고 내년까지 추가 확보를 통해 폐쇄망 내 고도화된 생성형 AI 서비스 가동 인프라를 확보할 계획이다.

사업 예산은 17억원 규모로 오는 9월 발주될 예정이다. 20억원 이하 공공 정보화 사업으로 분류돼 대기업과 중견기업 참여는 제한된다.

포티투마루, 솔트룩스, 이스트소프트, 코난테크놀로지, 모티프테크놀로지스, BHSN 등 자체 LLM·RAG 기술이 있는 AI 강소기업이 참여 후보군이다. 서울시 AI 구축이라는 레퍼런스를 확보할 수 있는 기회로, 국내외 사업 확장에도 도움이 될 수 있어 치열한 경쟁이 예상된다.

강옥현 서울시 디지털도시국장은 “챗봇 2.0 도입을 시작으로 공무원은 보다 효율적으로 일하고, 시민은 더 빠르고 정확하게 응답 받는 새로운 행정 서비스 시대가 열릴 것”이라며 “공공행정 전반에 AI를 적극 활용해 국내를 넘어 '글로벌 AI 행정도시'로 거듭날 것”이라고 말했다.

박종진 기자 truth@etnews.com