삼성SDS, IBM AI '그라니트' 도입 검토···LLM 백엔드 다변화 추진

삼성SDS가 인공지능(AI) 업무보조 서비스 '브리티 코파일럿'의 백엔드 거대언어모델(LLM)로 IBM의 오픈소스 모델 '그라니트 3.1'을 내부 테스트했다.

외부 응용 프로그래밍 인터페이스(API) 기반 GPT 모델의 보안성과 비용 문제를 보완하고, 온프레미스(구축형) AI 서비스를 확장하려는 전략으로 해석된다.

20일 IT서비스·AI 업계에 따르면 삼성SDS는 브리티 코파일럿에 그라니트 3.1의 적용 여부를 테스트했다.

그라니트 3.1은 IBM이 자체 개발한 오픈소스 LLM이다. 최대 128K 토큰(텍스트 기준 약 30~40페이지 분량)을 한 번에 처리할 수 있는 장문 이해 능력과 함수 호출, 유해성 감지 기능을 갖췄다.

특히 오픈AI의 GPT 계열 모델과 달리 기업 내부망에서도 독립적으로 실행할 수 있는 프라이빗 배포가 가능하다. 민감한 데이터를 외부 전송 없이 활용할 수 있다는 얘기다. 삼성SDS가 '프라이빗 AI' 환경을 요구하는 금융·공공 분야 수요를 겨냥했다는 해석이 나오는 이유다.

삼성SDS는 브리티 코파일럿의 LLM으로 오픈AI의 'GPT-4o 미니'를 활용하고 있다. 이 모델은 외부 서버와 연결된 API를 통해 작동하는 방식이어서 데이터 보안·응답속도·비용 측면에서 제약이 있었다.

삼성SDS가 그라니트 3.1 도입을 확정할 경우 GPT 백엔드를 대체하기보다는 보완적으로 병행 운영할 것으로 예상된다.

예를 들어 일반 기업 사용자는 기본적으로 GPT-4o 미니 기반 코파일럿을 사용하고, 보안이 중요한 프로젝트나 고객사는 그라니트 3.1 기반을 선택하도록 LLM 엔진을 다변화하는 방식이다. 이른바 '멀티 LLM' 전략이다.

이를 통해 삼성SDS는 서비스 유연성과 안정성을 동시에 확보할 수 있다. 특정 AI 모델에 종속되지 않고 용도에 따라 서로 다른 LLM을 병렬 또는 선택적으로 활용할 수 있기 때문이다.

삼성SDS 관계자는 “그라니트 3.1 도입을 검토하기 위해 내부적으로 테스트를 진행한 것은 사실”이라면서도 “지금은 도입을 공식적으로 추진하고 있지는 않다”고 말했다.

류태웅 기자 bigheroryu@etnews.com