[키워드PICK] MoE, 초거대 AI의 한계 넘는 선택적 지능의 시대

산업을 움직이는 단어 하나, 그 안에 숨은 거대한 흐름을 짚습니다. ‘키워드픽’은 산업 현장에서 주목받는 핵심 용어를 중심으로, 그 정의와 배경, 기술 흐름, 기업 전략, 시장에 미치는 영향을 차분히 짚어봅니다. 빠르게 변하는 산업 기술의 흐름 속에서, 키워드 하나에 집중해 그 안에 담긴 구조와 방향을 살펴보고자 합니다.

AI 기술이 발전하면서 언어 모델의 크기는 기하급수적으로 커지고 있다.

파라미터 수조 개에 달하는 초거대 모델은 정밀한 문장 생성 능력을 보이는 반면, 그만큼 막대한 컴퓨팅 자원과 에너지를 소모한다. 이 문제를 해결하기 위한 대안으로 최근 업계의 이목을 끌고 있는 기술이 있다. 바로 ‘MoE(Mixture of Experts)’ 아키텍처다. 선택적으로 작동하는 전문가 집단의 협업 구조, MoE는 AI 기술의 효율성과 확장성을 동시에 확보할 수 있는 새로운 방향성을 제시하고 있다.

MoE는 이름 그대로 여러 명의 ‘전문가(Experts)’가 혼합된 구조다. 모델 전체가 항상 동시에 작동하는 기존 방식과 달리, MoE는 입력 데이터의 특성에 따라 몇몇 전문가만 선택적으로 활성화된다. 이때 어떤 전문가를 사용할지는 ‘게이팅 네트워크(Gating Network)’가 판단하며, 이는 일종의 의사결정자 역할을 수행한다. 예를 들어, 번역 작업에서는 언어에 특화된 전문가가, 요약 작업에서는 정보 압축에 특화된 전문가가 선택적으로 활성화되는 식이다.

이러한 방식은 실제 작동 시 전체 파라미터 중 극히 일부만을 사용함으로써 연산 자원을 크게 절감할 수 있다. 구글이 2021년 발표한 Switch Transformer는 이러한 MoE 구조를 기반으로 설계된 대표적 모델로, 최대 1.6조 개의 파라미터를 보유하면서도 실제 연산 시에는 단 1%의 파라미터만 활성화되는 구조를 취했다.

초거대 언어 모델의 등장은 AI의 능력을 눈에 띄게 향상시켰지만, 그만큼 막대한 학습 비용이 문제로 떠올랐다. 오픈AI의 GPT-3는 약 3000억 개의 토큰으로 학습됐으며, 전체 학습에는 수백만 달러의 비용이 들었다. GPT-4의 경우 그 규모는 더 커졌고, 훈련에 사용된 컴퓨팅 자원은 구체적으로 공개되지 않았지만, 이를 감당할 수 있는 기업은 사실상 몇 곳에 불과하다.

이러한 ‘스케일의 저주’를 극복하기 위한 해결책으로 MoE가 부상했다. 모델의 용량은 크되, 필요한 부분만 사용하는 방식으로 효율성을 확보할 수 있기 때문이다. 이는 성능은 유지하면서도 비용은 절감할 수 있는 전략으로 작동하며, AI 기술의 산업적 지속 가능성을 높이는 데 기여하고 있다.

MoE가 산업에 주는 가장 큰 시사점은 연산 효율성과 에너지 절감이다. AI 추론 및 학습에 드는 자원 소비가 글로벌 탄소 배출량의 한 축으로까지 지목되는 상황에서, MoE는 지속 가능한 AI 기술로 주목받는다. 실제로 2022년 MIT 기술 리뷰는 "AI의 에너지 문제를 해결하는 핵심 전략 중 하나로 MoE의 채택이 증가하고 있다"고 분석했다.

MoE 구조는 모듈화 관점에서도 장점을 가진다. 다양한 전문가 블록이 서로 독립적으로 존재하므로, 특정 기능을 강화하거나 새로 추가할 때 전체 모델을 재학습할 필요 없이 해당 전문가만 업데이트하면 된다. 이는 기업이 자체 언어 모델을 개발하거나 특화 영역에 대응할 때 유연한 접근을 가능케 한다.

구글은 Switch Transformer 외에도 Gemini 모델 시리즈에서 일부 MoE 구조를 실험적으로 도입한 것으로 알려졌다. 특히 Gemini 1.5 시리즈는 컴퓨팅 효율을 극대화한 구조를 채택했으며, 내부적으로 MoE를 통한 전문성 분산 방식을 시험하고 있다.

메타는 GShard와 Sparse MoE Transformer 프로젝트를 통해 대규모 다국어 번역 시스템에 MoE를 적용한 것으로 알려졌다. 언어별로 전문가를 구분하고, 문장에 따라 해당 언어 전문가만 작동시킴으로써 처리 속도와 정확도를 개선했다.

미스트랄 AI(Mistral AI)가 2023년 말 공개한 Mixtral 8x7B 모델은 MoE를 오픈소스 AI 모델에 적용한 사례다. 이 모델은 총 8개의 전문가 중 매번 2개만 선택해 사용하며, 성능은 GPT-3.5급에 필적하면서도 연산 비용은 절감되는 구조로 업계의 주목을 받았다. 코히어(Cohere)는 검색 특화 언어모델 개발에 MoE 전략을 접목해 RAG(Retrieval-Augmented Generation) 방식에서 연산 효율과 결과 정확도를 동시에 끌어올리고 있다.

MoE는 단지 대형 모델 개발의 한 기법이 아니라, 앞으로의 AI 설계 철학을 바꾸는 기술로 진화하고 있다. ‘모두를 위한 하나(one-for-all)’ 모델이 아니라, ‘하나의 모델 안에서 필요할 때만 선택적으로 동작하는 전문가 집단’이라는 접근은 모델의 유연성과 실용성을 획기적으로 향상시킨다.

물론 MoE에도 단점은 존재한다. 전문가 선택이 항상 최적이 아닐 수 있고, 학습이 불균형하게 이뤄질 수 있다는 점은 해결해야 할 과제다. 그러나 클라우드 기반 AI 서비스, 모바일 디바이스 추론, 도메인 특화 언어 모델 개발 등 다양한 분야에서 MoE는 앞으로도 더 널리 확산될 것으로 보인다.

AI 산업이 성능 중심에서 효율 중심으로 무게 중심을 옮겨가고 있는 지금, MoE는 그 전환의 중심에 있는 기술이다. 선택적으로 작동하는 지능, 효율을 고려한 아키텍처 설계는 더 많은 기업이 AI 기술을 자사 비즈니스에 통합할 수 있도록 돕는다. 궁극적으로 MoE는 AI 기술의 대중화와 지속 가능성을 동시에 이끄는 선택의 기술로 자리매김하고 있다.

헬로티 서재창 기자 |