HBM 자립하려 영혼 쥐어짠다…한국 위협하는 中 '혼종테크'

중국이 인공지능(AI) 서비스의 최대 병목인 ‘메모리 장벽’ 해결에 박차를 가하고 있다. AI 모델 자립, 반도체 자립으로 세계에 충격을 안긴 데 이은 ‘AI 메모리 자립’ 시도다.

AI 훈련·서비스의 필수 부품인 고대역폭메모리(HBM)는 한국이 전 세계 시장의 80%를 차지하며 주도하지만, 최신 HBM이 없는 중국은 메모리 문제를 소프트웨어(SW)와 하드웨어(HW) 양쪽에서 맹렬하게 풀어가고 있다.

SW·HW 똘똘 뭉쳐 ‘메모리 해결’ 나선 中

화웨이는 지난 12일 “HBM 의존도를 낮추는 혁신적 AI 추론 기술”이라며 ‘통합 캐시 매니저(UCM)’ 솔루션을 공개했다. 기존 AI 연산에서 HBM에 주로 저장하던 데이터를 HBM·D램·SSD 같은 다양한 메모리에 분산시키는 소프트웨어다. 화웨이는 “UCM이 추론 지연 시간을 최대 90%까지 줄였다”라고 주장하면서도 절대적 성능 수치는 밝히지 않았다. 화웨이는 UCM을 다음 달 오픈소스로 공개하겠다고 했다.

앞서 지난 6, 7월에는 딥시크 창업자 량원펑의 논문 2편이 세계 최고 수준 컴퓨터구조 학회 ‘ISCA’와 AI 학회 ‘ACL’에서 각각 채택됐다. ISCA에서는 딥시크 발표 세션이 열렸고, ACL에서는 최우수 논문상을 받았다. AI 모델을 개발하는 딥시크가 AI는 물론 HW 학회에서도 실력을 인정받은 것이다.

량원펑의 두 논문은 공통적으로 ‘구형 그래픽처리장치(GPU)와 메모리반도체 부족 상황에서 어떻게 하면 최대 성능을 내는가’에 대한 고심과 해법을 담았다. 특히 ISCA에 발표한 논문은 딥시크가 ‘GPU 커널(내부) 수준의 코딩을 했다’고 밝히고 있다. 일반적 AI 모델 연구자들이 접근하지 않는, GPU·HBM 등 하드웨어 내부의 작동을 속속들이 살펴가며 이를 고려해 AI 알고리즘을 짰다는 거다.

화웨이도 HBM을 덜 쓰면서 AI를 구동하는 데에 주력하고 있다. UCM은 자주 쓰는 중요한 값은 HBM처럼 비싸고 연산기와 가까이 위치한 메모리에 저장하고, 사용 빈도가 낮은 값은 보다 저렴하고 멀리 있는 메모리에 놓는 식이다. 안정호 서울대 융합과학기술대학원장은 “기존의 메모리 계층 개념과 최신 AI 분야 아이디어를 결합한 것”이라며 “미국의 제재로 HBM을 공급받지 못하는 중국 기업들이 이른바 영혼까지 쥐어 짜 메모리를 활용하는 셈”이라고 말했다.

중국, ‘HBM 풀어줘, H20은 쓰지 마’

블룸버그 등 외신에 따르면, 중국 당국은 미국과 무역 협상에서 ‘HBM 제재 완화’를 요구하면서도 자국 공기업에는 ‘엔비디아 H20을 쓰지 말라’는 지침을 내렸다. 엔비디아가 트럼프 행정부에 ‘중국 매출의 15% 수수료’까지 약속해가며 저사양 GPU(H20)의 중국 수출을 허가받았는데, 정작 중국 당국은 H20을 달가워하지 않는 상황이다.

중국이 최신 HBM을 수입해 화웨이 등 자국 기업의 GPU 자립을 추진하겠다는 의미로 풀이된다. 현재 화웨이는 구형 HBM을 활용해 어센드910 같은 AI 반도체를 개발하고 있는데, HBM 개발 수준은 아직 떨어지는 것으로 알려져 있다. 다만 반도체 분석 기관 세미애널리시스에 따르면, 중국 창신메모리(CXMT)와 우한신신(XMC)은 당국의 지원 하에 공격적으로 HBM을 개발하고 있다.

화웨이와 무어쓰레드 등 중국 반도체 업체들은 칩 개발뿐 아니라 AI 소프트웨어 개발에도 뛰어 들어 이를 오픈소스로 공개하고 있다. 스타트업과 대기업, AI 기업과 반도체 기업이 긴밀히 협력해 ‘엔비디아로부터의 독립과 HBM 부족 해결’이라는 공동의 목표로 달려가는 모양새다.

AI 연산에서 HBM은 계속 중요하지만, 한국이 현재 HBM 우위만으로 안심할 수 없다는 지적이 나온다. 안 교수는 “하드웨어를 이해하는 기업들이 소프트웨어를 만들고, 그 요구를 다시 하드웨어에 반영하는 선순환의 시너지 효과가 크다”라면서 “중국 기업들의 협력은 당국이 조율하는 것으로 안다”라고 전했다. 한국도 하드웨어-소프트웨어 통합 설계와 거시적인 로드맵이 필요하다는 지적이다.