딥시크를 가장 저렴하게 내 PC에서 구동하는 방법 [위클리 디지털포스트]

[디지털포스트(PC사랑)=이백현 기자] 그동안 고성능 생성형 AI 모델을 개인 기기에서 실행하는 일은 불가능에 가까웠습니다. '온디바이스 AI'로 선전되는 기능은 사용자들의 호기심을 충족시켜 주기는 하지만, 실생활에 전문적인 용도로 쓰이기에는 어려운 성능을 가진 경우가 대부분이었죠.

최근에는 이런 상황이 점차 변화를 맞고 있는데요. 챗GPT와 경쟁할 수 있는 수준의 오픈소스 AI 모델 '딥시크 R1'이 등장하고, 이 모델을 개인 사용자들이 직접 소유한 기기에서 구동할 수 있는 길이 열렸기 때문입니다.

그 과정에서 특히 주목받는 'AI 칩'이 있는데요. 그래픽처리장치(GPU)와 중앙처리장치(CPU)가 통합된 'APU'가 주인공입니다. 아이패드·맥북에 탑재되는 애플 'M 시리즈', 그리고 노트북용으로 생산되는 AMD '라이젠 AI Max' 시리즈가 이에 해당합니다.

하드웨어에 관심이 많은 분들은 '온디바이스 AI'라는 선전 문구를 흔히 들어보셨을 겁니다. 흔히 온라인 서비스가 아닌, 내가 가진 기기로 생성형 AI를 직접 구동할 수 있다는 의미로 사용됩니다. 하지만 직접 '온디바이스 AI'를 지원한다는 기기를 사용해 본 분들은 해당 기능에 썩 만족스럽지 않았을 겁니다. 해당 기기가 지원하는 대부분의 기능은 클라우드 서비스로 제공되는 '챗GPT' 등에 비해서 성능이 크게 떨어지기 때문입니다.

사실 내막을 뜯어보면 원인은 단순합니다. '딥시크 쇼크'로 잘 알려진 중국 오픈소스 AI 추론 모델, '딥시크 R1' 원본 모델의 경우 6,710억개의 패러미터를 가지고 있고, 이를 실행하기 위해서는 404GB 수준의 메모리(RAM)가 필요한 것으로 알려져 있습니다. 이게 어느정도인지 감이 안 오신다면, 엔비디아가 출시한 약 500만원 상당의 데스크톱 그래픽카드, '지포스 RTX 5090'이 32GB 용량의 메모리를 탑재하고 있습니다. 즉 'RTX 5090' 10개를 묶어서 사용한다고 하더라도 '딥시크 R1' 원래 모델은 제대로 사용할 수 없다는 의미입니다.

물론 엔비디아 AI 전용칩의 경우 고대역폭메모리(HBM)을 탑재합니다. SK하이닉스가 납품하는 HBM3E 등의 제품이 이에 해당하고, 이를 탑재한 엔비디아 '블랙웰 B300' 칩은 288GB에 달하는 메모리 용량을 자랑하죠. 물론 가격은 최소 수천만 원을 호가합니다.

그렇다면 개인이 진정한 '온디바이스 AI'를 비교적 저렴하게 구동해볼 수는 없을까요?

딥시크는 '지식 증류' 기법을 통해 자사 AI에 사용되는 패러미터를 줄이고, 결과적으로 보다 적은 용량의 메모리로 양질의 생성형 AI를 구동할 수 있도록 했습니다. 증류 모델 중 가장 큰 모델인 '딥시크 R1 70b(4bit 양자화)' 모델은 원본의 1/10 수준인 700억개의 패러미터를 가졌고, 100GB 미만의 메모리(VRAM)으로 구동할 수 있습니다. 경량화됐는데도 6,710억 개 패러미터의 원본 모델 '딥시크 R1'과 유사한 성능을 보이죠.

그렇다면 이 '딥시크 R1 70b' 모델 정도는 일반 사용자 입장에서 구동해볼 수 있지 않을까요? 이 시점에서 유용한 게 바로 중앙처리장치(CPU)와 그래픽처리장치(GPU)가 통합된 칩, APU입니다. 애플이 아이패드·맥북에 탑재하는 'M' 시리즈 칩, 그리고 AMD가 출시하는 '라이젠 AI Max' 제품군이 대표적인 APU로 꼽을 수 있겠습니다.

APU에 초점을 맞춘 이유는, GPU에 상대적으로 저렴하게 메모리를 확장할 수 있기 때문입니다. 엔비디아 등 GPU에 탑재된 메모리는 제조사가 '넣어주는 대로' 쓸 수 밖에 없지만, APU와 사용되는 메모리는 사용자에게 선택권이 조금 더 폭넓게 주어집니다. 애플의 경우, M3 울트라 칩과 512GB 메모리(RAM) 탑재한 '맥 스튜디오'를 정확히 1,484만원(1TB 저장공간)에 판매하고 있죠. 물론 어마어마한 가격이지만, 'RTX 5090'에 탑재된 메모리가 32GB 용량임을 감안하면 상대적으로 '가성비가 높다'라고 이야기할 수 있는 겁니다. 개인이 원본 '딥시크 R1'을 구동하고 싶다면 '가장 합리적인' 선택지가 됩니다.

반면 '70b' 증류 모델의 경우, AMD의 노트북용 APU가 유의미한 선택지로 부상하게 됩니다. '라이젠 AI Max+ 395' APU의 경우 최대 128GB의 통합메모리를 지원하며, 이 중 96GB를 GPU 메모리로 할당할 수 있습니다. 실제로 해당 칩을 탑재한 노트북이 출시가격은 대략 500만원 대로 예상되는데, 이 칩으로 '딥시크 R1 70b' 모델을 구동할 수 있게 되는 겁니다.

그런데 얼마 전, AMD 리사 수 CEO는 중국 웨이보에 게시된 인터뷰에서 '라이젠 AI Max' 시리즈를 데스크톱 PC 버전으로도 출시할 것이라고 언급했습니다. 데스크톱 버전의 라이젠 AI Max 칩 시리즈가 등장한다면, 사용자가 자유롭게 DDR5 메모리를 직접 구매해 용량을 상승시킬 수 있죠.

이를테면 삼성전자 DDR5-5600 32GB 메모리는 현재 15~16만원 선에 거래되고 있는데요. 해당 메모리로 4개 구매해서 데스크톱용 APU에 장착한다면, 128GB의 통합 메모리를 갖추게 되어 70b로 증류한 딥시크 R1 모델을 구동할 수 있습니다. 즉 시스템 구성에 따라 300만원 대 이하의 PC 구성에서도 '온디바이스 AI'를 유의미한 성능으로 사용할 수 있게 되는 것입니다.

이제 막 '라이젠 AI Max' APU를 탑재한 노트북들이 하나 둘 등장하고 있고, 이에 따른 성능 테스트 자료도 쌓이고 있는데요. 생성형 AI를 제한 없이 개인 기기에서 구동하고 싶다면, 차세대 APU의 성능에 주목해 보는 것도 좋겠습니다. 단순 GPU 성능도 이제 외장형 그래픽카드를 바짝 쫒아온 상황이기 때문입니다.

마침 동료 기자분이 '라이젠 AI Max' 시리즈가 탑재된 노트북 리뷰를 진행했으니, APU의 성능이 어느정도인지 궁금하시다면 해당 기사를 살펴보시죠