엔비디아가 스스로를 ‘병렬 컴퓨팅’ 회사가 아니라 ‘가속 컴퓨팅’ 회사라고 정의하는 이유

“엔비디아를 병렬 컴퓨팅 회사로 기억하는 분이 있는데, 저희는 스스로 가속 컴퓨팅 회사라고 정의하고 있습니다.”

김선욱 엔비디아 코리아 상무(=사진)는 27일 <바이라인네트워크>가 서울 강남 과학기술컨벤션센터에서 개최한 ‘AI 에이전트와 지능형 인터페이스 시대’ 컨퍼런스에서 가속 컴퓨팅을 주제로 발표하기 전에 회사의 정체성부터 바로잡았다. 병렬 컴퓨팅과 가속 컴퓨팅, 어떤 차이가 있을까?

김선욱 상무는 “병렬 컴퓨팅은 여러 칩을 동시에 사용해 연산을 수행하는 방식으로, 반도체 공정에 따라 성능이 향상되지만 한계가 있다”고 지적했다. 컴퓨팅 파워는 칩의 성능에 의해서만 좌우되지 않는다. 특히 AI와 같이 대규모 컴퓨팅 파워가 필요로 한 경우 수많은 칩과 컴퓨터가 연결돼야 하는데, 이 과정에 다양한 병목구간이 발생한다. 엔비디아는 칩의 성능을 올리는 것을 넘어 이와 같은 병목 문제를 모두 해결하는 것이 목표라는 설명이다. 김 상무는 “엔비디아는 전체 하드웨어와 소프트웨어를 살펴보고 성능이 떨어지는 ‘병목 현상’ 구간을 찾아 문제를 해결하는 가속 컴퓨팅 회사”고 설명했다.

최근 딥시크의 등장 이후 엔비디아의 최신 고성능 GPU 무용론(?)도 나온다. 딥시크는 기존의 AI 업체보다 훨씬 저가의 GPU로 AI 모델을 만들어 냈다고 알려졌기 때문이다. ‘AI 개발에 그렇게까지 많은 컴퓨팅 파워가 필요한 것은 아니지 않을까’라는 의구심이 시장에 일기도 했다.

이같은 의견에 대해 김 상무는 부정했다. 앞으로의 AI는 지금까지 GPU가 사용됐던 것보다 훨씬 더 많은 컴퓨팅 파워를 필요로 하게 될 것이라고 예상했다. AI 경쟁의 LLM 자체보다 추론으로 넘어갔기 때문이다. 최근 추론의 방법론으로 많이 사용되는 연쇄 사고(Chain of Thought, CoT)는 단계적으로 여러 차례 사고를 하는 방식이다. 이 방식은 논리적이며 정확도를 높이는 데 도움이 되지만, 필연적으로 많은 토큰을 필요로 하게 된다. 즉 추론 과정에서 더 많은 토큰을 사용하게 되면 더 많은 연산이 필요하고, 이는 더 많은 컴퓨팅 파워의 수요로 이어진다. 이 때문에 엔비디아의 비싸고 성능좋은 제품들이 여전히 필요하다는 것이다.

아 때문에 컴퓨팅 파워를 높이려는 엔비디아의 노력은 계속되고 있다. 엔비디아는 작년에 H100 아키텍처 ‘호퍼’의 후속작 ‘블랙웰’을 발표했다. 올해 하반기에는 성능을 블랙웰의 2배 수준으로 향상한 ‘블랙웰 울트라’를, 내년에는 자체 개발한 프로세서 ‘베라’와 차기 그래픽처리장치(GPU) ‘루빈’을 통합한 ‘베라 루빈’을 출시할 예정이다. 호퍼 대비 성능은 블랙웰이 68배, 루빈이 900배 높다. 같은 성능을 낼 때 들어가는 비용을 비교해 보면 블랙웰은 호퍼의 13%, 루빈은 3%에 불과하다.

엔비디아는 동시에 칩을 여러 개 연결해 전체 성능을 끌어올리는 ‘NV링크’, 연산할 때 메모리 할당량을 줄여 동시에 더 많은 작업을 처리하는 ‘퀀타이제이션’ 기술도 적용했다. 대규모 병렬 컴퓨팅 시스템에서는 네트워크와 메모리가 병목으로 작용하기 때문에 이 두 병목구간을 없애려는 시도다. 두 기술이 반영된 블랙웰의 성능 효율은 호퍼의 40배 정도다고 김 상무는 설명했다.

일반적으로 고성능 칩을 수없이 연결하면 이론상 성능도 그에 비례해 향상되어야 한다. 그러나 데이터센터가 사용할 수 있는 전력은 한정적이다. 김 상무는 현재 데이터센터가 당면한 병목 현상 요소는 ‘소모 전력’이라며 연산에 필요한 전력을 절감해야 한다고 주장했다. 그는 엔비디아가 GTC 2025에서 발표한 광반도체(실리콘 포토닉스) 네트워킹 스위치를 데이터센터에 적용하면 기존 방식보다 전력 소모량을 줄일 수 있다고 언급했다. 또한 같은 전력으로 더 많은 GPU를 구동할 수 있어 전체 성능 향상에도 도움 된다고 덧붙였다.

김 상무는 “(엔비디아는) AI 연산에 필요한 데이터를 효율적으로 전송하는 기술을 적용했으며, 딥시크처럼 사전 훈련된 AI 모델을 기반으로 추론만 수행해 속도를 향상시킨 ‘라마 네모트론’ 모델을 배포했다”고 밝혔다. 그는 “이런 기술이 점차 보편화되면 개인이 에이전트 AI를 써볼 수 있는 환경도 구축할 수 있을 것”이라고 기대를 표했다.

글. 바이라인네트워크

<이병찬 기자>bqudcks@byline.network