[신년 대담] “AI 강국 핵심은 '메모리'…시스템 반도체도 성공 사례 나와야”

글로벌 인공지능(AI) 패권 경쟁이 가열되고 있다. 특히 AI를 구현하는 핵심인 반도체를 놓고 소위 '전쟁'이 벌어지고 있다. 한국은 전 세계 반도체 산업, 나아가 AI 산업에 중요 한 축을 맡고 있다. AI 구현에 필수인 메모리를 보유하고 있어서다. 그러나 AI가 모든 것을 바꾸는 격변기 시대, 기존 지형을 뒤집어 새로운 판을 짜려는 시도가 곳곳에서 벌어지고 있다. 궁극적으로 기술 패권을 쥐려는 시도다.

한국도 새 전략이 필요하다. 메모리만 놓고 봐도 중국의 추격 속도가 빨라졌다. 중국은 자국 내 모든 외산 메모리를 국산품으로 대체할 태세다. 미국에서는 마이크론이 고속 성장, 또 다른 위협이 되고 있다. 엔비디아가 마이크론을 인수할 경우 AI 반도체 시장은 상상하기 힘든 파고가 몰아칠 수 있다.

전자신문은 2026년 새해를 맞아 한국 AI와 AI 반도체 현실을 진단하고, 나아갈 방향을 제시하기 위해 특별 전문가 대담을 준비했다. 'HBM의 아버지' 김정호 KAIST 교수와 차세대 AI 반도체 유니콘으로 발돋움한 딥엑스의 김녹원 대표의 통찰력을 통해 올바른 성장의 길을 찾기 위해서다.

-AI 시장이 급변하고 있다. AI 모델 경쟁이 치열해지고, 역할도 AI 에이전트 영역으로 확장하고 있다. 현재 AI 시장과 기술은 어떤 방향으로 가고 있는가.

▲김정호(KAIST 교수)=완전한 AI 생태계를 10단계라고 하면 현재 3단계쯤 와 있다. 완전한 생태계는 AI에 대한 투자가 회수되는 단계다.

2026년부터는 본격적인 멀티모달 세상이 열릴 것이다. 구글 AI 서비스 제미나이에 사진을 주고 간단한 스크립트만 제시해도 짧은 동영상을 만들어준다.

두 번째는 실시간 컴퓨팅의 등장이다. 지금까지 사전 학습을 통해 AI 결과를 도출했다면, 이제는 실시간 학습을 하면서 연산한다.

마지막으로 에이전트 AI가 여러 개 결합돼 하나의 생태계를 이룰 것이다. AI 에이전트끼리 소통하는 프로토콜이 중요해지면서 'A2A(AI to AI)'가 부상할 것이다.

▲김녹원(딥엑스 대표)=앞으로 데이터센터 확장이 굉장히 어려워진다. 데이터센터 용량이 최대치로 차고 전기도 부족해서다. 2027년쯤에는 전력 부족으로 AI 확장이 힘들어질 수 있다.

그래서 AI가 '온디바이스' 쪽으로 내려오는 현상이 가속화될 것이다. AI를 저전력 기기(디바이스)에 집어넣고 쓰는 시대가 온다. 이를 통해 피지컬 AI가 탄력받을 것으로 본다.

-AI 거품(버블)론에 대한 우려도 있다.

▲김정호=2~3년 동안은 버블이 아니라고 본다. 그다음에도 버블을 터트리지 못할 것이다. 버블이 터지는 순간 AI로 세계 패권을 쥐려는 국가와 기업들이 포기를 하게 된다. 세계 전략 관점에서 버블을 터트릴 수 없다.

또 엔비디아가 오픈AI에 순환 투자를 하고, 그 돈으로 GPU를 다시 판매하고 있다. 여기에 구글이 등장하면서 AI의 순환 경제가 더 탄탄해졌다.

▲김녹원=버블이 맞다는 건 AI 투자 대비 수익 때문이다. 오픈AI를 예로 들어, 회사의 손익 구조를 확보하려면 지금 서비스 가격의 7배 이상을 올려야 할 것이다. 근데 비용을 올리면 사용자가 줄어든다.

오픈AI가 성공 확률로 보면 거품일 수 있다. 100% 보장되지 않기 때문이다. 지금 투자가 순손실이 나서 무너져 버리면 오히려 AI 개발을 덮을 수 있다.

오픈AI가 진짜 하고 싶은 것이 무엇인지도 봐야 한다. 아마 전 세계 기업의 운영체제 역할을 하고 싶은 것 같다. 기업의 지적 활동을 AI에 시키고, 의존하게 만드는 그 무언가에 도전하는 것이라고 본다.

AI 수익화는 '온디바이스 AI' 쪽이라고 본다. 과거 인텔이 중앙처리장치(CPU)로 컴퓨터 산업을 이끌었다. 이제는 가전 등 모든 기기에 CPU가 다 들어간다. 온디바이스 저변 확대로 수익을 최대화하고 있다. AI도 이 방향으로 가야 수지타산이 맞출 수 있다.

-AI 반도체는 이같은 AI 구현 핵심 인프라다. 지금은 엔비디아를 필두로 한 그래픽처리장치(GPU) 독주다. 최근 NPU가 급부상하면서 시장 변화가 엿보인다.

▲김녹원=구글 텐서프로세서(TPU) 때문이다. 구글이 엔비디아에서 사는 GPU가 약 100억달러 정도라고 한다. 근데 수급도 잘 안된다. 구글은 AI 알고리즘을 잘하니 최적화된 칩(TPU)을 만들었다. TPU 투자 비용은 1년에 약 5억달러이고, TPU로 처리하는 구글 트래픽의 최대 20%까지를 처리할 수 있다고 봤다. 20%면 엔비디아 GPU 구매 비용 20억달러를 줄일 수 있다. 직접 개발하는 비용 5억달러는 싼 편이다.

시사점은 구글 텐서프로세서와 같은 NPU 쓸모의 입증이다. NPU가 GPU 시장을 뒤엎기에는 시기상조더라도 이론적 가능성을 시장이 봤다.

하지만 한계가 있다. 모든 AI 알고리즘을 학습시키고 구동하려면 범용성이 있어야 한다. GPU는 절대적 범용성이 있다. 만약 구글 텐서프로세서가 성공하려면 엔비디아처럼 어마어마한 단위의 투자로 저변을 확대해야 할 것이다.

▲김정호=NPU는 일반화가 어렵다. 구글 텐서프로세서는 쿠다와 같은 소프트웨어 플랫폼도 없다. 누구나 사용하기에는 장벽이 있다. 대안이 나와서 좋긴 한데, GPU 시장이 당장 무너지지는 않을 것이다. 2027년쯤 되면 NPU가 시장 점유율 10~20% 정도 가져갈 수 있을 것 같다.

-한국 상황을 점검해보자. 정부는 지금 세계 AI 3대 강국을 목표로 제시했다.

▲김녹원=우리나라는 메모리 강국이다. AI 3대 강국이라는 요소 중 하나가 여전히 메모리 기술에 있다. 최근에는 수급도 잘 안된다. 샘 올트먼 오픈AI CEO가 한국에 와서 HBM 월 90만장(웨이퍼 기준)을 달라고 할 정도다.

AI는 점점 대형 모델로 간다. 데이터가 커지고 있다. 대역폭 요구 사항이 굉장히 과격해지면서 메모리에 병목 현상이 왔다. 현재는 시스템 반도체보다 메모리가 좀 더 중요한 상황이고, 메모리를 들고 있는 것만으로 이미 AI 4대·5대 강국에 들어왔다고 본다.

AI 알고리즘과 모델도 노력하고 NPU 같은 것을 열심히 개발하다 보면 AI 3대 강국이 요원하지 않을 것이다.

▲김정호=전남 해남군에 국가 AI 컴퓨팅센터가 들어서는데, 거기에 국산 NPU를 필수로 들어가게 한다. 이제는 정부가 AI 강국이 되는 방법을 진지하게 고민하는 것 같다.

AI는 국방 산업과 비슷하다. 등수와 효율을 따질 수 있는 게 아니다. 1970년대 우리가 처음으로 소총 국산화에 뛰어들었다. 지금은 전투기도 만들고 탱크도 수출한다.

만약 인프라가 부족하고 시작이 늦었다고 AI 반도체나 모델을 포기한다면 수입해서 쓰게 되고 완전히 종속된다. 그래서 AI는 국방 산업처럼 비용을 생각하지 말고 계속 투자해서 경쟁력을 높여야 한다.

▲김녹원=100% 동의한다. AI 강국이 되지 못할 경우 반대급부는 다른 나라에 종속될 수 있다는 것이다. 국가 단위 'AI 빈익빈 부익부'가 생긴다.

-우리나라는 메모리 강국이라고 했다. AI 시대에서 반도체 전략은 어떻게 가져가야 하는가.

▲김정호=GPU로는 이제 더 이상 혁신이 쉽지 않아 보인다. 그 와중에 AI는 더 높은 대역폭과 용량을 요구하니 메모리 공급 제한이 더욱 심화될 것이다. AI 반도체에서 혁신은 메모리밖에 없다.

이 메모리 혁신을 할 수 있는 곳이 삼성전자와 SK하이닉스다. 메모리는 D램만 있는 게 아니다. 낸드 플래시도 있어야 한다. 최근에는 낸드 플래시를 적층하는 'HBF'도 주목받고 있다. 이 두 가지를 동시에 할 수 있는 곳은 두 기업밖에 없다.

그래서 우리가 선도해야 한다. 내년에도 메모리 공급 부족이 예상된다. 유사 이래 우리한테 최대 기회가 왔다. 여기서 머물지 말고 계속 혁신을 이어 나가야 한다.

메모리 계층 구조 혁신으로 용량을 더 키우고 3차원(3D) 패키징을 해야 한다. 개인적으로는 국산 NPU를 HBM 탑재해 보고 싶다.

메모리 기반으로 파운드리와 함께 토털 솔루션을 가져가는 것도 중요하다. 메모리·파운드리·패키징을 모두 할 수 있는 나라는 미국 외 우리나라밖에 없다. 이제 NPU도 한다. 토털 솔루션 강점으로 원스톱 서비스 역량을 살려야 한다.

▲김녹원=시스템 반도체도 성공한 케이스가 하나 나와야 한다. 이 성공을 위해서는 장인 정신이 필요하다고 본다. 글로벌 시장에서 성공 사례가 나오면 우리나라는 금방 잘 따라 올라오니 성공이 확산될 수 있다. 아직까지는 그 성공의 위닝 포인트를 못 찾은 것 같다.

-한국 반도체 기업의 글로벌 성공 전략을 좀 더 구체화한다면.

▲김녹원=반도체 제품, 즉 기술이 좋아야 하는 건 당연한 이야기다. 적극적 마케팅 전략도 추구해야한다. 해외 기업들은 강력한 네트워킹과 조직을 가지고 제품을 판매하는데, 우리나라는 이 부분이 약하다.

딥엑스를 기준으로 보면, 우선 딥엑스를 글로벌 시장에서 알게 하고(Know), 그다음 이해시키려고 한다(Understand). 이후 회사를 평가하게 하고(Evaluate), 궁극적으로 딥엑스를 신뢰하도록 하는 게(Trust) 목표다. 딥엑스를 믿어야 우리 제품을 써준다.

이 4가지 관문을 돌파하기 위해 노력하고 있다. 세계 유명 전시회에도 매달 한 번 이상 참석한다. 미국·중국·대만·유럽 등 출장을 다니면서 고객 미팅을 하루 3~4차례 진행한다.

반도체 스타트업은 시작과 동시에 '호랑이 굴(글로벌 시장)'에 들어가야 한다고 본다. 그래서 빨리 실력을 키워야 한다. 고객이 있는 곳에 대표가 있어야 하는 것도 잊어선 안 된다. 고객은 전 세계에 있다.

▲김정호=HBM 설계 초기 때 국내에서는 투자도 없고 아무도 알아주지 않았다. 해외에서 기술 발표를 많이 했다. 주로 미국 쪽에서 많이 활동했다. 어느 순간 삼성전자와 SK하이닉스에도 소문이 나고 연구팀에 펀딩이 들어왔다. 세계 무대에서 먼저 뛰라고 했는데, 학계도 마찬가지인 것 같다.

-반도체 업계 인력 부족도 항상 지적되는 문제다.

▲김정호=올해 KAIST에 시스템 아키텍트 대학원을 열었다. 삼성전자 DS부문 인력에게 AI와 컴퓨터 아키텍처를 교육하고 있다. 목적은 AI 반도체를 설계하든, AI 로봇을 설계하든, 하드웨어와 소프트웨어를 모두 잘 아는 융합·다기능 인재 양성이다.

AI와 반도체는 절대적 인력 수가 부족하다. 전국 국립대 10곳에 100명씩 반도체 학과를 만들어서 석·박사까지 생활비와 등록금을 대기업 신입 사원 수준으로 지원하는 것도 방법이다. 걱정 없이 공부할 수 있도록 하기 위해서다. 그래도 10년이면 1만명밖에 안 된다. 국가 예산으로 보면 연간 몇천억원이 들 수 있다. 딥엑스 같은 회사가 AI 반도체 칩 개발하는데 비용이 1000억원을 될 것이다. 우리나라는 인력 투자가 좀 아쉽다.

▲김녹원=많은 부분의 반도체 설계를 AI가 담당하기 시작했다. 소프트웨어 코딩을 사람보다 AI가 더 잘한다. 앞으로 사람이 소프트웨어나 반도체를 설계하는 시간이 그리 많이 남진 않은 것 같다.

그럼에도 인력 부족은 여전하다. 인력 풀도 얇다. 우리나라는 AI에 굉장히 친근한 국가로, 적절한 투자가 이뤄진다면 AI 시대에서 분명 저력을 발휘하는 순간이 올 것이다.

-반도체를 넘어 AI 주도권을 쥐기 위한 생태계 전략을 제시한다면.

▲김녹원=전방위적인 투자가 중요하다. 우리나라는 너무 일변도 투자다. 특색은 가질 수 있으나 다른 한쪽이 말살당하면서 전체 기술이 안 만들어진다.

근데 우리는 '무엇을 위한 AI(AI for What)'이 없는 것 같다. 일본은 '과학을 위한 AI', 대만은 '제조를 위한 AI'다. 미국과 중국은 모두 다 하려고 한다. 우리는 이런 기조가 없는 상태서 AI를 해야 한다고 강조한다.

우리나라는 '피지컬 AI를 위한 AI'를 해야 한다고 본다. 우리나라는 제조 강국이다. 철강·조선·가전·자동차 등 다 잘하는 국가는 지구상에 5개도 안 되는 것 같다.

제조를 잘하려면 수십년 동안 고생했던 데이터 경험과 노하우가 있어야 한다. 또 AI가 데이터다. AI 기술을 잘 활용해 산업을 AI 전환(AX)한다면 G5 안에 들어갈 수 있을 것이라 본다.

▲김정호=AI 생태계를 제대로 조성하려면 AI 모델, 데이터, 컴퓨팅 파워, 인재 이 네가지 요소가 갖춰져야 한다. 우리한테 조금 불리한 상황이다.

우리가 제조 강국이니 제조 AI를 많이 이야기한다. 다만 제조 AI의 목적이 무엇인가 질문해야 한다. 수율을 높이려는 것인지 노동자를 대체하는 것인지, 아니면 생산 시간을 줄이는 건지 파악해야 한다. 또 거기에 맞는 학습을 위해 어떤 데이터를 확보할 것인가도 고민해야 한다. 그 뒤 인프라를 잘 갖추면 우리나라가 AI 강국이 되는 좋은 사례가 될 것이다.

-마지막으로 AI 강국이 되기 위한 골든 타임 얼마나 남았다고 보는가.

▲김정호=짧게는 1년. 길면 2~3년 남았다. 이 시기를 놓치면 우리 역사에서 가장 중요한 기회를 잃게 된다. 정부 차원에서 AI 인프라 투자에 노력해야 한다. 고속도로를 깔아야 한다는 의미다. GPU뿐 아니라 전력·용수 공급 등에 신경 써야 한다. 기업이 마음 놓고 AI 사업을 할 수 있도록 규제 철폐도 필요하다. 학계 입장에서는 AI 기초 연구에 계속 투자했으면 한다. 그리고 가장 중요한 인재 양성에 힘써야 한다.

▲김녹원=계속 골든 타임이다. AI가 완전히 만개하기 전까지는 한 순간순간이 모두 골든 타임이 될 것이다. 어떤 선택을 하느냐에 따라 기업과 나라의 명운이 갈릴 수 있다.

오히려 골든 타임에서 실각해서 완전히 나가떨어지면 그야말로 끝이다. AI 강국으로 가기 위해 여러 지혜와 협력을 합쳐야 하는 시기다.

정리=

권동준 기자 djkwon@etnews.com