메모리 슈퍼사이클은 어디까지 갈까?

최근의 메모리 슈퍼사이클은 여러 맥락에서 이슈가 되는 것 같다. 당연히 역대 최고 수준으로 기록적인 수익이 연속적으로 쌓이고 있으니, 국가적으로 본다면 경제력의 팽창이라는 점에서 이 시기를 잘 활용하는 것이 중요할 것이고, 회사 입장에서는 이렇게 쌓이는 자본으로 다시 팹을 확장하거나 새로운 기술 전환을 시도하거나, 아예 새로운 개념을 정의하기 위한 밑바탕을 깔거나 하는 투자가 중요할 것이다. 투자자들 입장에서는 이 수익이 과연 언제까지 지속될 것인지 초미의 관심사가 되지 않을 수 없다. 그래서 당장의 슈퍼사이클 진입 여부도 중요하겠지만, 그 슈퍼사이클이 언제까지 갈 것인지를 알고 싶은 것은 인지상정일 것이다.

나는 전문 투자자도 아니고, 금융 지식을 충분히 갖춘 애널리스트도 아니며, 회사의 CSO도 아니고, 일개 공대 교수일 뿐이지만, 적어도 내가 이해하는 기술-시장 사이클의 공식이, 현재의 슈퍼사이클에는 잘 적용되기 어렵다는 것은 알고 있다. 그래서 과거의 사이클 기록이나 변동성을 참고는 할 수 있지만, 현재의 슈퍼사이클 전망에 그대로 외삽하기는 어렵다는 것도 알고 있다. 이제 이러한 맥락에서, 아래 공유하고 있는 강병호 선생의 우려와 전망에 대해 우리는 어떤 전략을 수립할 수 있는지 생각해 보자.

일단 최근 시장에서 우려의 목소리가 향하는 지점은 메모리 수요 확장은 이른바 '제본스의 역설'을 그대로 따라간다고 볼 수 없을 것이라는 점에 있다고 보인다. 이 우려의 기저에 있는 것은 추론 AI가 본격적으로 메모리 수요를 이끌어가기 시작하기 전 단계, 즉, 그간의 스케일링(scaling) 경쟁이라는 단일 축으로 점철된 학습 AI가 주력인 시대에서 관찰된 직관이다. 즉, 학습 위주의 AI 관점에서 본다면, 멀쩡히 돌아가는 GPU를 놔두고 모든 정보를 메모리가 병목지점이 되는 컨텍스트 (즉, KV cache)에 두는 것은 비효율적이라는 점이라 지적하는 것은 타당하다. 문제는 시대의 흐름이 학습에서 추론으로 확실히 바뀌고 있다는 점이다. 잘 알려진 것처럼, 추론 시대에는 산술연산강도(Arithmatic Intensity (AI))를 어떻게 하면 연산을 위한 하드웨어의 설계 연산 성능 (ridge point (RP, 하드웨어의 연산량/대역폭 설계 스펙))에 근접시키느냐가 관건이다. 추론 AI는 사용자의 입력 정보를 이미 학습된 인공신경망(NN)에 전사시키는 행렬 연산이 주종이 되는 프리필(prefill) 단계와, 그를 기반으로 정보를 확률적으로 sequence 형태로 생성하는 디코드(decode) 단계로 이루어진다. 인공지능 개론을 충분히 공부하신 분들은 아마 머릿속에 깔때기 두 개를 연결한 오토엔코더(Autoencoder) 이미지가 바로 떠오르실 것이고, 사실 실제로 그 원리는 크게 다르지 않다. 흥미로운 지점은 prefill 단계의 AI는 하드웨어의 RP에 근접하는 반면, decode 단계의 AI는 RP보다 한참 밑이라는 것이다. 이는 다르게 표현하면, prefill 단계는 비교적 GPU를 알뜰하게 이용하는 편이고, decode 단계는 그 비싼 GPU가 펑펑 놀고 있다는 뜻이다. 이를 메모리 관점에서 표현하면, prefill 단계는 메모리 병목이 그리 심하지 않은 반면, decode 단계는 메모리가 전체 정보 처리 속도의 모든 체감 속도를 지배하는 확실한 memory-bound가 된다는 뜻이다.

추론 AI에서 결국 사용자가 체감하는 정보 생성 속도와 용량 한계는 사실상 decode 단계에서 결정되므로, 이것이 이른바 최근 논의가 활발한 토큰 경제학 (LLC economics)의 핵심 이슈가 되는 것은 당연한 일이다. 실제로 데이비드 페터슨은 2026년 공개한 논문에서 'LLM inference is hard. The autoregressive Decode phase makes LLM inference fundamentally different from training. The primary challenges are memory and interconnect rather than compute'라고 주장한 바 있는데*, 이 주장이 가리키는 것도 토큰 경제학의 핵심은 코어 병목 보다 메모리 병목을 어떻게 해결할지에 대한 것이다.

*https://arxiv.org/abs/2601.05047

메모리 병목이 문제가 되는 것은 단순히 산술연산강도 (AI)가 낮아서라기보다는, 그나마 병목을 완화하기 위해 도입된 전용 메모리, 즉, HBM의 용량 한계 때문이다. HBM을 일종의 큰 물통이라고 생각해 보자. 여기에 채우는 물을 KV cache라고 생각해 보자. KV cache가 HBM의 용량보다 비교적 적다면 (즉, 토큰이 아직 그리 큰 상황이 아니라면), HBM 용량 안에서 HBM의 대역폭으로 정보의 입출력이 지원된다. 그렇지만 KV cache 용량이 늘어나기 시작하면 물은 HBM 물통의 수위를 넘치기 시작한다. 이 상황에서 GPU는 두 가지 선택을 할 수 있다. 정보를 하나도 버리지 않되, 넘치기 시작하는 것들은 아쉬운 대로 DRAM에 보내거나, 아니면 넘치는 정보를 위해 기존의 정보를 그만큼 버리거나. 그렇지만 두 가지 방식 모두 자원의 낭비와 병목의 심화를 초래한다.

따라서 추론 효율의 강화를 위해 메모리 병목을 줄이면서도 데이터 컷 하지 않고, 최대한 살리되 분산시키는 비용을 줄이고 동시에 속도 격차를 최소화하려면 HBM만으로는 부족하고, 그것을 뒷받침할 수 있는 여러 메모리 솔루션들이 수직계열화되면서 투입되어야 한다. 폰 노이만 컴퓨팅 설계 구조 (von Neumann architecture)를 근본적으로 건드리지 않는 한 말이다. 그래서 메모리가 1 유닛만큼 필요하다고 판단될 때, 실제로 투입되어야 하는 메모리 자원은 훨씬 많아질 수밖에 없다. KV cache 재계산 과정을 제거하고, 컨텍스트 길이를 늘이고, 배치 크기를 늘리는 등으로 메모리 자원이 추가 배정되어야 하기 때문이다. 그래서 메모리 자원에 대한 투자는 선형보다는 비선형에 가까워진다. 실제로 하이닉스의 H3 architeucture 시뮬레이션에서는 HBM3E (8-stack)를 기준으로 하여 여기에 HBF 8 stack을 붙이는 (용량은 2배로 확대) 실험을 한 적이 있는데, HBM only 대비, 단위 와트 당 성능은 2.7배 정도, KV cache 10M 토큰 기준으로는 배치 사이즈가 2배가 아니라, 거의 20배 증가했다. 전형적인 비선형성의 시그널이다.

이는 '메모리 시장 크기 = 엔비디아 GPU 판매량*constant' 라는 공식도 유효하지 않음을 의미한다. 추론 AI 시대에는 결국 GPU 외부의 메모리 수요도 동반하여 증가하기 때문이다. 예를 들어 가장 최신 세대로 볼 수 있는 엔비디아 Vera-Rubin 조합의 경우, Rubin GPU 뿐만 아니라 Vera CPU도 메모리를 많이 필요로 한다. Vera CPU는 DRAM을 LPDDR5X를 채택하고 있으며, 최대한 대용량으로 연계하되 빠르게 정보를 공유하기 위해 SOCAMM 모듈로 stick 당 128GB, 그리고 시스템 당 최대 1.5TB의 LPDDR5X 메모리 서브시스템을 구현한다. 이러면 HBM에 거의 버금갈 정도로 용량과 대역폭이 강화된다. 물론 HBM을 대체하기 위한 용도는 아니며, CPU 향 DRAM을 HBM에 준하게 만든다는 뜻이다. 이는 전적으로 GPU를 위한 것이 아니라, CPU에서 바로바로 처리해야 하는 KV cache offload 용이다. 또한 지난 CES와 GTC에서 젠슨 황이 계속 언급한 바 있는 새로운 메모리 수직계열화 구조의 핵심 요소 중 하나인, ICMS (inter-context memory storage)에서 역시 HBM과 일반 대용량 메모리 사이의 gap을 메꾸기 위한 메모리 수요가 늘어난다. 이 갭은 사실 굉장히 거대한데, 기본적으로 신경망 사이즈가 1조 개 이상으로 늘어나고 있는 데다가, 추론에서 다뤄야 하는 context의 크기와 종류도 계속 확장되고 있기 때문이다. 결국, Vera-Rubin 조합 기준으로, 메모리는 겉보기 보다 훨씬 많은 양을 필요로 한다. 젠슨 황이 정의하는 새로운 수직 계열화 구조를 기반으로, G1에 해당하는 HBM은 최중요 KV (Hot KV & essential weights)에 대응하고, G2에 해당하는 LPDDR5X (with SOCAMM)는 그다음으로 중요한 KV에 대응하며, ICMS에 해당하는 G3.5는 HBF/eSSD 같은 NAND 기반이 담당하게 되고, 마지막으로 G4는 도서관 역할을 하는 NAND flash가 된다. 2024년 상반기까지만 하더라도, AIDC에서 필요로 하는 GPU에 붙는 메모리 stack의 95% 이상은 HBM이었고, G2에 붙는 LPDDR5X나 GDDR은 5% 내외였다. 그렇지만 이제 2026년 현재 기준으로, GPU (+CPU) 조합에 붙은 메모리 stack에서 G1 (HBM)가 차지하는 비중은 50-60%, G2가 차지하는 LPDDR5X 비중은 20-25%, G3.5는 15-20%, 그리고 2023년에는 아예 0% 였던 G4는 5-10% 까지도 비중이 확대된다. 이것을 HBM 수요 자체가 줄어든다고 오독하면 안 된다. 2024년 기준보다 HBM은 비트 수요가 더 늘어날 수밖에 없다. 아주 단순하게 생각해서, 2024년을 지배한 HBM3/HBM3E 대비, 2026년 이후의 표준이 될 HBM4/HBM4E는 stack capacity가 최소 4배에서 6배 증가한다.**

**HBM3 (8-stack)의 stack capa는 16 GB를 기준으로 하며, HBM3E (8-stack)은 24 GB, HBM3E (12-stack)은 36 GB, HBM4 (12-stack)는 36 GB, HBM4 (16-stack)은 64 GB, HBM4E (16-stack)는 96GB로 확장되는 상황을 고려.

보수적으로 HBM 수요 자체는 단위 GPU 당 비트 용량 4배 확장에, stack 증가분까지 고려하면 2-2.5배 정도 확장되는 셈이니까, 대략 H100 대비 Rubin Ultra에서는 8-10배 확장이 예상된다. GPU 자체에 대한 수요 확장도 고려해야 한다. 수요 확장은 보수적으로 2024년에 비해 1.5배 정도로 본다면, 결국 HBM향 메모리 수요량 자체는 12-15배 정도 확장되는 셈이다. 그런데 위에서 분석했듯, HBM이 차지하는 비중은 2026년 이후의 GPU에서는 50-60% 이므로, 여기에 1.6-2배를 또 곱해야 진짜 메모리 수요 전망치가 된다. 즉, 12*1.6~18배에서 15*2~30배까지도 시장은 폭발적으로 메모리를 수요로 할 수 있다는 점이다. 이 점은 강병호 선생이 지나치게 HBM에 대해 선형증가를 예상하셨을 때 놓친 지점일 것이다. 2-3배 늘어나는 수준이 아니라, 20-30배 늘어나는 수준으로 현재 시장이 흘러가고 있다는 것이다.

사실 메모리 과열시장에 대한 우려의 목소리가 향하는 '제본스 역설이 메모리에는 통하지 않을 수 있는' 상황 자체는 시장 참여자나 투자자 모두 고려하긴 해야 한다. 나는 몇 주전 구글 터보퀀트 알고리즘이 시장에서 화두가 되었을 때, 이 영역에서도 결국 제본스의 역설이 재현될 것이라는 이야기를 한 적이 있다. 지금도 그 기본적인 입장에는 변화가 없다. 만약 구글 터보퀀트 알고리즘 등이 더 많이 그리고 더 강력하게 작용하여 KV cache 같은 컨텍스트 압축과 정보 전송을 위한 메모리 필요량이 1/10 정도로 줄어든다고 해서, 그것이 메모리 수요의 1/10토막을 의미하지는 않는다. 오히려 더 긴 context를 처리하기 위한 수요를 끌고 와서 메모리 수요는 증가할 수도 있음을 이야기한 것이다. 실제로 그러한 메커니즘이 어떻게 구현될 수 있는지는 위의 단락에서 충분히 설명했지만, 한 편으로는 일부 사용자들은 그렇게 절약된 메모리를 근거로, 메모리 추가 증설에 그렇게 많은 자본을 투입하지는 않을 수도 있다. 그렇지만 그러한 사용자 비중은 일부에 불과하다. 우려의 목소리가 지적하는 기존 메모리 사이클의 교훈은 결국 메모리 가격 폭등이 수요를 식혔듯, 메모리 효율 강화, 압축 강화 기술 등이 동반되는 상황에 메모리 가격이 폭등하면 수요가 줄면 줄었지, 늘지는 않을 것이라는 것을 내포한다. AI 연산 인프라가 마치 스마트폰이나 소비자 향 가전제품 같은 시장이었다면 이러한 전망은 지극히 타당했을 것이다. 왜냐하면 이런 시장에서는 침투율이 기술적 요인에서든, 가격적 요인에서든, 일단 한계에 다다랐다고 판단되면 unit growth가 0에 수렴할 것이기 때문이다. 그렇지만 AI 연산 인프라 시장은 결이 많이 다르다. 버블 여부에 대해 이슈가 있지만, 일단 그 이슈는 고려에 넣지 않는 상황에서, 어쨌든 AI 연산 인프라는 지수함수적으로 계속 시장이 팽창하고 있는 상황이고, 따라서 메모리 절약이든 급등이든, 아직 saturation에 이를 정도로 침투율이 높지 않은 상황인 셈이다.

그럼에도 불구하고 메모리 시장의 과열에 대한 우려의 목소리의 한편에는 충분히 곱씹을 지점도 있고, 이는 시장이 지나치게 과열되기 전, 투자포트폴리오를 조정하려는 분들에게는 참고가 될 수 있는 부분이기도 하므로 중요한 체크 사항이다.