AI 시대에 부상하는 메모리와 저장 장치

메모리는 휘발성과 비휘발성으로 구분된다. HBM, DRAM, SRAM은 휘발성이며 낸드 플래시는 비휘발성이다. 휘발성은 전원이 차단되면 데이터가 사라지고 비휘발성은 전력이 차단되어도 계속 데이터가 저장된다. 휘발성은 용량을 무한 늘릴 수 없으며 속도가 빠른 반면, 비휘발성은 용량을 크게 늘릴 수 있는 반면 속도가 상대적으로 느리다. HDD는 메모리가 아닌 비휘발성 저장장치로 구분된다. CPU 중심의 디지털화 시대에는 DRAM과 HDD가 성장한 반면, GPU 중심의 AI 시대에는 HBM, NAND 기반의 SSD가 중요해졌다. 그렇다면 앞으로 Agent AI와 On-device AI 시대에는 어떤 메모리와 저장장치가 주목받을까?

우선 에이전트가 기존 생성형 AI와 다른 점을 이해할 필요가 있다. 챗봇은 질문 하나를 받고 답변 하나를 생성하는 방식이었다. 반면 에이전트는 하나의 일을 완료하기 위해 여러 차례 생각하면서 외부 자료를 검색하고 다른 소프트웨어를 호출한 후 그 결과를 다시 검토한다. 예를 들어 출장 계획을 세우는 에이전트는 일정표와 이메일을 확인하고 항공편과 호텔을 검색한 뒤, 회사의 출장 규정과 예산을 대조하고 예약안을 작성한다. 사용자가 한 번 지시했지만 내부적으로는 수십 번의 AI 추론과 데이터 조회가 일어나는 것이다. 이 과정에서 AI가 사용하는 메모리는 크게 늘어난다. AI는 앞서 읽고 판단한 내용을 매번 처음부터 계산하지 않기 위해 ‘KV 캐시’라는 임시 작업 정보를 메모리에 저장한다. 비유하면 바카라상 위에 펼쳐둔 자료와 메모지에 해당한다. 대화가 길어지고 동시에 처리하는 사용자가 많아질수록 바카라상 위에 올려둘 자료도 늘어나는 것과 같다. 특히 에이전트는 여러 단계의 작업을 수행하고 다른 에이전트와 협업하기 때문에 일반적인 챗봇보다 더 크고 오래 유지되는 작업 공간이 필요하다.

여기서 에이전트의 ‘기억’과 반도체 메모리를 구분해서 볼 필요가 있다. 에이전트가 과거 대화나 사용자의 취향을 기억한다고 할 때 모든 내용을 비싼 HBM에 계속 저장하는 것은 아니다. 지금 즉시 계산에 필요한 정보는 HBM이나 DRAM에 두고 잠시 뒤 다시 사용할 정보는 SSD에 저장하며 장기간 보관할 업무 기록과 원본 데이터는 대용량 스토리지에 둔다. 사람도 지금 읽는 문서는 바카라상에 놓고 자주 참고하는 자료는 서랍에 넣으며 오래된 문서는 창고에 보관한다. AI 역시 모든 데이터를 한 종류의 메모리에 넣는 것이 아니라 속도와 가격에 따라 여러 계층으로 나누어 보관한다. 따라서 에이전트는 HBM의 중요성을 계속 높여줄 것이다. 모델의 핵심 데이터와 현재 계산 중인 KV 캐시는 가능한 한 GPU 가까이에 있어야 하기 때문이다. HBM3E에 이어 HBM4가 주목받는 것도 더 많은 데이터를 더 빠르게 GPU에 공급하기 위해서다. 2025 즈음부터 AI 서버용 메모리에 HBM3E 36GB, 차세대 HBM4, SOCAMM2, PCIe 6.0 SSD가 사용되고 있다. 이는 AI 서버가 더 이상 HBM 하나만으로 구성되는 것이 아니라 고속 HBM, 대용량 시스템 메모리, 빠른 SSD를 결합하는 방향으로 진화하고 있음을 보여준다. 문제는 HBM이 매우 빠르지만 비싸고 용량을 무한정 늘릴 수 없다는 점이다. 에이전트의 수와 대화 길이가 늘어날 때 모든 작업 정보를 HBM에 넣는 방식은 경제적이지 않다. 이 틈을 메우는 기술이 CXL이다. CXL은 CPU와 GPU, 외부 메모리를 고속으로 연결하는 통로다. 서버 내부에 꽂을 수 있는 DRAM의 수가 부족하면 CXL을 이용해 별도의 메모리 장치를 추가하거나 여러 서버가 하나의 대용량 메모리 공간을 나누어 사용할 수 있다. 쉽게 말해 CXL은 각 직원의 바카라상을 무작정 크게 만드는 대신 사무실 중앙에 공용 자료실을 설치하는 것과 같다. 필요할 때만 메모리를 할당할 수 있어 서버마다 남는 DRAM을 줄이고 특정 AI 작업에 수백GB에서 수TB의 메모리를 유연하게 제공할 수 있다.

HBM은 가장 빠른 작업대이고 CXL 메모리는 작업대 가까이에 있는 공용 서랍에 가깝다. HBM에는 지금 계산할 데이터를 두고 CXL로 연결된 DRAM에는 잠시 뒤 사용할 KV 캐시나 대용량 데이터베이스를 보관하는 식이다. 앞으로 AI 서버의 성능은 어떤 메모리가 가장 빠른지만으로 결정되지 않는다. 데이터를 언제 HBM에 올리고 언제 CXL 메모리나 SSD로 내릴지를 판단하는 메모리 관리 소프트웨어가 함께 중요해진다. 낸드 플래시를 사용하는 SSD의 역할도 크게 달라진다. 과거 SSD는 운영체제와 프로그램, 완성된 파일을 보관하는 저장장치였다. AI 시대에는 모델 파일과 기업 데이터, 벡터 데이터베이스, 에이전트의 작업 기록, KV 캐시까지 저장한다. 저장장치가 계산이 끝난 결과를 보관하는 창고에서 AI가 작업 도중 계속 꺼내 쓰는 자료실로 바뀌는 것이다. SSD로 인해 HDD가 사라지는 것은 아니다. AI 서비스가 생성하는 원본 영상과 음성, 로그, 백업 데이터는 막대한 용량을 차지한다. 즉시 읽을 필요가 없는 데이터는 여전히 HDD가 경제적이다. AI 데이터센터는 HBM과 SSD만 사용하는 것이 아니라 HBM, DRAM, CXL 메모리, SSD, HDD를 속도와 가격에 맞게 층층이 배치하는 구조로 발전한다.

온디바이스 AI에서는 또 다른 변화가 나타난다. 스마트폰이나 노트북에서 AI를 직접 실행하려면 모델 파일은 낸드 기반의 UFS나 NVMe SSD에 저장해 두었다가 실행할 때 LPDDR로 불러와야 한다. 소형 언어모델이라고 해도 수GB의 저장 공간을 차지할 수 있으며 이미지와 음성까지 동시에 처리하면 더 큰 메모리 용량과 대역폭이 필요하다. 이제 스마트폰의 메모리는 앱을 여러 개 실행하기 위한 공간일 뿐 아니라 디바이스 속 개인별 Agent가 생각하고 기억하는 작업 공간이 된다. 게다가 온디바이스 AI에서는 빠른 속도만큼 낮은 전력 소비가 중요하다. 데이터센터는 전력과 냉각 설비를 확충할 수 있지만 스마트폰과 노트북은 제한된 배터리로 작동해야 하기 때문이다. 이 때문에 기존 DDR보다 전력 소비가 적은 LPDDR5X와 차세대 LPDDR6가 주목받는다. 저장장치도 함께 빨라져야 한다. 모델을 UFS에서 LPDDR로 불러오는 시간이 길면 아무리 NPU가 빨라도 AI가 즉시 응답하기 어렵다.

거기에 더해 온칩 SRAM의 역할도 커진다. SRAM은 용량은 작지만 DRAM보다 훨씬 빠르기 때문에 CPU와 GPU의 캐시로 사용되어 왔다. 온디바이스 AI의 NPU에도 SRAM을 넣어 현재 계산할 데이터와 중간 결과를 연산기 바로 옆에 보관한다. 외부 LPDDR까지 데이터를 가지러 가는 횟수를 줄이면 응답 속도가 빨라지고 전력 소비도 낮아진다. AI 연산에서는 계산 자체보다 데이터를 이동할 때 더 많은 시간과 전력이 들 수 있기 때문이다. 다만 SRAM은 반도체 면적을 많이 차지하고 가격이 비싸 전체 AI 모델을 담기 어렵다. 따라서 LPDDR를 완전히 대체하기보다는 NPU가 자주 사용하는 데이터를 임시로 보관하는 초고속 작업대로 사용된다. 공급 측면에서는 더 작은 공정으로 같은 면적에 많은 SRAM을 집적하는 기술, AI 연산에 맞게 SRAM 회로를 설계하는 커스텀 SRAM, 메모리 안이나 가까운 곳에서 일부 계산을 수행하는 PIM과 컴퓨트인메모리 기술이 주목받는다.

이러한 변화는 메모리 기업의 경쟁 방식도 바꾼다. 과거에는 DRAM과 낸드의 생산량과 미세공정 수준이 경쟁력의 중심이었다. 앞으로는 HBM과 LPDDR, CXL 메모리, 기업용 SSD, 모바일 UFS를 얼마나 적절하게 조합할 수 있는지가 중요해진다. 여기에 메모리 컨트롤러와 펌웨어, CXL 관리 소프트웨어, 발열 제어, 첨단 패키징 기술까지 함께 제공해야 한다. 메모리 반도체 기업이 단순한 칩 공급자에서 AI 시스템의 데이터 이동 구조를 설계하는 기업으로 바뀌는 것이다. 결국 에이전트 AI와 온디바이스 AI 시대에 특정 메모리 하나가 시장을 독점하지는 않는다. 데이터센터에서는 HBM4와 대용량 DRAM, CXL 메모리, 고성능·고용량 기업용 SSD가 함께 성장한다. 스마트폰과 AI PC에서는 LPDDR5X·LPDDR6, UFS·NVMe SSD, 온칩 SRAM의 중요성이 높아진다. HBM은 속도를, CXL은 확장성과 공유를, 낸드는 용량과 지속성을, LPDDR는 전력 효율을, SRAM은 즉각적인 반응을 담당한다.

AI 시대의 진짜 병목은 연산 능력만이 아니다. 필요한 데이터를 적절한 순간에 적절한 메모리로 이동시키는 능력이 더 중요해지고 있다. CPU 시대에는 얼마나 많이 계산할 수 있는지가 성능을 좌우했다면 에이전트 AI 시대에는 얼마나 많은 기억을 빠르고 경제적으로 관리할 수 있는지가 경쟁력을 결정한다. 이제 메모리와 저장장치는 컴퓨터의 부품을 넘어 AI가 더 오래 생각하고 더 많이 기억하며 사용자 가까이에서 즉시 행동하게 만드는 핵심 인프라가 되고 있다.

[2027년 사업전략/AX를 위해 AI 시장 트렌드와 꼭 알아야 할 정보와 지식을 담은 바카라]

https://www.yes24.com/Product/Goods/197780287

https://product.kyobobook.co.kr/detail/S000221581752

➯ AI 기술의 시대, 기술을 알고 기업을 고르고 미래의 부를 내다보는 통찰력을 기르기 위한 저자의 바카라

AI 관련 기업 29곳 상세 분석, 그 외에 빅테크 기업들의 수익구조와 사업전략 전체 64곳 정리!

“29개 기업의 사업 구조를 심층 분석하고, 총 64개 기업 사례를 통해 AI 시대 돈의 흐름을 읽는다.”

https://m.yes24.com/p/198928983