CPU가 GPU로, DRAM이 HBM으로 이제는 구리선

지난 수십 년간 우리는 데이터를 전기로 전달해왔다. 전화선, 이더넷 케이블, 데이터센터 내부의 수많은 인터커넥트까지 모든 것은 구리선을 통해 전기 신호가 이동하는 방식으로 작동했다. 덕분에 인터넷 혁명이 가능했고 지금의 IT 산업이 성장할 수 있었던 것이다. 하지만 AI로 인해 구리선은 한계에 도달하고 있다. 특히 그 한계는 GPU와 HBM 등이 장착된 서버 안에서 발생하고 있다.2

AI는 기존 IT 시스템과 달리 데이터를 끊임없이 읽고 쓰고 계산하며 연일 작동되며 엄청난 연산을 필요로 한다. 게다가 에이전트는 하나의 요청을 처리하기 위해 수십 번에서 많게는 수백 번에 이르는 내부 데이터 교환을 필요로 한다. 이 과정에서 병목은 GPU의 연산 능력이나 메모리의 속도, 전력의 공급이 아니라 데이터를 얼마나 빠르게, 효율적으로 이동시킬 수 있는가에 의해 결정되고 있다.

그런데, 기존의 전기 신호를 구리선으로 전송하는 것으로는 물리적 한계에 봉착할 수 밖에 없다. AI 연산 처리 속도가 높아질수록 구리선을 통해 이동하는 전기 신호가 잦아지면서 전력 소모는 기하급수적으로 증가하고 그 전력의 상당 부분은 열로 전환된다. 당연히 그 열을 식히기 위해서는 또 전기를 필요로 한다. 실제로 AI 데이터센터에서는 연산에 사용하는 전력만큼이나 냉각에 들어가는 전력이 중요해지고 있다. 국제에너지기구(IEA)와 McKinsey 등의 보고서에서도 데이터센터 전력 소비 중 냉각 비중이 빠르게 증가하고 있다는 점이 지적되고 있다.

또 다른 문제는 거리다. 전기신호를 실어 나르는 구리선은 신호 감쇠가 크기 때문에 거리가 길어질수록 신호 품질이 떨어지고 이를 보완하기 위해 중간 증폭 장치가 필요하다. 이는 비용 증가뿐 아니라 시스템 복잡도를 기하급수적으로 높인다. 결국 전기 신호가 구리선으로 이동하는 네트워크는 빠르게 보낼수록 더 뜨거워지고 더 비싸지고 더 복잡해지는 구조적 한계를 가진다. 이 한계를 돌파하기 위해 등장한 해답이 바로 빛, 즉 광통신이다.

사실 광통신은 새로운 기술이 아니다. 이미 글로벌 인터넷 트래픽의 95% 이상이 20년 전부터 해저 광케이블을 통해 전달되고 있다. 또한, 오디오를 전송하는 수단으로 광 케이블이 널리 사용되어왔다. 빛은 전기와 달리 거의 열을 발생시키지 않으며 장거리에서도 신호 손실이 매우 적다. 또한 동일한 물리적 공간에서 훨씬 더 많은 데이터를 동시에 전달할 수 있다. 그래서 인터넷의 backbone은 이미 오래전부터 광으로 전환되었다.

하지만 데이터센터 내부는 여전히 구리선을 통해 데이터가 전송되고 있다. 즉, 서버 내부의 칩 간 통신은 여전히 전기 신호에 의존해왔다. 짧은 거리에서는 전기가 더 저렴하고 구현이 간단했기 때문이다. 이 전제가 AI로 인해 깨지고 있다. AI 데이터센터에서는 수천 개, 많게는 수만 개의 GPU가 하나의 거대한 시스템처럼 연결된다. 이때 성능을 결정하는 요소는 더 이상 GPU나 HBM에 있지 않다. 얼마나 효율적으로 GPU와 메모리를 서로 연결해 데이터를 병목 없이 이동시키느냐가 핵심이 된다. 그 과정에 구리선보다 광 케이블의 효용 가치가 높아지는 것이다.

이미 데이터센터 간 연결이나 랙과 랙 그리고 서버간 연결은 대부분 광으로 전환되었다. 그런 광으로의 변화가 서버 내부 즉, 칩까지 깊숙하게 들어오고 있는 것이다. 이 흐름을 대표하는 기술이 실리콘 포토닉스와 CPO(Co-Packaged Optics)다. 엔비디아, Intel, Broadcom, TSMC 등 주요 반도체 기업들이 이 영역에 집중 투자하는 이유도 그 때문이다. 실제, 엔비디아는 2026년 3월2일 루멘텀, 코히어런트 그리고 3월31일 마벨 테크놀로지에 각각 20억달러를 투자했다. 이들 기업은 모두 빛으로 데이터를 전송하는 기술, 솔루션을 가지고 있는 기업들이다.

nVidia의 실리콘 포토닉스 네트워킹 스위치 (출처 : 엔비디아)

광 케이블 기술의 핵심은 전기 신호를 가능한 한 빠르게 빛으로 변환해 전송하자는 것이다. 이를 통해 전력 소비를 줄여서 발열을 낮출 수 있고 데이터 전송 속도를 획기적으로 개선할 수 있는 것이다. 단, 이같은 실리콘 포토닉스(광 케이블) 기술을 단순히 “더 빠른 네트워크 기술”로만 이해해서는 안 된다. AI 시대에서 포토닉스의 본질은 속도가 아니라 확장성이다. AI 모델은 점점 더 커지고 있고 이를 학습하고 운영하기 위해서는 더 많은 GPU를 하나의 시스템처럼 묶어야 한다. 전기 기반 연결로는 이 규모를 감당할 수 없다. 결국 포토닉스는 AI의 전력, 발열을 최소화하는 것을 넘어 더 많은 서버내 칩셋들의 집적 밀도를 높이는 과정에 공간을 최적화할 수 있는 기술로 주목받는 것이다.

이 변화는 비즈니스적으로도 매우 중요한 의미를 가진다. 과거 데이터센터 경쟁이 “누가 더 많은 서버를 보유하고 있는가”였다면 이제는 “누가 더 효율적으로 연결하고 더 낮은 전력으로 더 많은 데이터를 이동시키는가”로 바뀌고 있다고 해석할 수 있다. 이는 곧 AI 인프라의 경쟁력이 단순한 하드웨어 스펙이 아니라 네트워크 아키텍처와 물리적 설계 능력으로 이동하고 있음을 의미한다.

우리는 AI 모델과 생성형 AI와 Agent에만 집중하고 있지만 그 아래에서는 전혀 다른 차원의 혁신이 진행되고 있다. 구리선에서 빛으로의 전환은 CPU에서 GPU로, DRAM에서 HBM으로 전환한 것처럼 네트워크의 대전환이 본격화되고 있다는 것을 말해준다. 그간 인터넷 혁명은 컴퓨터나 스마트폰과 같은 하드웨어와 클라우드 기반의 솔루션과 소프트웨어, 서비스만으로 구현된 것은 아니다. 그 아래에 이를 지탱하는 네트워크 인프라가 있었기 때문이다. AI 혁명 역시 이처럼 네트워크의 혁신을 필요로 하고 있고 그 중심에 '빛의 혁명'이 있다.

❍ 리더들을 위한 '리더의 AI노트'

https://www.yes24.com/product/goods/192529089

❍ 신입사원과 온라인 게임인 그리고 대학생을 위한 '일의 기본기'

https://www.yes24.com/Product/Goods/169506685