5대 IT 컨퍼런스가 말하는 것

AI는 서버에서 내려와 PC·스마트폰·스마트글래스 속 Agent가 되고 있다

올해 상반기 주요 IT 컨퍼런스의 공통 키워드는 명확했다. 1월 CES, 3월 엔비디아 GTC, 5월 Google I/O, 6월 COMPUTEX와 애플 WWDC가 서로 다른 장소에서 열렸지만 이들이 가리킨 방향은 하나였다. AI는 더 이상 데이터센터 안에만 머무르지 않는다는 것이다. PC와 스마트폰, 스마트글래스, 자동차, 로봇, 공장 장비 안으로 AI가 들어가고 있다. 즉, 2026년 AI 플랫폼은 “ON-DEVICE AI”로의 전환으로 PC와 스마트폰이 새로운 AI 플랫폼이 되고, AI는 서버가 아니라 사용자의 손 위로 이동하고 있다는 것을 말한다. 지난 2년간 AI 경쟁의 중심은 누가 더 큰 모델을 만들고, 누가 더 많은 GPU를 확보하며, 누가 더 큰 데이터센터를 짓느냐였다. 그러나 2026년 상반기 컨퍼런스들은 "그렇게 만든 AI를 사용자가 실제로 어디에서 쓰게 할 것인가?"를 물었다.

그 답은 온디바이스 AI다.

AI는 클라우드에서 학습하지만 실제 작동은 사용자 바로 옆의 PC나 스마트폰에서 이루어진다.

CES 2026은 이같은 변화의 출발점을 보여줬다. 올해 CES에서 주목할 점은 AI가 더 이상 앱이나 챗봇이 아니라 제품의 기본 기능으로 들어갔다는 점이다. 레노버는 CES에서 PC, 스마트폰, 태블릿, 웨어러블을 넘나드는 개인 AI 에이전트 Qira를 발표했다. Qira는 사용자의 허락 아래 여러 기기와 앱, 서비스를 넘나들며 사용자의 맥락을 이해하고 행동을 조율하는 개인 AI 시스템이다. 즉 CES가 보여준 것은 “AI가 탑재된 제품”이 아니라 “Agent가 상주하는 기기”의 시대를 예고했다. 스마트글래스도 같은 흐름이다. 스마트글래스는 단순 디스플레이가 아니라 카메라, 마이크, 위치정보, 시선, 음성을 통해 사용자의 현실 맥락을 수집하는 장치다. Reuters는 CES 2026에서 시각장애인을 돕는 AI 안경이 소개되고, 여러 제조사는 실시간 번역과 이미지 인식, 음성 비서를 탑재한 안경을 전면에 내세웠다고 말했다. 이 흐름은 온디바이스 AI가 왜 중요한지 보여준다. 사용자의 눈앞에서 벌어지는 일을 즉시 이해하려면 모든 영상을 클라우드로 보내고 기다릴 수 없기 때문이다.

3월 엔비디아 GTC는 이 흐름을 인프라와 반도체 관점에서 정리한 행사였다. 엔비디아는 AI 생애주기의 모든 계층을 다루겠다고 강조했다. 젠슨 황은 CUDA 20주년을 언급하며 AI 생태계의 모든 단계가 가속 컴퓨팅 위에서 움직인다고 설명했다. 이는 엔비디아가 더 이상 데이터센터 GPU 회사에 머물지 않겠다는 점을 말해준다. 즉, “윈텔의 시대가 저물고 윈비디아로 대전환”되는 윈도우용 AI PC를 소개하며 생성형 AI 인프라, Agentic AI OS, 피지컬 AI 실행까지 풀스택을 구축하겠다는 엔비디아의 야심을 보여준 행사다. 이 변화의 상징이 RTX Spark와 DGX Spark다. 엔비디아는 COMPUTEX를 앞두고 마이크로소프트와 함께 Windows PC를 개인 AI 에이전트 시대의 컴퓨터로 재정의하겠다고 발표했다. RTX Spark는 최대 1페타플롭 AI 성능과 128GB 통합 메모리를 갖춘 개인 AI 에이전트용 윈도우 PC 플랫폼으로 소개됐다. DGX Spark 역시 128GB 통합 메모리로 최대 200B 파라미터 모델 추론과 70B 파라미터 모델 미세조정을 로컬에서 수행할 수 있도록 설계됐다. 이는 PC가 더 이상 문서 작성 도구가 아니라 내 바카라상 위에서 AI 모델을 실행하고 에이전트를 구동하는 작은 AI 워크스테이션으로 바뀐다는 뜻이다.

5월 Google I/O에서는 Gemini 3.5 Flash를 발표하며 “frontier intelligence with action”이라는 표현을 썼다. 단순히 더 똑똑한 답변을 주는 모델이 아니라 실제 행동을 수행하는 에이전트에 맞춘 모델이라는 뜻이다. 또한 Gemini Spark를 Workspace와 Gemini Enterprise 고객을 위한 24시간 개인 AI 에이전트로 소개했다. 구글의 전략에서 더 중요한 것은 Gemini가 Android, Chrome, Workspace, YouTube, Android XR로 구글의 전 서비스로 Agent가 스며든다는 점이다. 이를 “기기를 넘나드는 Agent, Gemini Intelligence”라고 말한다. 구글의 목표는 스마트폰 OS는 Android지만 AI OS는 Gemini Intelligence가 되는 구조다. 사용자가 앱을 하나씩 열어 메뉴를 찾는 시대에서 AI가 사용자의 미완성 입력과 행동 맥락을 이해해 Task를 대신 처리하는 시대로 이동한다는 뜻이다. 미래 에이전트의 경쟁력은 사람의 프롬프트를 넘어 사람의 모든 행동을 이해하는 데서 시작된다는 것이다. 또, 눈여겨볼 또 하나의 장면은 Android XR이다. 구글은 Android XR의 다음 큰 이정표가 지능형 안경이라고 밝혔다. 첫 번째 오디오 안경은 Gentle Monster, Warby Parker, Samsung과 협력해 올가을 출시될 예정이며 Android와 iOS 모두와 호환된다고 설명했다. 이는 스마트글래스가 더 이상 먼 미래의 기기가 아니라 하반기부터 실제 소비자 시장에 들어올 제품군이라는 뜻이다.

6월 COMPUTEX는 반도체와 PC 제조 생태계가 이 변화에 어떻게 반응하는지를 보여준 행사였다. COMPUTEX 2026의 공식 주제는 “AI Together”였고 주요 테마는 AI & Computing, Robotics & Mobility, Next-Gen Tech였다. 즉 대만의 PC·반도체 전시회도 더 이상 노트북 신제품 전시장이 아니라 AI 컴퓨팅과 피지컬 AI의 공급망 전시장으로 바뀌었다. 즉 이 행사의 핵심 메시지는 “AI PC가 내 맥락을 이해하는 Agent 단말로 진화한다”이다. NVIDIA, Qualcomm, Intel, AMD, MediaTek이 모두 로컬 AI 반도체 경쟁에 뛰어들었고 AI PC는 Agent Computer 또는 Personal AI Device로 확장되는 것을 말해준다. MediaTek도 엔비디아와 함께 Windows PC용 RTX Spark를 제공한다고 밝혔다. 즉 스마트폰, 크롬북, 윈도우 PC, 엣지 기기까지 모두 로컬 AI 실행을 전제로 재설계되고 있다는 점에 주목해야 한다.

6월 WWDC는 애플식 온디바이스 AI 전략을 보여줬다. 사실 이미 2024년에 그런 전략을 발표했지만 실행하지 못했는데 이번에 구글과의 전략적 제휴 즉 제미나이를 받아들임으로써 본격적으로 2026년 하반기에 온디바이스 AI로 시장 공략을 하겠다고 밝힌 것이다. 이를 위해 애플은 Siri AI와 차세대 Apple Intelligence를 발표하며 새로운 약 1.2조 파라미터의 Apple Foundation Models가 온디바이스와 Private Cloud Compute 양쪽에서 실행된다고 밝혔다. 애플은 Google의 Gemini 모델 기술과 협력해 새로운 모델을 구축했지만, 사용자의 개인정보 보호를 위해 가능한 작업은 30억 파라미터 모델로 기기 안에서 처리하고 더 어려운 요청은 Private Cloud Compute로 보낸다고 설명했다. 쉬운 작업과 민감한 작업은 단말에서 먼저 처리하고 어려운 추론은 Private Cloud Compute나 외부 모델로 라우팅한다. 즉, 애플은 Siri를 개인 Agent의 관문으로 만드는 것을 목표로 한 것이다. 사용자는 앱을 찾아 실행하지 않고 Siri에게 요청하고 Siri는 App Intents를 통해 앱 안의 기능을 호출한다. 이 순간 앱 경제의 권력은 앱 아이콘에서 OS Agent로 이동하게 된다. 애플의 전략은 온디바이스 AI가 왜 하드웨어 교체 수요를 만들 수 있는지도 보여준다. 이같은 새 Siri AI는 고성능 온디바이스 처리를 요구하기 때문에 아이폰 교체의 새로운 명분이 되는 것이다. 과거에는 카메라와 화면, 배터리가 스마트폰 교체를 이끌었다면 앞으로는 로컬 AI 모델을 돌릴 수 있는 메모리와 NPU, 보안 구조가 교체 이유가 되는 것이다.

이 다섯 행사가 공통으로 말한 것은 클라우드 AI의 종말을 의미하는 것은 아니다. 오히려 반대다. 클라우드는 더 중요해진다. 거대한 모델 학습, 고난도 추론, 대규모 에이전트 실행은 여전히 데이터센터가 맡는다. 하지만 모든 AI 요청을 클라우드로 보내는 방식은 지속 가능하지 않다. 비용이 크고, 지연시간이 길며, 개인정보와 기업 데이터가 외부로 이동한다. 따라서 하반기의 AI 시장은 클라우드 대 온디바이스의 대결이 아니라 클라우드·엣지·디바이스가 역할을 나눠 갖는 하이브리드 AI로 재편될 것이다.

결국 하반기 변화는 세 가지로 나타날 가능성이 크다.

첫째, AI PC 교체 수요가 본격화된다. 기업은 단순히 윈도우 업그레이드를 위해 PC를 바꾸는 것이 아니라 문서 요약, 회의록, 코드 보조, 로컬 RAG, 보안형 에이전트 실행을 위해 AI PC를 검토하게 된다.

둘째, 스마트폰은 Agent의 관문이 된다. Siri, Gemini, Galaxy AI는 더 이상 음성비서가 아니라 앱 실행권을 가진 개인 업무 조정자로 진화한다.

셋째, 스마트글래스는 가장 중요한 컨텍스트 수집 장치가 된다. 사용자가 무엇을 보고, 어디에 있으며, 어떤 물건을 만지고, 무엇을 하려는지를 AI가 알게 되는 순간 Agent의 수준은 달라진다.

기업 경영진과 IT 바카라임자가 봐야 할 지점도 분명하다. 앞으로 AI 전략은 “어떤 LLM을 쓸 것인가”에서 끝나지 않는다. 직원의 PC에서 어떤 로컬 모델을 돌릴 것인가, 민감 데이터는 어디까지 단말에서 처리할 것인가, 어떤 요청은 엣지나 AI-RAN으로 보내고 어떤 요청은 클라우드로 보낼 것인가, 사내 앱은 Agent가 호출할 수 있도록 API와 권한 구조를 갖추고 있는가를 따져야 한다. AI 도입의 본질은 챗봇 배포가 아니라 Agent의 실행을 어디에서 하도록 할 것인가를 정하는 것이다.

개발자와 서비스 기업에도 숙제가 생긴다. 사용자가 앱을 직접 열지 않고 Agent에게 “지난주 출장비 정리해줘”, “이 고객에게 보낼 견적 초안 만들어줘”, “이 사진 속 제품을 주문해줘”라고 말하는 시대가 오면 앱은 화면보다 기능 호출 인터페이스가 중요해진다. 애플의 App Intents, 구글의 Antigravity와 Managed Agents, 엔비디아의 로컬 에이전트 런타임은 모두 새로운 패러다임의 대전환을 예고한다. 반도체 산업도 바뀐다. 온디바이스 AI 시대에는 CPU 하나로 경쟁하지 않는다. NPU, GPU, 메모리 대역폭, 통합 메모리, 전력 효율, 보안 칩, 모델 런타임이 한 묶음으로 경쟁한다. PC에서는 인텔·AMD·퀄컴·엔비디아·미디어텍이 충돌하고 스마트폰에서는 애플·퀄컴·미디어텍·삼성의 NPU 경쟁이 심화된다. 물론 이 과정에 메모리 역시 더 중요해진다. 작은 모델은 8GB로도 가능하지만 진짜 개인 Agent와 멀티모달 로컬 추론은 더 큰 메모리와 더 빠른 대역폭을 요구한다. HBM이 데이터센터를 먹여 살린다면 고용량 LPDDR과 온디바이스 메모리는 AI 단말기 덕분에 더 큰 시장을 만들 것이다.

한국 기업에는 기회와 위기가 공존한다. 메모리, OLED, 카메라 모듈, 스마트폰, 가전, 자동차, 로봇, 통신망을 모두 가진 나라는 많지 않다. 온디바이스 AI는 한국 제조업의 강점과 잘 맞는다. 하지만 플랫폼 주도권은 구글, 애플, 엔비디아, 마이크로소프트가 쥐고 있다. 한국 기업이 단말과 부품만 공급하고 Agent OS와 런타임, 앱 실행권을 외국 플랫폼에 내주면 부가가치는 제한된다. 스마트폰 OS는 Android와 iOS가 나눴지만 AI OS까지 그대로 내줄 것인지는 다른 문제다.

AI는 이제 서버 안의 모델이 아니라 사용자 옆에서 보고, 듣고, 이해하고, 실행하는 Agent가 될 것이다. CES는 이를 AI를 탑재한 제품으로 보여줬고, GTC는 달라진 AI 인프라와 풀스택으로 설명했으며, Google I/O는 Agent 서비스와 플랫폼으로 증명했고, COMPUTEX는 AI PC로 구체화했으며, WWDC는 Siri와 Apple Intelligence로 정리했다. 하반기의 AI 시장은 더 큰 모델 경쟁만으로 설명되지 않는다. 누가 사용자의 맥락을 더 잘 잡고, 누가 단말·엣지·클라우드를 더 자연스럽게 연결하며, 누가 Agent에게 실제 실행권을 줄 수 있느냐의 경쟁이 된다. 그렇게 AI는 노트북 키보드 위에, 스마트폰 카메라 안에, 스마트글래스 렌즈 앞에 그리고 자동차와 공장 설비 속에 스며들어갈 것이다. 생성형 AI의 첫 번째 전쟁이 모델과 GPU의 전쟁이었다면 두 번째 전쟁은 사용자의 손안과 눈앞을 차지하는 전쟁이다. 2026년 상반기 컨퍼런스들은 그 전쟁의 개막을 알렸다. 하반기부터 시장은 묻게 될 것이다.

당신의 제품과 서비스는 "Agent가 호출할 수 있는가. 당신의 PC와 스마트폰은 사용자의 맥락을 이해할 수 있는가. 당신의 기업 데이터는 단말과 클라우드 사이에서 안전하게 흘러갈 수 있는가."

이 질문에 답하는 기업이 온디바이스 AI 시대의 다음 승자가 될 것이다.

곧 출간됩니다.