AI의 다음 전쟁은 '손끝'에서 열린다

[방구석5분혁신=안병민] AI가 시를 쓰고 코드를 짜는 시대는 이미 열렸다. 다음 시험대는 손끝이다. 무슨 말이냐고? 삼각김밥을 찌그러뜨리지 않고 집을 수 있는가. 컵의 무게중심 변화를 손끝으로 느낄 수 있는가. 호텔 침구를 사람처럼 정리할 수 있는가. 편의점 진열대의 수천 개 상품을 망가뜨리지 않고 옮길 수 있는가. 피지컬 AI 경쟁의 본질은 이 질문에서 시작된다.

지금까지 AI는 주로 화면 안에서 일했다. 문장을 만들고, 이미지를 생성하고, 코드를 짜고, 보고서를 요약했다. 사람이 키보드로 지시하면 AI는 디지털 결과물을 내놓았다. 이제 무대가 바뀐다. AI가 화면 밖으로 나온다. 물건을 보고, 손으로 잡고, 옮기고, 조립하고, 정리하는 단계로 이동한다.

이 변화를 설명하는 말이 '피지컬 AI(Physical AI)'다. 피지컬 AI는 물리세계에서 직접 행동하는 AI다. 카메라와 센서로 주변을 본다. 사람의 언어 지시를 이해한다. 상황을 판단한다. 모터와 관절을 움직여 실제 작업을 수행한다. 기존 생성형 AI가 글과 이미지 안에서 움직였다면, 피지컬 AI는 공장, 물류센터, 편의점, 호텔, 가정 같은 실제 공간에서 움직인다.

언어 AI가 지식노동을 바꾸고 있다면, 피지컬 AI는 육체노동을 바꿀 가능성이 크다. 문서 작성, 검색, 기획, 코딩의 생산성을 높인 것이 대규모 언어모델(LLM)이었다면, 진열, 포장, 조립, 청소, 피킹, 정리 같은 현실 작업의 생산성을 바꾸는 것은 피지컬 AI다.

현재 피지컬 AI는 GPT-3 직전 단계로 평가된다. GPT-2 시절의 언어모델은 그저 흥미로운 장난감처럼 보였다. GPT-3와 GPT-4를 지나며 상황은 바뀌었다. 이제 기업과 개인 모두 LLM 없이 일하기 어려운 환경에 들어섰다. 피지컬 AI도 비슷한 전환점을 향해 가고 있다. 2028년부터 2030년 사이, 휴머노이드가 공장과 편의점, 리테일, 물류 현장에서 실제 일을 하는 장면이 본격적으로 나타날 가능성이 크다.

이런 변화는 화려한 휴머노이드 영상만으로 오지 않는다. 계단을 오르는 로봇, 춤추는 로봇, 뛰어다니는 로봇은 이미 대중의 눈을 사로잡았다. 산업 현장이 요구하는 것은 다르다. 로봇이 돈을 벌려면 사람처럼 손을 써야 한다. 물건을 망가뜨리지 않고 잡아야 한다. 실패하면 다시 시도해야 한다. 힘을 조절해야 한다. 도구를 써야 한다. 휴머노이드의 진짜 승부처는 다리가 아니다. 손끝이다.

Chapter 1. '말하는 AI' 다음은 '움직이는 AI'다

피지컬 AI를 이해하려면 기존 로봇과 무엇이 다른지부터 봐야 한다. 기존 로봇은 정해진 일을 잘했다. 자동차 공장에서 같은 부품을 같은 위치에 반복적으로 조립하는 일에 강했다. 물류센터에서 같은 형태의 박스를 정해진 동선으로 옮기는 일도 잘했다. 문제는 환경이 조금이라도 달라질 때 생겼다. 물건의 모양이 바뀌거나, 위치가 조금 틀어지거나, 처음 보는 제품이 나오면 다시 프로그래밍해야 했다.

사람은 다르다. 처음 보는 컵도 잡는다. 낯선 상자도 연다. 새로운 도구도 몇 번 만져보며 익힌다. 완벽한 설명서가 없어도 상황을 보고, 기억을 떠올리고, 손끝 감각을 조절한다. 피지컬 AI가 넘어서려는 장벽이 바로 이 지점이다. 정해진 동작을 반복하는 자동화가 아니라, 낯선 상황에 적응하는 행동 지능이다.

이때 필요한 것이 'RFM(Robotics Foundation Model·로보틱스 파운데이션 모델)'이다. 쉽게 말해 로봇의 두뇌다. 작업마다 일일이 명령어를 심는 방식이 아니다. 많은 데이터를 먼저 학습한 하나의 모델이 새로운 작업과 새로운 환경에 적응하는 방식이다. 사람으로 치면 한 가지 매뉴얼만 외운 작업자가 아니라, 여러 상황을 이해하고 응용할 수 있는 작업자에 가깝다.

AI의 진화 흐름도 이 방향을 보여준다. 처음에는 LLM이 있었다. 언어를 이해하고 문장을 만들어내는 모델이다. 그다음에는 이미지와 영상을 함께 이해하는 VLM 모델(Vision-Language Model·비전-언어 모델)이 등장했다. 사진을 보고 설명하고, 영상을 보고 상황을 파악하는 단계다. 여기에 행동이 붙으면 VLA(Vision-Language-Action·비전-언어-행동) 모델이 된다. 보고, 이해하고, 움직임을 예측하는 모델이다. RFM은 언어와 시각을 넘어 실제 행동까지 연결하는 범용 로봇 지능이다.

피지컬 AI 생태계는 크게 세 층으로 나뉜다. 첫째는 하드웨어다. 휴머노이드 몸체, 로봇팔, 로봇 손, 카메라, 촉각 센서, 힘 센서, 모터, 관절, 엣지 컴퓨팅 칩이 여기에 들어간다. 로봇이 실제로 움직이기 위한 몸과 감각기관이다.

둘째는 모델이다. 로봇이 무엇을 보고, 어떻게 이해하고, 어떤 행동을 할지 결정하는 두뇌다. RFM과 월드 모델(World Model)이 이 층에 해당한다. 월드 모델은 AI가 물리세계의 움직임과 결과를 미리 예측하도록 돕는 모델이다. 사람이 컵을 밀면 컵이 어떻게 움직일지 예상하듯, 로봇도 행동의 결과를 예측해야 한다.

셋째는 데이터와 시뮬레이션이다. 로봇이 배우려면 학습 재료가 필요하다. 사람이 실제로 일하는 영상, 원격조작으로 로봇을 움직인 기록, 가상공간에서 만든 작업 데이터, 현실 데이터를 바탕으로 확장한 합성 데이터가 모두 여기에 들어간다.

이 세 층은 따로 움직이지 않는다. 좋은 로봇 몸체가 있어도 두뇌가 약하면 현장에 들어가지 못한다. 좋은 모델이 있어도 현장 데이터가 부족하면 낯선 상황에서 멈춘다. 데이터가 많아도 손끝의 힘과 접촉을 제대로 읽지 못하면 물건을 떨어뜨린다. 피지컬 AI는 하드웨어, 모델, 데이터가 동시에 좋아져야 작동한다.

LLM 경쟁은 이미 오픈AI, 앤스로픽, 구글 같은 거대 기업 중심으로 재편됐다. 모델 구조 자체에서 풀어야 할 문제가 과거보다 줄었다. 반면 로봇은 아직 어렵다. 언어보다 복잡하고, 이미지보다 까다롭다. 현실의 물체는 예측하기 어렵다. 실패하면 문장이 틀리는 데 그치지 않는다. 물건이 깨지고, 설비가 멈추고, 사람이 다칠 수도 있다. 세계적 AI 인재들이 이 영역으로 이동하는 이유다.

피지컬 AI가 왜 어렵냐고? 현실은 디지털 파일처럼 얌전하지 않다. 같은 컵도 놓인 위치, 안에 든 물의 양, 손잡이 방향, 표면의 미끄러움에 따라 전혀 다른 대상이 된다. 같은 상자도 무게, 재질, 찌그러짐, 안에 든 물건에 따라 다르게 다뤄야 한다. 로봇에게 현실은 수많은 변수의 집합이다. 말하는 AI의 시대는 이미 열렸다. 움직이는 AI의 시대가 다가오고 있다.

Chapter 2. 휴머노이드의 병목은 다리가 아니라 손이다

휴머노이드 영상에서 대중이 먼저 보는 장면은 걷고 뛰는 모습이다. 계단을 오르고, 균형을 잡고, 공중제비를 도는 로봇의 모습은 강렬하다. 보스턴 다이내믹스가 지난 10년 동안 보여준 로봇 영상도 이 영역에 집중돼 있었다. 중국 기업들이 공개하는 휴머노이드 영상에도 마라톤, 계단 오르기, 댄스 장면이 자주 등장한다.

산업 현장에서 중요한 것은 다르다. 공장 작업자가 하루 종일 뛰어다니지는 않는다. 편의점 직원에게 필요한 능력은 달리기가 아니다. 물류센터 작업자에게 점프력이 중요한 것도 아니다. 실제 업무의 핵심은 손이다. 물건을 잡고, 돌리고, 밀고, 끼우고, 포장하고, 진열하고, 도구를 쓰는 능력이다.

이 지점에서 등장한 키워드가 '덱스터리티(Dexterity·손끝 조작 능력)'다. 이동 능력은 빠르게 발전하고 있다. 남은 병목은 손끝의 정교함이다. 기존 자동화가 아직 풀지 못한 일의 상당 부분은 손작업 영역에 남아 있다. 모양이 일정한 상자나 플라스틱 박스는 단순 집게형 그리퍼로도 집을 수 있다. 문제는 현실의 물체가 그렇게 단순하지 않다는 점이다.

산업 현장에는 회전시켜야 하는 부품이 있다. 눌리면 안 되는 식품이 있다. 표면이 미끄러운 제품이 있다. 포장을 뜯어야 하는 상품이 있다. 좁은 틈에 끼워 넣어야 하는 부품도 있다. 전동드릴처럼 손가락으로 감싸 쥐고 작동해야 하는 도구도 있다. 이런 작업은 2개 손가락짜리 집게로 해결하기 어렵다.

그래서 5지 핸드가 중요하다. 사람 손에 가까운 다섯 손가락 로봇 손은 단순히 물건을 집는 장치가 아니다. 손가락마다 관절이 있고, 여러 방향으로 움직일 수 있어야 한다. 손가락과 관절이 움직일 수 있는 방향과 범위가 넓을수록 로봇은 더 다양한 방식으로 물체를 다룰 수 있다. 사람 손에 가까운 로봇 손은 물체를 단순히 위아래로 집지 않는다. 감싸 쥔다. 비튼다. 받친다. 민다. 누른다.

예컨대, 마우스를 손에 든 상태에서 새끼손가락으로 박스를 여는 일은 단순한 집게로는 어렵다. 베어링을 정밀하게 다루거나 전동드릴을 잡고 조작하는 일도 손가락 관절을 세밀하게 움직여야 가능하다. 삼각김밥을 집을 때는 세게 잡으면 형태가 부서진다. 바나나는 물러지지 않게 잡아야 한다. 도시락 뚜껑은 눌리면 안 된다. 유리병은 미끄러지면 깨진다. 이런 작업은 모두 손끝의 문제다.

눈으로 보는 것만으로도 부족하다. 사람이 컵을 잡을 때 눈만 쓰지 않는다. 손끝의 압력, 컵의 무게, 액체의 흔들림, 무게중심의 변화를 함께 느낀다. 물을 마시다 보면 컵 안의 물이 줄어든다. 그러면 컵의 무게중심이 달라진다. 처음에는 다섯 손가락에 비슷한 힘을 줬더라도, 시간이 지나면 특정 손가락에 더 힘을 줘야 한다. 이런 정보는 카메라 영상만으로 충분히 알기 어렵다.

피지컬 AI의 다음 경쟁은 세 가지 능력에 달려 있다.

첫째, 움직임을 시간의 흐름 속에서 이해해야 한다. 정지된 사진 한 장이 아니라, 물체가 어떻게 움직이고 변하는지 봐야 한다. 컵이 흔들리는지, 천이 접히는지, 상자가 밀리는지, 병이 기울어지는지 알아야 한다.

둘째, 과거 맥락을 기억해야 한다. 조금 전 어떤 행동을 했고, 어떤 실패가 있었는지 알아야 다음 행동을 정할 수 있다. 로봇이 물건을 한 번 놓쳤다면 같은 방식으로 다시 잡아서는 안 된다. 실패도 기억해야 한다.

셋째, 손끝의 감각을 읽어야 한다. 촉각, 힘, 압력, 접촉 정보를 모델이 함께 처리해야 한다. 로봇이 손끝으로 느끼지 못하면 현실을 제대로 다룰 수 없다.

핵심은 로봇의 화려한 보행이 아니다. 로봇의 손이다. 달리는 로봇은 사람의 눈길을 끈다. 그러나 일하는 로봇은 손끝에서 완성된다.

Chapter 3. 인터넷에 없는 데이터, 숙련자의 손끝에 있다

피지컬 AI의 또 다른 병목은 데이터다. 대규모 언어모델은 인터넷 덕을 크게 봤다. 전 세계의 바카라, 뉴스, 웹문서, 코드, 영상 설명이 이미 디지털 데이터로 존재했다. AI가 배울 재료가 많았다. 로봇은 상황이 다르다. 유튜브에는 사람이 요리하고, 뛰고, 권투하고, 청소하는 영상이 많다. 그러나 그것만으로 물류센터 안에서 물건을 집고 분류하는 법을 제대로 배울 수는 없다.

현장은 훨씬 복잡하다. 편의점 하나에 수천 개 상품이 있을 수 있다. 컵라면, 삼각김밥, 바나나, 도시락, 유리병, 과자봉지, 플라스틱 용기는 모두 다르게 다뤄야 한다. 어떤 물건은 세게 잡아도 된다. 어떤 물건은 조금만 눌러도 찌그러진다. 어떤 물건은 미끄럽고, 어떤 물건은 잘 찢어진다. 어떤 물건은 겉으로는 단단해 보여도 안쪽은 약하다. 이런 데이터는 인터넷에 거의 없다. 현장에 있다. 숙련자가 손으로 일하는 과정 속에 있다.