웹캠 앞에서 손을 흔들자, 악기가 됐다

악기를 연주하려면 무엇이 필요할까. 피아노라면 건반이 필요하고, 기타라면 줄이 필요하다. 전자음악으로 넘어오면 MIDI 키보드나 컨트롤러가 등장한다. 그런데 이제 그 전제 자체가 조금씩 흔들리고 있다. 화면 앞에서 손을 움직이는 것만으로 음높이와 음량을 바꾸는 웹 애플리케이션이 등장했기 때문이다.

Air Theremin은 별도의 프로그램을 설치하지 않아도 브라우저에서 실행되는 가상 악기다. 노트북이나 스마트폰 카메라 앞에서 양손을 움직이면 소리가 변한다. 두 손 사이를 벌리면 음량이 커지고, 손을 위로 올리면 음높이가 올라간다. 손바닥을 모으면 소리는 꺼진다.

흥미로운 점은 이것이 단순한 ‘웹 장난감’의 문법을 넘어선다는 데 있다. 몸을 뒤로 기울이면 음색이 어두워지고 공간감이 커지며, 두 손을 시소처럼 기울이면 비브라토를 만들 수 있다. 스마트폰에서는 자이로 센서를 이용해 좌우 기울기로 음량을, 앞뒤 기울기로 음높이를 바꾼다. 카메라나 동작 센서를 쓰지 않아도 마우스로 조작할 수 있다.

여기서 중요한 것은 테레민이라는 악기 자체가 아니다.

더 중요한 변화는 입력장치가 소프트웨어 안으로 흡수되고 있다는 점이다.

지금까지 디지털 도구는 새로운 기능이 생길 때마다 새로운 버튼, 메뉴, 단축키, 장비를 요구했다. 그러나 카메라와 센서가 이미 노트북과 스마트폰에 탑재돼 있다면, 새로운 인터페이스를 추가하는 대신 이미 존재하는 센서를 새로운 방식으로 해석할 수 있다.

Air Theremin은 이 변화를 아주 작은 규모로 보여준다. Pavel Gurov가 만든 이 프로젝트는 기존 웹 기반 가상 테레민인 theremin.site를 토대로 만들어졌다. 그 기반 프로젝트는 Bolt.new AI를 이용해 단일 프롬프트로 제작된 앱이라고 소개돼 있다.

즉, 여기에는 두 가지 변화가 겹친다. 하나는 사람이 컴퓨터를 조작하는 방식의 변화이고, 다른 하나는 이런 도구를 만드는 방식의 변화다.

앞으로 개인이나 창작자가 봐야 할 것은 “이 앱이 성공할까”가 아니다. 더 중요한 질문은 내가 하고 있는 일에서도 기존 장비·메뉴·조작 방식을 없앨 수 있는가, 그리고 AI를 이용해 그 실험 비용을 얼마나 줄일 수 있는가다.

이 질문에 답하려면 신기한 기술을 보는 것만으로는 부족하다. 무엇이 실제 가치가 있고 무엇이 단순한 데모에 그치는지 구분하는 기준이 필요하다. 그리고 그 기준은 생각보다 단순하다.

손이 아니라 ‘입력’을 봐야 한다

Air Theremin을 손동작 인식 기술로만 보면 활용 범위가 음악에 갇힌다. 하지만 구조를 뜯어보면 이야기가 달라진다.

사용자의 행동이 있다. 카메라나 센서가 그 행동을 받아들인다. 소프트웨어가 행동을 특정 값으로 변환한다. 그리고 그 값이 소리라는 결과를 바꾼다.

손 사이의 거리는 음량이 되고, 손의 높이는 음높이가 된다. 스마트폰에서는 좌우 기울기가 음량으로, 앞뒤 기울기가 음높이로 대응된다.

이 구조는 음악에만 적용되는 것이 아니다.

행동 → 센서 → 해석 → 결과

이 네 단계가 존재하는 거의 모든 작업은 새로운 인터페이스 후보가 될 수 있다.

첫 번째 판단 기준, 조작 비용

새로운 기술을 볼 때 가장 먼저 물어야 할 질문은 “멋있는가”가 아니라 “기존 조작을 줄이는가”다.

예를 들어 기존 작업에서 사용자가 메뉴를 여러 번 열고 값을 조정해야 한다고 하자. 만약 카메라, 마우스 움직임, 기울기 같은 입력을 이용해 그 과정을 즉시 실행할 수 있다면 인터페이스는 단순해진다.

반대로 손동작을 사용하기 위해 복잡한 자세를 외워야 하고 정확한 위치를 계속 유지해야 한다면 기술적으로 흥미롭더라도 생산성은 떨어질 수 있다.

따라서 새로운 인터페이스를 판단할 때는 다음 세 가지를 본다.

기존 조작보다 빠른가.

사용자가 배워야 하는 규칙이 적은가.

실수했을 때 다시 원래 상태로 돌아오기 쉬운가.

Air Theremin의 손바닥을 모으면 소리가 꺼지는 방식은 이 관점에서 흥미롭다. 명령을 별도 버튼에 배치하지 않고 자연스러운 동작 하나에 연결했기 때문이다.

두 번째 판단 기준, 즉각적 피드백

몸을 움직이는 인터페이스는 결과가 늦게 나타날수록 사용하기 어려워진다.

손을 올렸는데 음이 올라가는지 몇 초 뒤에 알 수 있다면 악기로 사용하기 어렵다. 사용자의 행동과 결과가 하나의 감각적 흐름처럼 연결돼야 한다.

그래서 새로운 AI 인터페이스를 평가할 때 정확도만 보는 것은 위험하다.

중요한 것은 사용자가 “내가 지금 무엇을 했고 시스템이 어떻게 반응했는지” 즉시 이해할 수 있는가다.

이 원리는 이미지 생성, 영상 편집, 업무 자동화에서도 동일하다. 사용자가 작은 입력을 했을 때 결과를 빠르게 확인할 수 있는 구조가 반복 사용 가능성을 높인다.