영화평론가의 AI 영화감독 데뷔기
세 번째 프롬프트. [이게 영화가 될 수 있을까?]
나는 영화평론가다. 아직 이 말을 자신 있게 하기엔 수련이 더 필요하다고 생각되지만 그렇다고 일단 정의는 해두자. 현재 내가 하는 일의 상당 부분은 영화를 공부하고 완성된 영화를 보고서 의미를 도출하거나 그 조립과정을 들여다보고 일련의 평을 다는 일이다. 그러니까 그런 일을 반복하면 나름의 평가 기준 같은 것도 생기기 마련이다.
문제는 내가 영화를 만든다고 했을 때 그 평가 기준이 나를 향한다는 것이다. 뭣 모르고 패기만 가지고 영화를 찍겠다고 무모하게 시도하던 청년 시절과 달리 지금의 나는 업보가 많다. 영화를 뭐 이렇게 만들었냐, 저건 이래서 별로다, 이건 엉망진창이다 같은 소리를 한두 번 했던가. 과거에 뱉은 말이 발목에 엉겨붙어 이러지도 저러지도 못하게 하는 경우도 있긴 하겠지만 무엇보다 영화를 보는 심미안을 이제 청년기의 나와 비교할 수는 없다. 내가 타인의 영화를 깐깐하게 보는 만큼 나 역시도 내가 영화를 만든다면 그 기준을 깐깐하게 잡을 수밖에 없다.
영화평론가가 영화 제작에 뛰어든다는 것은 영화를 어느 정도 알고 시작할 수 있다는 장점이 있는 반면에 그만큼 스스로 제약을 걸 확률이 높다는 단점도 가진다. 물론 그 단점은 극복되면 장점이 되겠지만 자칫 잘못하면 내가 나를 꺾을 위험도 있다. <귀멸의 칼날 : 무한열차 편>(2021)에서 주가 되었음에도 해의 호흡이라는 경지에 사로잡혀 평생을 폐인으로 지낸 렌고쿠의 아버지처럼 말이다. 그러니까 영화평론가의 시선에서 영화를 다시 만들어 보겠다고 뛰어드는 것은 흡사 팔라리스의 황소를 만드는 것 같은 느낌도 들었다. 죄인을 처형하는 팔라리스의 황소를 만든 페릴라우스는 폭군에 의해 가장 먼저 그 자신이 만든 황소에 던져져 기괴한 울음소리를 내며 사라졌다고 한다.
그러나 AI 영상 제작이 막 화두가 되던 시절(시절이라고 해봐야 불과 1~2년 전이지만)엔 그런 걱정들을 크게 할 필요는 없었다. 영화평론가가 아니라고 해도 그 당시의 AI 영상 모델들이 내놓는 영상 수준이 어느 정도인지 분별하기는 어렵지 않다. 당시 영상 모델들이 내놓는 AI 영상은 정말로 한심한 수준이었기 때문이다. 소소하게 ‘우와 AI가 이런 것도 가능하구나’라고 생각할 정도라면 모르겠지만 그 도구들을 활용해서 진지하게 무엇인가를 만들어 보겠다는 건 정말로 무리였다. ChatGPT가 보여준 할루시네이션 문제가 영상 모델에서도 문제였었고, 초기 AI 이미지 및 비디오 도구들은 사람의 손발을 기괴한 나뭇가지처럼 묘사하거나 인체의 비율을 정확하게 구현하지도 못했다. 얼굴도 대부분 어딘가 뭉개진 형태였고 특히 영상에서는 그 문제가 너무 도드라졌다. 세계 최초의 AI 영화제가 열렸다거나, AI 그림이 대회에서 입상했다던가 하는 뉴스는 나오지만 실용성이 있는지는 의문이었던 것이다.
AI 영화의 시작은 분명 실제 영화 역사와는 그 결이 다르긴 했다. 뤼미에르 형제가 시네마토그래프를 작은 카페에 놓고 그 유명한 <열차의 도착>(1895)을 상영했을 때 관객들은 진짜 기차가 오는 줄 알고 혼비백산했다고 한다. 하지만 현시대의 우리가 AI 영상을 처음 마주하고 의자에서 펄쩍 뛰어오를 수는 없다. <어벤져스>와 <아바타>를 보던 사람이 손발이 뭉개지는 괴상한 영상을 보고 감탄할 리는 없잖는가. 이미 너무 좋은 레퍼런스가 많아서 경쟁의 영역에 두는 것 자체가 난센스다.
다만 AI 영화가 기묘하게 영화의 역사를 닮은 것 역시 사실이며, 그 뒤를 따르고 있다는 점은 부인할 수 없었다. 영화도 초창기 발전 시기에는 그림 몇 장을 붙여놓고 회전하는 원판에 놓고 돌려보거나 연속 사진을 놓는 것 정도에 불과했다. 오스트리아 기하학 교수 사이먼 스탬퍼는 1832년에 페나키스토스코프라는 장치를 발명했는데, 연속 그림이 있는 원판이나 드럼을 작은 구멍으로 보게 하는 장치였고 줄넘기 같은 운동을 루프 형태로 반복해서 보는 형식이었다.
요즘엔 한 번 시도에 30초까지 영상을 뽑아낼 수 있는 모델이 있지만 2년 전의 AI 영상은 5초 이내의 영상으로 이미지 몇 장을 돌려보는 페나키스토스코프에 불과했으며 Image to Video는커녕 한 장의 이미지를 그럴싸하게 구현하는 것도 문제였다. 그래서 초기에는 이걸로 영화를 만든다는 생각은 전혀 하지 않았고, 그나마 미드저니나 스테이블 디퓨전과 같은 이미지 생성 툴을 활용해 콘텐츠에 필요한 이미지를 얻는게 고작이었다. 이 무렵에는 사실상 영상은 거의 손도 대지 않고 이미지 생성에 집중했다.
그런데 이 시기에 이미지를 생성하면서 불거진 문제점들과 불만들은 훗날 영상을 만드는데 꽤 도움이 되었다. 왜냐하면 사람이 그럴싸하게 받아들일 수 있는 요소가 생각보다 하찮은 부분에 집중되고 있었기 때문이다. 너무 당연하고 익숙해서 안 되는 게 이상하게 보이는 일들. 인물은 왜 시키는 대로 쳐다보지 않고, 인체 비율은 왜 부정확하며, 또한 간판의 글자는 왜 엉망진창이고 배경인 사람들은 서로 뒤얽혀 덩어리처럼 뭉쳐 있는가. 그 말은 조금만 다듬으면 그럴싸하게 보일 만큼, 가랑비에 옷 젖듯이 이미지 모델이 조금씩 성장했다는 말이기도 했다.
영화사 초기에 관객들은 팬덤 라이드라고 불리던, 레일을 달리는 기차 위를 필름에 담기만 해도 좋아했다. 그러나 시네마토그라프가 보급되어 필름으로 짧은 영상을 만들 수 있게 되자 비평가가 생겨났고 인물의 인과관계를 따지기 시작했다. AI는 바로 그 시점에 도달하고 있었다.
만약 실망감만 지속됐다면 이 이야기를 처음부터 쓰지도 않았을 것이다. 반전이 시작된 건 내가 한창 영화평론가의 삶에 회의를 느낄 무렵인 2025년 초부터였다. OpenAI에서 Sora, Kling과 Luma의 Dream machine 등이 AI 영상의 가능성을 발굴하는 과정에 있었다면 구글 Veo 2의 출시부터는 제법 쓸만한 영상을 만들 수 있는 것처럼 보였다. 본격적으로 이미지를 영상의 레퍼런스로 삽입해 의도를 주입한 영상을 만들 수 있게 되었고, 당시 기준으로는 꽤 긴, 한 클립에 8초 영상도 가능했다. AI 영상을 엮어 어떤 스토리를 기획한다는 생각을 처음 했던 게 이 시기였다. 비록 일반 영화에 견줄 수 없는 수준이지만 도구들의 발전 속도가 예상을 상회했다.
그럼 영화를 한번 만들어 보자.
그런데 어떻게? 앞서 말했듯이 영화를 보는 것과, 영화를 계획하는 것과, 실제로 만드는 것은 엄청나게 다르다. Veo 2가 손발조차 제대로 그려내지 못했던 이전 모델에 비한다면 장족의 발전을 이루었다고 할 수 있었지만 가장 기본적인 것들은 여전히 부족했다. 다른 건 둘째치고, 그 시기 모든 AI 영상 모델들이 겪고 있던 일관성 문제는 너무나 큰 장벽이었다.
일관성 문제도 그 종류가 다양한데, 역시 가장 큰 것은 역시 배우의 문제였다. 당연히 영상 모델 안에서 배우를 동일한 모습으로 나타내는 건 불가능했고, 시작 프레임에 넣을 이미지에 배우를 통일하려고 해도 그 또한 무리였다. 이 문제를 회피하려고 초기 AI 영화제에 출품된 작품들은 동물이 주인공인 우화 형식을 차용하거나, 플래시백 형식의 회상으로 다른 인물이 등장하더라도 어색하지 않게끔 내러티브 장치를 활용했다. 가상의 캐릭터에 비교적 쉽게 일관성을 부여할 수 있는 애니메이션 장르는 AI 영화제 초기부터 꾸준한 단골이었다. 그도 아니라면 고전적인 방식으로 애프터 이펙트나 포토샵 등을 활용해 반강제로 일관성을 유지하는 전문 제작 팀들의 사례도 왕왕 눈에 띄었다.
두 번째는 지형지물과 배경에 관한 것이다. 인물도 일관성을 유지하기 어렵지만 주변 환경을 일관성 있게 유지하는 것도 매우 힘들다. 일반 영화에서도 컨티뉴이티를 유지하는 건 꽤 까다로운 작업이긴 하다. 그러나 AI 영상은 불과 몇 초 전에 인물의 옆에 놓여 있던 머그 컵을 갑자기 사라지게 한다거나, 왼쪽에 잘 달라붙어 있던 창문을 오른쪽에 옮겨놓는가 하면 인물이 카메라를 쳐다보게 해야 한다는 강박에 사로잡혀 공간 구조를 뒤죽박죽으로 만들어놓기도 한다.
마지막으로 영화에서 프랙티컬 효과라고 하는, 물리적 현상에 대한 이해도 부족해서 특히 폭발 장면이나 물체가 부딪히고, 날아가며, 떨어지는, 그 모든 물리적 현상이 일관성을 가지지 못했다. 한때는 컴퓨터 그래픽도 이 부분이 어색해서 70~80년대 활약했던 옛 감독들은 미니어처나 다양한 특수 분장술을 활용하기도 했지만(제임스 카메론이나 조지 루카스 같은), 이 즈음의 AI 영상 도구들은 이런 시도조차도 생각할 수 없었다.
결국 영화평론가의 관점으로 영상을 제작하려면 그 어떤 방법을 동원하더라도 만족스러운 작품을 만들어낼 수 없는 상황이었다. 그러니 자연스레 타협을 해야 했고, 첫 번째 프로토타입은 그렇게 나오게 되었다.