텍스트로 장면을 설명하고 사진 한 장만 넣어주면 AI가 영상을 만들어주는 시대가 왔다. 깜찍한 동물이 사람처럼 인터뷰를 하고, AI로 만든 인물이 실제 배우처럼 연기하는 영상을 보고 있자니 자연스럽게 이런 생각이 들었다.

'저 영상의 주인공이 내가 될 수도 있지 않을까?'

육아를 하면서 콘텐츠를 만들다 보니 얼굴이 나오는 영상을 촬영하는 일이 생각보다 큰 부담이었다. 촬영을 하려면 화장도 해야 하고, 옷도 갖춰 입어야 하고, 아이가 자는 시간에 맞춰 조용한 장소도 찾아야 한다. 대본을 외우거나 여러 번 다시 찍다 보면 영상 하나를 만드는 데 육퇴 후의 소중한 시간이 훌쩍 지나갔다.

그러다 레퍼런스 이미지 한 장을 움직이는 AI 영상 제작 튜토리얼을 보면서 꽤 솔깃한 아이디어가 떠올랐다.

가장 보정이 잘 된 내 프로필 사진 한 장만 있으면, 앞으로 화장하지 않고도 내가 출연하는 영상을 만들 수 있지 않을까?

사진 속 눈과 얼굴 근육이 자연스럽게 움직이고, 내가 쓴 대본에 맞춰 입이 움직이게 만드는 것이다. 여기에 내 목소리와 비슷한 AI 음성까지 입힐 수 있다면 나는 대본만 작성하면 된다.

말 그대로 꿈에 그리던 '딸깍' 콘텐츠 제작 시스템이었다.

또 하나의 아이디어도 있었다. 지난 한 달 동안 육퇴 후 시간을 갈아 넣어 만든 인스타툰 캐릭터를 영상 속으로 데려오는 것이다. 정지된 인스타툰 속 캐릭터가 직접 인터뷰를 하고 내가 전하고 싶은 이야기를 말해준다면, 기존 콘텐츠보다 훨씬 재미있게 메시지를 전달할 수 있을 것 같았다.

그렇게 두 가지 실험을 시작했다.

1. 내 프로필 사진으로 'AI 나' 만들기
2. 인스타툰 캐릭터를 움직이고 말하게 만들기

이번에도 무료 AI 서비스들을 잘 조합하면 충분히 가능할 거라고 생각했다.

그리고 약 한 달 동안 HeyGen, Grok, ElevenLabs, Vidu, Runway, Google Flow, Google Vids 등 눈에 보이는 AI 영상 도구를 하나씩 써보며 육퇴 후의 밤을 보냈다.

결론부터 말하면, 가능은 했다. 다만 내가 상상했던 '딸깍'과는 거리가 꽤 멀었다.

돈을 쓰면 이 길은 생각보다 평탄했다. AI 영상 제작에 특화된 유료 서비스를 이용하면 복잡한 영상 제작 용어나 프롬프트 작성법을 잘 몰라도 비교적 자연스러운 결과물을 얻을 수 있었다.

반대로 나처럼 일단 돈을 쓰지 않고 어디까지 가능한지 해보겠다고 마음먹는 순간 이야기가 달라졌다.

그때부터는 윤종신의 '오르막길'이 흘러나온다.

캐릭터는 갑자기 다른 얼굴이 되었고, 한국어를 말하는 내 AI 목소리는 어딘가 어색했다. 겨우 마음에 드는 영상을 하나 만들었더니 10초 만에 끝났고, 다음 장면을 이어 붙이자 같은 캐릭터가 또 다른 사람처럼 변했다.

처음에는 그 한계를 하나씩 없애려고 했다.

프롬프트를 바꾸고, 다른 서비스를 찾아보고, 레퍼런스 이미지를 다시 만들면서 어떻게든 내가 머릿속에 그린 영상을 AI에게 만들어내게 하려고 했다. 그러다 보니 영상 몇 초를 만들기 위해 육퇴 후 몇 시간을 쓰는 날이 허다했다.

그러다 한 달쯤 지나서야 방향이 잘못됐다는 것을 깨달았다.

AI의 한계를 없애려고 애쓰기보다, 그 한계 안에서 만들 수 있는 영상을 기획하는 편이 훨씬 효율적이었다.

무료 서비스가 10초짜리 영상을 잘 만든다면 10초 안에 끝나는 장면을 기획하고, 2D 캐릭터의 얼굴 일관성을 유지하기 어렵다면 AI가 더 잘 다룰 수 있는 레퍼런스 이미지를 만드는 식이다.

AI가 내가 원하는 영상에 맞춰주기를 기다리는 것이 아니라, 내가 AI가 잘할 수 있는 영상을 기획하기 시작하자 비로소 '무료 AI 영상 제작'이 현실적인 도구가 되기 시작했다.

한 달간의 오르막길 끝에 알게 된, 돈을 많이 쓰지 않고도 꽤 그럴듯한 AI 영상을 만드는 방법을 정리해 본다.

목차

1. 첫 번째 시행착오 — 사진 한 장이면 AI 아바타가 될 줄 알았다

2. 두 번째 시행착오 — 2D 캐릭터는 왜 자꾸 다른 얼굴이 될까?

3. 무료 AI 영상의 진짜 벽은 10초였다

4. 영상보다 먼저 공들여야 했던 것: 레퍼런스 이미지

5. 결국 내가 정착한 무료 조합

1. 첫 번째 시행착오 — 사진 한 장이면 AI 아바타가 될 줄 알았다

첫 번째 목표는 내가 직접 촬영하지 않아도 영상에 '나'를 출연시키는 것이었다.

준비물은 간단할 줄 알았다. 내가 가진 사진 중 가장 보정이 잘 된 프로필 사진 한 장을 고르고, AI에게 눈과 얼굴 근육을 자연스럽게 움직이게 한 뒤 대사에 맞춰 입을 움직이게 하면 끝이라고 생각했다.

그렇게만 된다면 육퇴 후 화장을 하고 카메라 앞에 앉을 필요도, 같은 대사를 여러 번 촬영할 필요도 없다. 나는 스크립트만 쓰고 AI가 나 대신 카메라 앞에 서면 되는 셈이었다.

사실, 사진 한 장을 움직이는 것까지는 생각보다 쉬웠다.

2D 프로필 사진을 영상으로 만들기 위해 Google Flow, Higgsfield, HeyGen 등을 하나씩 사용해 봤다.

같은 사진을 넣어도 결과는 꽤 달랐다. 어떤 서비스에서는 눈이나 입 주변 근육이 부자연스럽게 움직였고, 고개를 돌리는 순간 원래 사진과 미묘하게 다른 사람이 되기도 했다. 반면 내가 테스트했을 당시 Higgsfield에서는 비교적 얼굴의 특징을 잘 유지하면서 자연스럽게 움직이는 결과물을 얻을 수 있었다.

여기까지는 꽤 희망적이었다.

'이제 여기에 내 목소리만 넣으면 되는 거 아니야?'

그런데, AI 아바타를 만드는 데 더 어려운 문제는 얼굴보다 목소리였다.

영상 속 인물이 아무리 나와 닮아도 입에서 나오는 목소리가 나처럼 들리지 않으면 'AI로 만든 나'라는 느낌이 확 깨졌다.

직접 매번 녹음하면 처음에 해결하고 싶었던 문제가 그대로 남는다. 그래서 내 목소리를 한 번만 학습시켜 두고, 이후에는 한국어 스크립트만 입력하면 내 목소리로 읽어주는 방식을 찾아보기 시작했다.

HeyGen에서 지원하는 음성 기능과 ElevenLabs 등을 이용해 내 목소리를 학습시키고 한국어 대본을 읽게 해 봤다. 그런데 내가 테스트했을 때의 결과물은 기대와 달랐다. 분명 내 목소리의 특징이 조금씩 들리기는 하는데, 억양과 발음이 내가 실제로 한국어를 말할 때와 달라 어딘가 교포가 한국어를 읽는 듯한 느낌이 강했다.

Voicebox와 같은 다른 오픈소스 음성 도구도 사용해 봤지만 결과는 비슷했다. 어떤 것은 억양은 자연스러운데 내 목소리와 멀었고, 어떤 것은 목소리는 비슷한데 한국어가 어색했다.

그때 사진 한 장을 움직이는 것과 '내가 말하는 영상'을 만드는 것은 완전히 다른 문제였다는 것을 깨달았다.

내가 원했던 AI 아바타에는 사실 세 가지 기술이 동시에 필요했다. 예를 들어, 얼굴이 나처럼 보여야 하고, 입 모양이 대사와 자연스럽게 맞아야 하며, 무엇보다 한국어 목소리가 실제 나처럼 들려야 했다. 세 가지 중 하나만 어색해도 보는 사람은 금방 이질감을 느꼈다.