왜 AI는 '여기만 살짝' 수정하는 게 어려울까?

AI 이미지 부분 수정할 때 쓰는 프롬프트 룰 정리

Sep 30. 2026

친구한테서 사진 한 장이 왔다. 웨딩 촬영 원본이었다. 두 사람이 나란히 서서 웃고 있는, 딱 봐도 마음에 들어서 고른 컷.

"다 좋은데 신발 부분이랑 바닥이 좀 별로야. 여기만 살짝 바꿔줄 수 있어? AI로 요즘엔 이런거 금방할 수 있다던데.. "

미드저니로 생성한 가상 웨딩 사진

바닥만? 그 정도야 금방이지. 마침 제미나이를 구독하고 있어서 나노바나나 프로가 손에 있었다. 사진을 올리고 바닥을 바꿔달라고 했다. 수정 요청한 사항은 금방 바뀌었다. 문제는 얼굴이었다.

뭔가 이상했다. 분명 친구 얼굴인데, 친구얼굴과 닮아있지만 미묘하게 친구 얼굴 같지가 않았다. 피부는 깐 달걀 마냥 한 톤 매끈해져 있고, 원본의 살짝 거친 내추럴한 질감이 사라져 있었다. 웃을 때 생기던 눈가 주름이 얕아졌고, 입꼬리도 아주 조금 달라져 있었다. "인물의 요소, 의상, 얼굴과 표정 포즈, 질감 등은 절대 건드리지 마"라고 다시 적었다. 인물 및 톤앤매너 고정 프롬프트를 점점 길고 정교하게 써봤다. 돌릴 때마다 교정은 되긴 되는데, 얼굴은 100% 완벽하게 고정되지 않았다.

(그 삽질 끝에 알게 된 요령들과 프롬프트 꿀팁을 중간중간, 그리고 글 끝에 덤으로 적어두겠다. 비슷한 데서 막혀본 사람이라면 끝까지 읽어봐도 좋다.)

모르는 사람이 보면 아무 차이 없는 사진이다. 같은 사람, 같은 드레스, 같은 미소. 그런데 당사자와 절친은 안다. 어느 성형외과 의사가 사람의 얼굴은 1mm의 과학이라고 했다던데, 정말 그랬다. 표정 근육이 1mm만 달라져도 그건 내가 아는 얼굴이 아니게 된다.

결국 포토샵을 열었다. 한 땀 한 땀 직접 손으로 다듬었다. 얼굴은 한 픽셀도 건드리지 않았다. 몇 번을 돌려도 안 되던 게, 손으로 하니 오히려 금방 끝났다.

사실 이런 일이 처음은 아니었다. 본업이 디자이너였던 터라, 다들 이제 AI로 디자인 다 한다고 호들갑(?)이어도 정작 내가 해오던 퀄리티를 맞추려면 내 손으로 하는 게 더 빠를 때가 많았다. 얼굴이 1mm의 과학이라면, 디자인은 1픽셀의 과학이다. 폰트 사이즈 1pt, 여백 몇 픽셀, 요소 하나의 좌표값만 달라져도 화면의 인상이 달라진다. 남들은 모르고 지나가도, 퀄리티에 민감한 사람 눈에는 그게 제일 먼저 보인다.

왜 이런 일이 생길까.

포토샵과 AI는 '고친다'는 개념의 뜻부터 다르다.

포토샵에서 바닥을 고치면 바닥만 바뀐다. 선택한 영역 밖의 픽셀은 그대로 있고, 원본은 레이어 아래에 멀쩡히 남아 있다. AI는 그렇게 일하지 않는다. 원본을 붙잡고 필요한 데만 손보는 게 아니라, 사진을 보고 이해한 내용을 바탕으로 이미지를 통째로 다시 그린다. "바닥을 바꿔줘"라는 요청도 사실은 "바닥이 바뀐 이 사진을 새로 그려줘"에 가깝다. 그러니 다시 그리는 과정에서 얼굴도 같이 다시 그려진다. 아주 비슷하게, 하지만 똑같지는 않게.

GPT로 그려본 만화

[꿀팁1] AI는 대체로 '바꿔줘'만 들으면 나머지를 알아서 추측한다

말하지 않은 부분은 AI가 "그럴듯하게" 새로 채운다. 그래서 바꿀 곳보다 지킬 곳을 더 구체적으로 불러줘야 한다. "인물 유지" 같은 말은 너무 넓다. 한 명씩, 한 부위씩.

Prompt 예시: 왼쪽 신랑(검은 턱시도)과 오른쪽 신부(흰 드레스, 올림머리)의 얼굴 형태, 눈매, 입꼬리, 피부 결, 잔주름은 원본 그대로 둬.

작품을 만들 때도 마찬가지였다.

선이 아주 러프한 일러스트를 미드저니로 뽑은 적이 있다. 굵기가 제멋대로 들쭉날쭉한데, 그게 묘하게 자연스러워서 마음에 쏙 들었다. 문제는 그다음이었다. 색을 조금 바꾸고 베리에이션을 몇 장 만들려고 나노바나나로 가져갔더니, 수정할 때마다 선 굵기가 미묘하게 달라졌다. 원래 선을 유지하라고 해도 조금씩 고르게 정리되고, 선이 묘하게 두꺼워보이고, 그 들쭉날쭉한 미감이 벗겨졌다. 초안의 감성을 그대로 둔 채 AI로 변주만 하는 건 생각보다 쉽지 않은 일이었다.

왼쪽: 원본 이미지 / 오른쪽: Gemini Pro로 수정한 이미지

[꿀팁2] 러프한 감성은 형용사로 지켜지지 않는다

"러프하게", "손맛 있게" 같은 말은 AI에게 새로운 러프함을 만들라는 주문이 되기 쉽다. 지키고 싶은 건 새 러프함이 아니라 원본의 그 러프함이다. 그러니 말 대신 원본을 보여준다.

① 고친 결과를 다음 수정의 원본으로 쓰지 않는다. 한 번 고칠 때마다 미세한 차이가 생기고, 그게 쌓인다. 매번 처음 원본을 다시 첨부하고, 바꿀 게 여러 개면 원본에서 한 번에 요청한다.

② 불규칙함을 구체적으로 쓴다.

Prompt 예시: 선이 가늘어졌다 굵어지는 불규칙한 변화, 선 끝의 갈라짐, 번진 잉크 자국은 원본 그대로 유지해줘.

쓸 때 세 가지만 기억한다. 매번 원본에서 시작한다. 결과는 원본과 나란히 놓고 본다. 그래도 끝까지 흔들리면, AI 결과를 원본 위에 레이어로 얹고 지켜야 할 부분만 마스크로 원본을 살린다. 아직은 이게 가장 확실하다.

[참고자료]
*Zhou et al. (2025). Multi-turn Consistent Image Editing. arXiv:2505.04320
*FreqEdit: Preserving High-Frequency Features for Robust Multi-Turn Image Editing. arXiv:2512.01755
*Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling. arXiv:2604.28185 (나노바나나 연속 편집 사례)

나만 이 부분이 답답한 건 아니었다. 업계도 정확히 이 지점을 붙잡고 있다.

요즘 나는 매일 아침 AI가 추려주는 해외 뉴스레터, 아티클, 논문, 신제품 소식을 받아보고, 그중 쓸 만한 걸 노션에 분류해둔다. 최근 한 달 남짓 꾸준히 추적한 결과, 이미지 AI 쪽 자료를 쌓다 보니 같은 이야기가 반복해서 걸리는 것을 포착했다. 새 모델이 나올 때마다 내세우는 게 "더 예쁘게"가 아니라 "더 정확하게 고치기" 라는 것.

이미지 출처: 구글

2025년 8월, 구글은 나노바나나라는 별명으로 알려진 Gemini 2.5 Flash Image를 발표했다. 여러 차례 요청하고 수정하는 동안 인물이나 물체의 모습을 유지하는 일은 이미지 생성의 근본적인 과제라고 설명했다. 사용자들이 더 강한 창작 통제력을 원한다는 피드백도 받았다고 했다.

이미지 출처: 구글

2026년 9월에 나온 오픈AI의 ChatGPT Images 2.5도 정밀한 편집과 반복 수정의 일관성을 주요 개선점으로 내세웠다. 요청한 부분을 바꾸면서 나머지 디테일을 유지하기. 다음 수정을 해도 앞서 고친 내용이 흐트러지지 않게 하기. 이미지 위에 직접 코멘트를 달거나, 러프한 스케치로 원하는 구도를 전달하는 기능도 소개했다.

저장해둔 뉴스레터에서도 미드저니의 편집과 세밀한 제어에 관한 소식을 읽었다. 아직 확정된 기능과 앞으로의 계획은 구분해서 봐야 했지만, 서로 다른 도구에서 비슷한 고민이 보인다는 점은 흥미로웠다.

얼마나 멋지게 그리느냐는 이제 기본이다. 앞으로 경쟁력을 가르는 건, 원하는 곳을 고치는 동안 나머지를 얼마나 그대로 지켜내느냐일 거라고 본다.

[참고자료]
*OpenAI (2026. 9. 8.). Introducing ChatGPT Images 2.5. https://openai.com/index/introducing-chatgpt-images-2-5/
*Google for Developers Blog (2025. 8. 26.). Introducing Gemini 2.5 Flash Image, our state-of-the-art image model. https://developers.googleblog.com/en/introducing-gemini-2-5-flash-image/

그렇게 쌓인 자료들을 나란히 놓고 보니, 업계의 변화가 크게 세 가지 흐름으로 보였다.