AI 애니메이션 제작기: 프롬프트를 아무리 고쳐도 세탁기 문이 말을 듣지 않았습니다
2026.10.08
AI 애니메이션 제작기: 프롬프트를 아무리 고쳐도 세탁기 문이 말을 듣지 않았습니다
1. 약 1분짜리 AI 애니메이션을 만들어봤습니다
AI를 활용해 짧은 생활 이야기를 애니메이션으로 제작해봤습니다.
최종적으로 한국어 약 66초, 영어 약 67초 분량의 영상 파일 두 편을 만들었습니다.
처음에는 스토리를 구성하고, 각 장면의 이미지를 생성한 뒤 영상으로 변환하면 비교적 쉽게 완성할 수 있을 것이라 생각했습니다.
하지만 실제 제작 과정에서는 예상하지 못했던 문제가 반복됐습니다.
특히 인물의 행동과 물체의 상태가 동시에 변하는 장면에서 AI가 물리적으로 부자연스러운 결과를 생성하는 경우가 많았습니다.
이번 경험에서 가장 크게 배운 것은 단순히 좋은 이미지를 만드는 방법이 아니라, AI가 반복적으로 실패하는 행동을 어떻게 나누고 재구성할 것인가였습니다.
2. 제작하려던 스토리
이야기의 핵심은 상대방을 배려하는 일상적인 행동입니다.
한 남성이 세탁기에 빨래를 넣고 작동시킨 뒤, 빨래를 꺼내는 것을 잊어버립니다.
여성이 이를 먼저 발견하고 불편한 기색 없이 다시 세탁한 뒤 빨래를 널어둡니다.
나중에 남성이 자신의 실수를 깨닫고 난처해하자 여성은 이미 빨래를 다시 돌리고 널어두었다며 미소로 안심시킵니다.
스토리 자체는 단순하지만, 사건이 발생하는 순서가 중요했습니다.
다음과 같은 순서로 진행되어야 했습니다.
남성이 빨래를 돌리고 잊어버립니다.
여성이 먼저 빨래를 발견합니다.
여성이 빨래를 다시 세탁합니다.
파란 티셔츠와 흰 티셔츠 두 벌을 모두 널어둡니다.
남성이 뒤늦게 자신의 실수를 깨닫습니다.
여성이 이미 해결했다는 말과 미소로 남성을 안심시킵니다.
만약 남성이 먼저 빨래를 발견하고 여성이 위로한다면 이야기의 의미가 달라집니다.
중요한 것은 단순한 위로가 아니라, 여성이 먼저 행동으로 배려했다는 사실이 남성의 깨달음보다 앞에 나타나는 것이었습니다.
그래서 영상 생성 전에 사건 순서를 먼저 확정했습니다.
3. 실제 제작에서 가장 많이 실패한 장면
Google Flow를 이용해 짧은 영상 소스를 생성했습니다.
그런데 의외로 가장 문제가 많았던 부분은 세탁기 문을 여닫는 장면이었습니다.
다음과 같은 오류가 반복됐습니다.
문제 1. 손이 세탁기 유리를 통과했습니다
인물이 세탁기 문을 열고 빨래를 꺼내야 하는데, 문이 닫힌 상태에서 손이 유리를 통과해 빨래를 잡는 장면이 생성됐습니다.
물리적으로 불가능한 행동이었지만, AI는 장면의 전체적인 의미를 표현하는 과정에서 이러한 오류를 만들어냈습니다.
문제 2. 세탁기 문 구조가 바뀌었습니다
세탁기 문을 여는 과정에서 경첩의 위치가 반대편으로 바뀌거나, 손잡이를 잡고 있는 상태와 문이 움직이는 방향이 일치하지 않았습니다.
같은 장면 안에서도 물체의 구조가 일관되게 유지되지 않았습니다.
문제 3. 버튼을 누르자 문이 저절로 열렸습니다
세탁기 시작 버튼을 누르는 장면에서는 버튼을 누르는 행동과 문이 열리는 행동이 동시에 나타나기도 했습니다.
문을 닫고 세탁기를 작동시키려는 의도와 전혀 다른 결과였습니다.
문제 4. 세탁기 문이 열린 채 빨래가 돌아갔습니다
세탁기가 작동하는 장면에서도 문이 열린 상태로 드럼이 회전하는 오류가 발생했습니다.
문제 5. 옷의 형태가 바뀌었습니다
처음에는 평범한 티셔츠였던 옷이 다음 장면에서 갑자기 칼라와 단추가 있는 셔츠로 바뀌었습니다.
캐릭터뿐 아니라 소품의 일관성도 중요한 문제였습니다.
4. 처음에는 프롬프트를 더 자세하게 작성했습니다
이러한 문제를 해결하기 위해 처음에는 프롬프트의 제약 조건을 늘렸습니다.
예를 들어 다음과 같은 요구를 추가했습니다.
세탁기 문이 완전히 열린 후에만 손을 넣어야 합니다.
손이 닫힌 유리를 통과해서는 안 됩니다.
세탁기 문이 닫힌 상태에서만 드럼이 회전해야 합니다.
문손잡이와 경첩의 위치가 바뀌어서는 안 됩니다.
인물이 꺼내는 티셔츠의 형태와 색상을 유지해야 합니다.
하지만 비슷한 구조의 실패가 반복됐습니다.
여기서 한 가지 가설을 세웠습니다.
문제는 단순히 프롬프트의 설명이 부족해서가 아니라, 한 번의 생성에서 요구하는 상태 변화가 지나치게 복잡하기 때문일 수 있다는 것이었습니다.
예를 들어 하나의 영상에서 다음 동작을 모두 요구하고 있었습니다.
세탁기 문을 연다 → 손을 넣는다 → 옷을 잡는다 → 옷을 꺼낸다 → 냄새를 맡는다 → 상대방을 바라본다.
각각의 동작은 단순해 보입니다.
그러나 이 과정에서는 손의 위치, 문이 열린 정도, 세탁기 내부의 옷, 손에 들린 옷, 인물의 시선과 표정 등이 동시에 변합니다.
이번 생성 결과에서는 이러한 복합 동작을 안정적으로 얻기 어려웠습니다.
5. 해결 방법: 프롬프트가 아니라 컷을 수정했습니다
결국 접근 방법을 바꿨습니다.
하나의 영상에서 모든 행동을 자연스럽게 생성하려 하지 않고, 행동을 짧은 컷으로 분할하기 시작했습니다.
기존 구성
한 장면 안에서 다음 행동을 모두 수행하도록 요청했습니다.
문 열기 → 빨래 꺼내기 → 냄새 맡기 → 반응하기.
수정한 구성
컷 1. 세탁기 문손잡이를 당기는 장면
문을 여는 행동 자체에 집중합니다.
컷 2. 이미 열린 세탁기에서 빨래를 꺼내는 장면
앞선 장면에서 문이 열렸다는 사실을 전제로 빨래를 꺼내는 행동을 보여줍니다.
컷 3. 인물의 표정과 반응
복잡한 손동작을 제외하고 표정과 시선에 집중합니다.
세탁기 작동 장면도 마찬가지였습니다.
시작 버튼을 누르는 행동과 드럼이 회전하는 행동을 한 장면에서 연결하지 않고, 문이 닫힌 상태와 실제로 회전하는 모습을 분리했습니다.
정상적인 생성 구간만 활용
이미 생성된 영상에서도 사용할 수 있는 부분을 최대한 활용했습니다.
예를 들어 문을 당기는 앞부분은 정상적이지만 중간부터 손을 놓았는데도 문이 저절로 움직이는 영상이 있었습니다.
이 경우 오류가 발생하는 구간을 제거하고 다른 카메라 구도로 넘어갔습니다.
이러한 방식은 모든 동작을 연속적으로 보여주지는 못합니다.
실제로 완성된 영상에도 버튼을 누르는 행동이나 세탁 완료 과정을 생략한 부분이 남았습니다.
그러나 물리적으로 잘못된 행동을 그대로 보여주는 대신, 편집을 통해 관객이 이야기의 흐름을 이해할 수 있도록 구성했습니다.
중요한 것은 이 방법의 비용 절감 효과를 별도로 측정하지 않았다는 점입니다.
따라서 생성 비용이 얼마나 줄었다고 단정할 수는 없습니다.
다만 동일한 유형의 생성 실패가 반복될 때 사용할 수 있는 새로운 해결 방법을 확보했습니다.
6. 컷 사이의 소품 상태를 추적했습니다
다음으로 문제가 되었던 것은 소품의 연속성이었습니다.
이번 이야기에 등장하는 옷은 단 두 벌이었습니다.
파란 티셔츠
흰 티셔츠
그런데 생성 결과에서 파란 티셔츠가 인물의 손에 들려 있으면서 동시에 세탁기 안에도 남아 있는 오류가 발생했습니다.
각 장면을 독립적으로 생성하다 보니 앞선 장면의 물체 상태가 다음 장면으로 자연스럽게 이어지지 않았던 것입니다.
이 문제를 해결하기 위해 컷별로 소품의 시작 상태와 종료 상태를 기록했습니다.
예를 들어 다음과 같습니다.
컷 시작 상태
파란 티셔츠: 세탁기 드럼 안
흰 티셔츠: 세탁기 드럼 안
컷 종료 상태
파란 티셔츠: 인물의 손
흰 티셔츠: 세탁기 드럼 안
다음 컷 시작 상태
파란 티셔츠: 인물의 손
흰 티셔츠: 세탁기 드럼 안
이처럼 컷 사이의 상태가 연결되도록 관리했습니다.
마지막 장면에서도 단순히 빨래를 널었다는 대사만 사용하는 것이 아니라, 두 벌의 옷이 모두 걸려 있는 장면이 남성의 깨달음보다 먼저 나오는지 확인했습니다.
이는 단순한 시각적 일관성을 넘어 이야기의 인과관계를 유지하기 위한 작업이었습니다.
7. 최종 제작 결과
최종적으로 다음 두 개의 영상 합본을 제작했습니다.
한국어 버전: 66.375초
영어 버전: 약 67.042초
두 영상 모두 파일이 정상적으로 디코딩되는지 확인했고, 프레임 수와 편집 구간이 기록과 일치하는지도 점검했습니다.
그러나 기술적으로 영상 파일이 정상적으로 생성됐다는 사실이 곧 최종 품질 검수를 통과했다는 의미는 아니었습니다.
실제 결과에는 다음과 같은 개선 과제가 남았습니다.
앞부분 약 49초의 편집 오디오가 무음
일부 구간에서 정지 이미지 사용
복잡한 물리 동작을 편집으로 생략
장면 간 리듬과 연결의 부자연스러움
확대 구간의 화질 저하
발음과 말투의 실제 청취 검수 미완료
정밀한 립싱크 검수 미완료
따라서 영상 파일 생성 완료와 최종 품질 검수 완료를 구분해 기록했습니다.
이후에는 즉시 전체 영상을 다시 생성하기보다, 18장면으로 구성된 이미지 콘티를 제작하고 두 가지 엔딩을 비교하는 단계로 돌아갔습니다.
이 새 콘티는 기존 한국어·영어 합본과는 다른 버전입니다.
8. 이번 경험에서 얻은 인사이트
이번 작업을 통해 가장 크게 느낀 점은 생성형 AI가 실패하는 문제를 반드시 프롬프트 안에서만 해결할 필요는 없다는 것입니다.
모델이 특정 행동을 반복적으로 잘못 생성한다면 다음과 같은 접근도 가능합니다.
복잡한 행동을 작은 단위로 분해합니다.
반드시 보여줘야 하는 행동과 생략 가능한 행동을 구분합니다.
컷마다 인물과 소품의 상태를 기록합니다.
정상적으로 생성된 부분을 선택적으로 활용합니다.
개별 컷의 품질뿐 아니라 전체 이야기의 인과관계를 확인합니다.
특히 영상 생성에서는 각각의 장면이 보기 좋게 생성되는 것만으로 충분하지 않았습니다.
장면 사이의 정보가 유지되고, 사건의 순서가 일관되며, 관객이 행동의 원인과 결과를 이해할 수 있어야 했습니다.
이번 경험은 프롬프트 엔지니어링만큼이나 작업을 어떻게 분해하고 연결할 것인가에 대한 설계 능력이 중요하다는 점을 생각하게 했습니다.
다음 작업에 사용할 프롬프트
다음과 같은 지침을 제작 에이전트에게 전달하려고 합니다.
약 1분짜리 생활 애니메이션을 만들고 싶어.
1. 먼저 스토리의 사건 순서와 인물별 역할을 정리해줘.
2. 각 컷의 시작 상태와 종료 상태를 정의해줘.
3. 등장하는 소품의 수량, 색상, 위치를 추적해줘.
4. 영상 소스는 4~8초 정도로 분리해줘.
5. 복잡한 물리 동작을 하나의 영상에 몰아서 요구하지 마.
6. 동일한 생성 실패가 반복되면 프롬프트만 수정하지 말고 컷 구조를 변경해줘.
7. 실제로 보여준 행동과 편집으로 생략한 행동을 구분해줘.
8. 개별 컷의 품질과 전체 이야기의 연속성을 별도로 검수해줘.
결국 좋은 AI 애니메이션을 제작하기 위해서는 모델이 무엇을 잘 생성하는지뿐 아니라, 모델이 어려워하는 행동을 어떻게 연출과 편집으로 해결할 것인지까지 고민해야 한다는 것을 배웠습니다.



세탁기 문 때문에 이렇게 많은 시행착오가 있었군요. 프롬프트만 계속 수정하는 대신 동작을 짧은 컷으로 나누고, 소품 상태까지 추적하신 접근이 특히 인상적이었습니다. AI 영상 만들 때 바로 써먹을 수 있는 팁이네요. 솔직한 제작기 잘 읽었습니다!