시도하고자 했던 것
최근 AI 영상 생성 모델을 반복적으로 사용해 보면서 한 가지 불편한 점을 느꼈다. 같은 프롬프트를 넣어도 실행할 때마다 표정의 미세한 변화, 손가락 개수, 배경 형태가 달라졌다. 결과물이 예쁘기는 하지만 다음 장면에 그대로 이어 붙이기 어려웠다. 캐릭터가 여러 컷에 걸쳐 동일하게 보여야 하는 영상이라면 이런 변동성은 치명적이라고 판단했다.
그래서 목표를 다음과 같이 좁혔다. 참고 영상 한 클립의 동작을 그대로 따르면서, 캐릭터 이미지의 외형은 끝까지 유지되는 결과를 만드는 것. 즉 동작은 외부의 performances에서 가져오고, 정체성은 내가 준비한 이미지에서 가져오는 분리된 구조를 원했다.
진행 방법
준비한 입력은 두 가지였다. 첫째는 동작을 보여주는 짧은 참고 영상이고, 둘째는 움직일 캐릭터의 이미지였다. 참고 영상은 동작 하나가 완전히 포함되는 구간만 잘라냈고, 배경에 다른 사람이 움직이거나 카메라가 흔들리는 구간은 잘라냈다. 캐릭터 이미지는 팔과 손이 가려지지 않고 원래 배경과 조명이 깔끔한 것을 골랐다.
이후 텍스트 프롬프트는 동작 묘사 대신 정체성 보호에 집중했다. 얼굴 특징, 의상, 조명, 카메라 화각만을 서술하고 손가락이나 팔의 각 프레임 동작은 적지 않았다. 이미 참고 영상이 동작 정보를 충분히 가지고 있기 때문에, 동작을 다시 설명하면 신호가 서로 충돌하는 경우가 많았다.
결과와 배운 점
가장 크게 달라진 점은 반복성이었다. 같은 캐릭터 이미지와 같은 참고 영상을 다시 넣었을 때 이전과 거의 동일한 결과를 얻을 수 있었다. 그 결과 여러 컷을 하나의 서사로 이어 붙이는 작업이 가능해졌고, 기존에는 매번 다시 생성하던 장면을 재사용할 수 있게 되었다.
두 번째 배움은 평가 기준을 나누는 것이었다. 처음에는 결과물을 좋고 나쁨으로만 판단했는데, 그렇게 하면 실패 원인을 알 수 없었다. 이후에는 세 축으로 나누어 확인했다. 첫째는 동작이 참고 영상과 맞는지, 둘째는 얼굴과 몸 비율이 유지되는지, 셋째는 배경과 카메라가 일관적인지. 축이 다르다면 개선 방향도 다르기 때문에, 한 번에 한 축만 개선하는 방식이 훨씬 효율적이었다.
세 번째 배움은 짧은 클립을 우선해야 한다는 점이었다. 열 초짜리 결과물의 후반부가 무너지는 것보다, 두 초짜리 안정적인 클립 여러 개를 편집으로 이어 붙이는 편이 훨씬 재사용성이 높았다. 생성 단계는 캐릭터 움직임의 일관성에 집중하고, 편집 단계에서 페이싱과 자막과 색상을 다루는 편이 분리되어 훨씬 낫다.
앞으로의 계획
현재는 한 번에 하나의 변수만 바꾸며 테스트하고, 결과가 좋아도 설정과 잘라낸 구간을 함께 기록해 두는 방식으로 진행 중이다. 다음에는 손이 얼굴 근처를 지나는 장면과 몸이 회전하는 장면을 특히 포함한 평가 세트를 만들어, 설정 변경 후에도 같은 기준에서 비교할 수 있게 하고 싶다. 전체 워크플로와 프롬프트 예시는 https://motioncontrolai.online/ 에 정리되어 있어 참고하면 좋겠다.
