소개
https://www.youtube.com/watch?v=1G2cRGeN8kk
드라마 스토브리그의 한 장면을 골라서 뽀피터스 캐릭터로 카피를 해보았습니다.
드라마의 주고 받는 대사 타이밍과 카메라 앵글, 컷 편집의 속도, 연출을 체감하기 위함입니다.
최대한 따라서 만들어보고 나면 감이 생기기 때문에 이후 유사한 작업을 할 때 좀 더 확실한 느낌을 갖고 만들 수 있게 될거라고 봤습니다.
진행 방법
유튜브에서 다운로드 받은 클립을 적절한 길이로 잘라 캡컷 타임라인에 놓았습니다.
대사를 전사하고 수퍼톤 플레이로 오디오를 생성했습니다.
생성한 오디오를 기존 클립 오디오 파형을 참조하여 같은 위치에 놓았습니다.
프레임 내보내기를 사용하여 각 컷별로 만들어야 하는 이미지의 기준을 만들고, 캐릭터 시트 활용하여 장면 이미지를 재생성 하였습니다. 생성한 이미지를 그록으로 가져가서 각 컷에 맞는 영상을 만들었고, 만든 영상의 속도를 오디오에 맞게 조절한뒤 생성 영상의 오디오는 음소거 처리하였습니다.
suno로 적절한 분위기의 배경음악을 만들어 넣었습니다.
결과와 배운 점
가장 크게 느낀점은 TTS 음성이 배우들의 연기에 비해서는 자연스럽지 않고, 짧은 대사의 감정표현 조절이 쉽지 않다는 점이었습니다. 그런면에서 생성 영상의 목소리를 일레븐랩스 보이스 체인지를 사용해 변환하는게 좀 더 자연스러운 결과를 만들 수 있을 것 같았고요. 하지만 그런 방법 역시 짧은 대사는 맥락파악이 안되어 연기를 살리기가 쉽지 않을 것 같습니다.
그런면에서 가장 좋은 방법은 클링이나 시댄스 처럼 멀티컷 생성이 가능한 툴을 쓰는 것이고, 그런 영상은 맥락을 이해하기 때문에 짧은 대사의 억양도 좀 더 잘 살리는 경향이 있습니다. 더 자연스러움을 추구하면 상위 모델을 쓸 수 밖에 없고, 상위 모델을 쓰더라도 연기력은 항상 이슈라 계속 고민하고 노하우를 찾아가는게 필요할 것 같습니다.
