CODEX를 활용한 일러스트 릴스툰 제작기

안녕하세요 저는 지피터스에서 영상 제작 일을 하고 있는 박예빈입니다

지피터스의 AI 고양이 직원 ‘뽀짝이’를 소개하는 인스타툰 시리즈를 준비하며, 자동화 전체과정을 한번 테스트 해보는 것을 이번 워케이션 목표로 삼았어요. 초반는 우선 디자인 미감을 하나씩 깎기보다는 이미지에 목소리와 자막을 붙여 영상으로 완성하는 과정부터 한번 해보는 게 좋겠다는 생각이 들었습니다

그래서 1차본에서는 어사이드에 힉스필드로 이미지를 한 장씩 생성하게 하고, 힉스필드 보이스로 목소리를 만들고, 리모션으로 합쳤습니다. 그렇게 전체 제작 흐름을 한 번 시험했어요.

1화 대본은 사람이 썼습니다. 힉스필드가 뽑은 캐릭터 시안 1차본을 바로 승인하고 넘어갔고 전체 워크플로우에 대해 자세히 프롬프트를 주지 않고 일단 완성하게 했습니다

그렇게 나온 밤티 중의 밤티 뽀짝이...ㅎㅎㅎ

부끄럽지만 보여드립니다

2차에서 훨씬 개선되니 넘 놀라지 마세요...

ep01-v01.mp4
7.74MB

🐈 두 번째에는 제가 원하는 뽀짝이부터 찾았어요

제가 원한 건 하찮고 단순한데 귀여운, 인스타툰에서 볼 법한 감도가 높은 손그림체였어요. 너무 매끈하거나 번들거리는 AI 그림 느낌은 최대한 피하고 싶었습니다.

한국어 문자 메시지 스크린샷

Codex에 손그림 레퍼런스와 기존 뽀짝이 이미지를 주고, 색연필 느낌과 신체 비율을 달리한 시안을 요청했어요. 처음 나온 그림체에서는 눈이 문제였습니다. 노란 눈 안에 검은 점만 찍혀 있으니 귀엽기보다 무섭게 보였어요

주황색 후드티를 입은 검은 고양이

눈을 좀 귀엽게 묘사해달라고 하고, 털 색깔도 좀 더 밝은 차콜색을 띄도록 했습니다

주황색 후드티와 모자를 쓴 검은 고양이 세트

최종적으로 여러번의 그림체 수정을 거쳐

꽤나 인스타 감성에 적합해보이는 뽀짝이 인스타 버전의 시안을 뽑았습니다!

주황색 모자를 쓴 검은 고양이 네 마리, 투명 png 다운로드

이렇게 시안을 고른 뒤에는 방향별 모습과 표정·동작을 담은 캐릭터 시트를 만들었어요. 한 장을 예쁘게 만드는 것에서 끝나지 않고, 같은 뽀짝이가 여러 장면에 계속 등장해야 했기 때문입니다.

중국 치와와

🖼️ 그림을 만드는 것만큼, 모아서 보는 방식도 필요했어요

캐릭터가 정해진 뒤에는 어사이드를 활용해 분석한 레퍼런스 영상의 1초별 구성 분석 자료와 소개 대본을 주고 화면 구성을 짰어요. 위에는 상황을 설명하는 그림, 가운데에는 자막, 아래에는 뽀짝이가 등장하는 방식이었습니다. 대본은 20컷으로 나눴고, 일부 장면은 그림을 유지한 채 대사만 이어가도록 했어요.

주황색 모자를 쓴 고양이가 있는 채팅 앱의 스크린샷

이렇게 보니까 장면별 맥락이 잘 하나로 보이지 않아서 html로 보게 해달라고 했는데 알아서 보드를 만들어줬습니다

보드에는 컷 번호와 그림, 해당 대사, 시간, 다음 장면이 함께 표시됐어요. 그림을 누르면 확대하고 앞뒤로 넘길 수도 있었습니다. 이후에는 이 방식을 기본 검수 방식으로 정했어요. 그림의 예쁜 정도뿐 아니라, 이 대사에 이 소품이 나오는 게 맞는지까지 같이 보고 싶었기 때문입니다.

다양한 스티커가 포함된 한국 앱 스크린샷

✏️ 고칠 곳을 말했으면, 괜찮은 곳은 그대로 두기로 했어요

한국어로 된 문자 메시지의 스크린샷

보드에서 장면을 확인하며 세부적인 연출들을 수정했습니다

여러 장을 수정하다 보니 수정 범위에서도 오해가 생겼어요. 저는 한 컷의 위쪽만 수정하면서 아래 캐릭터를 비슷하게 복제하다가 디테일이 깨지는 게 싫었습니다. 그래서 수정할 때는 그 컷 전체를 다시 생성해달라고 했는데, Codex는 18장 전부를 다시 만들겠다고 했어요.

제가 말한 ‘전체’는 수정 대상 한 컷의 전체였어요. 이 일을 계기로 피드백하지 않은 번호는 승인본으로 남기고, 언급한 컷만 수정한다는 기준을 정했습니다.

프롬프트 6. 수정 대상과 승인본을 명확히 구분하기

이번 수정 대상은 [04, 13번]입니다. 제가 언급하지 않은 컷은 승인본이므로 그대로 보존해주세요.

‘전체 재생성’은 수정 대상 한 컷의 상단과 하단을 함께 새로 그린다는 뜻이며, 모든 컷을 다시 만들라는 뜻이 아닙니다. 문구만 바뀌는 컷은 그림을 유지해주세요.

수정본은 원본과 별도로 저장하고, 검수보드에서 수정된 컷과 기존 승인본을 구별해주세요. 수정 후에는 요청하지 않은 컷이 바뀌지 않았는지도 확인해주세요.

이런 피드백을 매번 다시 설명하고 싶지는 않았어요. 그래서 실수의 이유를 분석하고, 다음 작업에도 쓸 수 있는 지침으로 바꿔 저장하게 했습니다. ‘모자를 벗었는데 귀에 주황색 흔적이 남았다’는 피드백도 그 장면을 고치는 데서 끝내지 않고, 다음에는 모자를 벗은 캐릭터의 머리와 귀까지 확인하도록 남겼어요.

프롬프트 8. 피드백을 다음 작업의 제작 기준으로 남기기

앞으로 피드백을 받으면 ‘문제 관찰 → 원인 분석 → 재사용할 지침 작성 → 프로젝트에 저장 → 다음 작업에서 확인’ 과정을 수행해주세요.

실제 결과와 사용한 프롬프트를 비교하고, 확인된 원인과 추정한 원인을 구분해주세요. ‘더 귀엽게’처럼 추상적인 표현으로 끝내지 말고, 눈의 면적·윤곽선·소품 위치처럼 확인할 수 있는 기준으로 바꿔주세요.

같은 오류가 반복되면 기존 지침이 왜 작동하지 않았는지도 점검해주세요. 새 기준이 생겨도 이미 승인된 컷을 임의로 다시 만들지는 말아주세요.

🎙️ 음성을 붙여 완성까지

그림을 승인한 뒤에는 음성을 붙였어요. 1차본은 힉스필드 보이스를 썼지만 두 번째 작업에서는 타입캐스트 연결을 시도했습니다. 코덱스에서 바로 연결이 안되어서 어사이드에서 따로 만든걸 수동으로 줬습니다

자막 폰트를 지정했고, 실제 음성에 맞춰 장면을 나누고 리모션으로 합쳤습니다.

ppojjak-intro-final-v2.mp4
5.11MB

완성본입니다!

아직 대본은 실제 뽀짝이랑 논의하며 소재만 뽑고 대본은 사람이 쓰고 있는데, 좀 더 스킬을 깎아서

인간이 소재만 선정하면 바로 검수본이 나오는 정도의 자동화를 꿈꿔봅니다..

이제 이걸 스킬로 만들어 슬랙환경에서 헤르메스 에이전트와 작업하려고 합니다!

지피터스 인스타 팔로우많이 해주세요 곧 뽀짝이가 재밌는 얘기 많이 들려드릴게용~~

워케이션 너무 재밌고 유익했습니다!!

5
2개의 답글
지피터스 뉴스레터

이번 주 AI, 딱 쓸 것만

매주 월요일 오후,
읽고 바로 써먹을 AI 소식만