[8기 AIA2Z] 빙챗+runway + 캡컷으로 숏폼 만들기

이번엔 뭘할까 고민하다 숏폼에 도전해보았습니다.

빙챗 + runway + 캡컷으로 우리집 강아지 ‘순두부’ 이야기를 숏폼으로 제작했어요. 아래 순서대로 진행힜습니다.

1. 빙챗에서 seed 넘버로 같은 강아지 이미지 뽑기

2. runway 사용해보기

3. 캡컷 어플로 보이스 녹음 > 인공지능 보이스로 변환 > 자동 자막으로 변환

4. 빙챗으로 썸네일 뽑기

빙챗에서 강아지 숏폼을 제작할거라고 하고, 시나리오를 작성해달라고 하니 너네 강아지 사진을 달라고 하네요. 이런 반응 처음이에요. ㅎㅎ 실제로 저희 강아지는 3년전 유기견을 데려왔고 이름은 ‘순두부’입니다.

사진을 보내주니 시나리오를 5개 작성해줍니다.

이미지를 뽑기 전에 시나리오에 맞게 먼저 묘사해달라고 했어요.

묘사해준대로 이미지1을 그려달라고 했고 사진과 비슷한 느낌으로 그려줍니다.

이미지2를 그려달라고 하니 아래처럼 너무 다른 강아지를 그려줬어요.

이미지3은 자기가 묘사한 문구가 추상적이어서 그런지 그리기 어려웠나봐요.

이미지3을 제가 다시 설명하고요, 강아지에 대한 묘사도 다시 넣어줬어요. 이미지1에는 없는 묘사인데 비슷하게 그려줬습니다.

이미지4를 그릴때 아래처럼 결정적으로 남자아이와 강아지를 섞어서 그린데다, 강이지 그림도 달라서 gen_id 를 유지해야겠다고 생각했어요.

같은 강아지로 이미지5를 그려달라고 하니 너무나 다른 강아지를 그린 빙챗입니다.

====================
이제부터 seed 번호를 유지해보겠습니다. (캔로봇님 사례를 참고했습니다. )

아래에서는 image01과 같은 강아지로 image02를 그려달라고 했는데 다른 강아지를 그렸습니다. 말로는 “seed 번호를 사용하면 같은 강아지의 모습을 유지할 수 있습니다”라고 하면서 다른 강아지를 그렸어요. 거짓말쟁이!

그래서 seed 번호를 사용하라고 하고, 강아지에 대한 설명을 다시 적어줬어요.

같은 방식으로 이미지를 그리는데, 강아지의 모습과 배경 등을 그릴때 seed 번호를 유지하고 “image01과 같은 배경으로 그려줘”, “image01 과 같은 강아지로 그려줘” 라고 하면 말은 그렇게 할 수 있다고 하고는 제대로 그리지 못해요. 그래서 계속 아래처럼 강아지 모습과 배경을 반복해서 알려줘야 했습니다.

========================

이제 runway (http://app.runwayml.com) 에서 motion brush 로 영상을 만들어봅니다.

강아지 귀가 팔랑거리는 것을 보여주고 싶어서 motion brush로 귀의 중간 아래쪽을 색칠했는데요, 귀 전체가 분리되어 버립니다. 신기한 건 강아지가 눈을 깜빡이는 것을 자연스럽게 표현해줬어요.

이번에는 이미지 Description으로 텍스트로 묘사해보았는데요, 강아지 입이 이상해져요. 배경에 있는 강아지들도 뭉개지더라고요. (아래 영상)

그래서 그냥 모션 브러쉬로 꼭 필요한 영역만 살짝 움직여줍니다.

마지막 장면은 아이가 강아지를 안고 있어서 아이와 강아지가 같이 움직이도록 했어요. 둘다 고개를 움직이고 아이 손과 강아지 손도 움직입니다. 한 영상에 모션 브러쉬의 좌표를 동일하게 줘야 하므로 같은 방향으로 움직여도 어색하지 않은 영역만 색칠합니다.

=======================

이제 캡컷 어플로 영상을 편집합니다.

음성을 녹음하고 ‘음성변조기’로 목소리를 변조합니다.

자막을 ‘자동 캡션’으로 자동으로 넣어요. 자동 캡션하고 애니메이션 효과로 ‘레트로 타자기’를 넣었습니다. 엔딩 화면은 캡컷에서 제공하는 화면입니다.

======================

마지막으로 유튜브 쇼츠 설명란에 넣을 문구도 빙챗에게 물어봤어요. 물론 그대로 적지는 않았습니다. ^^;

아래 완성된 영상입니다.

처음 작업이라 생각보다 시간이 많이 걸렸어요.

인사이트는 아래입니다.

1. 강아지 사진을 실제로 보내달라고 한 것이 마치 친구가 보여달라 한듯한 느낌이었어요.

2. seed 넘버로 같은 강아지를 유지할 수 있다고 했지만 실제로 정말 그런지는 의문입니다. 저는 계속 강아지와 배경을 같은 문구로 알려줬습니다.

3. runway 에 귀만 움직이도록 했는데 눈도 깜빡이는 등 영상이 자연스럽게 표현되도록 하는 점이 인상적이었어요.

4. 캡컷 어플은 정말 편리합니다!