안녕하세요. 2주차에 텍스트 중심의 인스타그램 피드를 구성했습니다. 이번 과제는 2주차의 연속이 아닌, 새로운 과제를 시작합니다. 지피터스 과정에서 배왔던 툴과 새로운 툴을 시도하여 웹툰을 제작하고 영상을 제작하고 SNS를 발행해보려고 합니다. (텍스트→ 이미지→ 영상→ SNS)
유희제님의 과제를 보고, 이 과제는 머리로 하는게 아니고, 손이 고생해야 하는 과제이구나라는 것을 인식하고 실행합니다. 얼마나 시간이 걸릴까 하고 해봤는데, 시간이 10시간 걸립니다. 자동화를 하고 싶었지만, 자동화는 아직 멀었습니다.
프로덕트를 만드는 일을 하고 있습니다. 프로덕트를 만들 때 프로덕트 매니저와 엔지니어와의 소통은 매우 중요합니다. AI프로덕트만의 문제와 시행착오를 재미있게 풀어보고 싶었어요. 그래서 이에 대한 시나리오를 만들어보고, 재미있고 교훈이 되는 컨텐츠를 해보려고 해요.
사용툴은
Claude
Midjourney
Canva
Runway
Capcut
Metricool
입니다. 이 순서대로 작업했습니다.
작업 과정의 요약은 아래와 같습니다.
주제 설정
“AI 프로덕트를 만드는 과정의 시행착오”를 영상으로 만들어보려고 합니다.
AI 프로덕트를 만드는 과정은 기존의 프로덕트를 만드는 과정과는 다르기 때문에 재미있고 반전이 있는 이야기를 쓸 수 있을 거 같았습니다.
Claude를 활용한 시나리오 작성
AI 프로덕트를 만들 때의 시행착오를 Claude에게 물어보고 시나리오를 구성합니다. 크게 주제, 3개의 웹툰 씬, 마무리 내용의 5개 씬으로 구성하려고 합니다.
주제, 인사이트, 1컷, 2컷, 3컷으로 만들고 출연자는 2명으로 제한했습니다.(실수였습니다. 1명으로 했어야 합니다.) 2명이 각 컷에 각각 최대 1개의 대사로 제한했습니다. 인사이트(교훈)은 맨 마지막에 배치합니다.
Claude에게 시나리오와 각 장면/컷에 맞는 미드저니 프롬프트를 각각 만들어줍니다.
Claude에게 전체 시나리오의 artifact를 만들게 하고, 전체 미드저니 프롬프트 artifact도 만들게 해둡니다.
Midjourney로 웹툰 이미지 작성
먼저 레퍼런스 이미지를 설정합니다. 저는 “오피스 누나 이야기” 웹툰을 설정합니다.
Claude에서 제시한 프롬프트를 활용하여 각 시나리오의 첫 번째 씬을 제작합니다.
Midjourney에서 각 시나리오의 두번째 씬부터는 sref와 cref를 활용해서 최대한 웹툰 스타일과 인 물을 맞춥니다.
Canva에서 웹툰 대사 입력
미드저니에서 작성한 이미지를 Canva로 옮겨서 말풍선을 작성합니다.
영상화를 할 것이므로, 대사를 한 장면에 다 넣지 않고, Scene을 쪼개서 대사를 입력합니다.
Runway Gen-2로 영상을 만듭니다. (아직 Runway 멀었습니다…)
각 컷별로 위에서 midjourney 생성시 사용했던 프롬프트를 사용합니다.
너무 서양 스타일로 영상이 제작되여 한국웹툰 용 프롬프트(기존에 미드저니에서 describe로 가져온)을 별도 Preset으로 설정합니다.
Capcut에서 각 영상을 붙입니다.
각 시나리오별로 수작업으로 하나씩 붙입니다.
mp4 파일로 추출합니다.
Metricool에서 올립니다. (수요일 이후에 업뎃하겠습니다.)
자세한 프로세스 시작합니다.
1. 클로드에서 주제와 주요 사항 결정하기
제목, 구조, 스토리 전개방법, 대사 범위 등을 지정합니다.
아티팩트로 나온 결과를 보면서 추가적인 피드백을 하여, 수정합니다. 장면별 등장인물의 대사를 명확하게 표기하고, 등장인물 간의 커뮤니케이션이 일방향이 아니고 양방향으로 구성하는 것을 보완했고, 미드저니로 만들어야 하니, 배경과 장면에 대한 세부적인 묘사도 추가하였습니다. 약 10분 정도 피드백 받으면서 아래처럼 완성을 하였습니다.
총 3개의 스토리이고, 스토리별 Scene은 3개, Scene내의 대화는 2-3개로 구성되게 설계되었습니다.
그중 스토리 1개를 먼저 공유합니다.
2. 클로드로 미드저니 스크립트를 만듭니다.
먼저 미드저니 프롬프트로 만들기에 충분한지 검수하기 위해 추가할 것은 더 없는지 물어봤습니다.
의 내용이 제가 기대 이상이라 몇가지만 피드백 주고 아티팩트에 반영하도록 했습니다.
등장인물의 묘사가 시나리오와 장면마다 조금씩 흔들리고 있어서, 주의를 주고 조정을 했습니다. 남자, 여자가 지정이 안되어 있는 것도 원인 같아 명확하게 지정했습니다.
이제 스토리 3개 x 씬 3개에 대한 미드저니 프롬프트를 각각 다 만듭니다. 단, 씬1에서 만든 미드저니 프롬프트를 씬 2에서 참고하게 하고, 씬 2에서 만든 프롬프트를 씬 3 프롬프트에서 참고하도록 요구했습니다.
아래는 스토리 1의 씬1 번 미드저니 프롬프트입니다.
프롬프트 완성했습니다.
3. 미드저니에서 이미지 만들기
어떤 스토리로 이미지를 만들 것인지 정했습니다. 하지만, 스타일 및 캐릭터 레퍼런스를 활용해서 좀더 현실적인 PM과 개발자 모습을 가져오려고 합니다. 네이버 웹툰의 “오피스 누나 이야기” 웹툰 등장인물을 참고로 하여 그림을 그려보기로 합니다.
미드저니에게 이미지를 설명하고 이 이미지를 레퍼런스로 하기 위해서 업로드합니다.
이 이미지를 레퍼런스로 시나리오 1의 장면 1을 만듭니다.
약 10분 동안 장면 1을 만들고, 장면2의 프롬프트를 넣고 장면 1의 이미지를 레퍼런스로 넣고, 반복하고, 장면 3의 프롬프트를 넣고 장면 2의 이미지를 레퍼런스로 넣고 하는 것을 반복합니다.
시나리오 1을 만들 때는 스타일레퍼런스 중심으로 쓰고, 스타일 가중치, 캐릭터 가중치를 쓰지 않았습니다. (가중치를 안써도 어느정도 나아지는 거 같았어요) 옷이 조금씩 바뀌고 외모가 조금씩 달라집니다만…
이제 시나리오 2로 넘어갑니다.
시나이로 2부터는 —sw, —cw를 적극적으로 써보기로 합니다. 좀더 잘하고 싶었습니다.
첫번째 이미지를 선택하고 두번째, 세번째 이미지도 선택합니다. 아무래도 등장인물이 2명이라서, 스타일이 일정하게 유지하는게 쉽지 않은 거 같습니다.
시나리오 3도 반복합니다. 총 9개 이미지 만드는데 1시간 정도 걸렸습니다.
4. 캔바에서 기본 대사 넣기
미드저니에서 작업한 이미지를 모두 캔바로 가져옵니다. 캔바에서는 각 등장인물의 대사를 순서대 로 대사를 입력합니다. 영상으로 연결할 것이므로, 대사마다 이미지를 순서대로 연결합니다. 즉 대사에 이미지를 하나씩 붙이며, 이미지를 중복사용합니다.
아래처럼 말하는 사람의 말풍선을 장면마다 연결합니다.
30분 동안 진행하면 아래처럼 최종 이미지가 나옵니다.
9개의 이미지가 27개의 이미지로 3배 늘어납니다. 말풍선이 추가되었기 때문입니다.
Canva 작업은 한번 해봐서, 시간이 상대적으로 적게 들었습니다.
5. Gen2 로 영상 만들기
런웨이 Gen-2로 만들어봅니다.
마침 오늘 Gen-3가 제대로 풀리긴 했는데, Image-to-Video 기능은 아직 없네요. 처음 시도해보는 것인 만큼 기대를 갖고 있지만, 퀄리티는 보장을 하기 어려웠습니다. (런웨이 월 결제하고 또 영상시간 부족해서 10불 더 돈 냈습니다.)
이미지를 비디오로 바꾸어봅시다.
Runway 사이트로 갑니다.
로그인을 하면 아래와 같은 콘솔 레이아웃이 나옵니다.
Image to Video 영역을 누릅니다.
위 같은 화면 구성을 갖고 있습니다. 이미지만 넣어도 영상을 만들어줍니다. 하지만 저는 이미 미드저니용으로 장면별 미드저니 프롬프트가 있습니다. 아래 프롬프트 영역에 미드저니 프롬프트도 넣습니다.
생각보다 퀄리티가 안나옵니다. 아직 런웨이 멀었습니다. 특히 저는 한국 웹툰 스타일로 진행하다보니, 이쪽은 학습이 안되어있는 거 같고, 서양 스타일이 자꾸 들어갑니다.
커스텀 프리셋을 설 정해서 한국웹툰 스타일을 강제로 먹입니다. 그러자, 나아지기 시작합니다.
시나리오1 영상 모두 완료했습니다. 이제 시나리오 2로 넘어갑니다. 이제 좀 수월해집니다. 프롬프트, 프리셋 설정하고, Generate 4S 를 2번 누릅니다. 2개 결과물 중에서 골라서 결정합니다.
반복합니다. 이제 시나리오 2 완성입니다. 이제 Queue를 기다리지 않고, 쭉쭉 Generate 4S 를 누릅니다. 결과를 보고 Generate 4S를 눌렀지만, 시나리오 3은 더 쉬워질 줄 알았습니다만…
시나리오3은 등장인물이 많습니다..
주인공 2명을 제외한 다른 등장인물 통제가 안됩니다…
(런웨이 사용성의 문제를 찾았습니다. 그리고 좋은 점도 찾았습니다.)
6. Capcut으로 각 장면별 영상을 통합하기
Capcut은 처음 쓰지만, 쓰기 쉽네요. 바로 시나리오 내의 장면/씬별 영상 통합을 시작합니다.
mp4 파일로 내보냅니다.
7. 결과 점검
시나리오 1의 결과를 보시죠!
시나리오 1의 이해를 위해 설명을 드리자면, “AI 학습에서 데이터의 편향성과 다양성 확보의 중요성”을 얘기합니다.
시나리오 2의 결과를 보시죠! 조금 더 낫죠?
시나리오 2는 “기술의 발전과 사용자 경험 사이의 균형을 찾는 것의 중요성”을 얘기하고 싶었습니다.
시나리오 3의 결과를 보시죠. 조조금 더 낫죠?
시나리오 3은 “AI의 창의적 문제 해결 능력과 인간과의 협업을 통한 혁신적 해결책 도출”하는게 가능하다!는 이야기를 하고 싶었습니다.
8. Metricool로 예약발행을 합니다.
위 영상 컨텐츠와 Claude로 만든 주제를 넣습니다.
일정을 설정하여 예약하였습니다.
위 영상을 첨부해서 Thread에 올리도록 설정하였습니다. 이상입니다.
허세임 파트너님께도 감사의 인사를 전합니다.
11기SNS자동화 화이팅
제 Threads는 https://www.threads.net/@makegrowth.ai 입니다.
이글을 보신 분은 꼭 제 Threads 팔로우 부탁드립니다.
아직 영상시대는 오지 않았고, 제 역량도 부족했습니다.
실패의 경험이지만, 도움이 되셨길 바랍니다. 혹시나 도움이 되셨다면 Threads 팔로우 부탁드립니다.