Gen2 vs Gen3 비교 및 o1 preview로 스토리보드와 프롬프트 생성해보기
2024.10.04

배경 및 목적
지난번 스터디에서 하던 뉴스레터 자동화를 계속 진행 중인데,
이번 스터디를 통해 영상 제작 방법에 대해 공부하여
뉴스레터에 대한 영상 제작까지 자동화 프로세스에 집어넣고자 합니다.
Gen2나 Gen3에 대해 써보지 않아서 스터디장님이 첫 OT 때 알려준 방법들로
테스트 진행해보았습니다.그 뒤에는 스토리보드 작성 및 각 AI 서비스들에 대한 프롬프트 생성을 진행하였습니다.
참고 자료
활용 툴
Runway Gen2, Gen3 (영상 제작 및 비교)
GPTs Runway Magic Prompt (Gen2 프롬프트 생성)
GPT o1 preview (스토리보드 / Suno & Midjourney & Gen3 프롬프트 생성)
실행 과정
Gen2에 집어넣을 수 있는 프롬프트 길이에 제한이 있어서 (320자) 320자로 축약한 뒤, 한번 더 Manual 로 수정
특정 인물 사진으로 애교 영상 비교 (Gen2 vs Gen3)
Gen2
Gen3
뉴스레터 샘플 넣고 o1 preview에게 스토리보드 및 Suno & Midjourney & Gen3 Prompt 생성 요청



결과 및 인사이트
Gen2의 경우, 인물 영역 설정을 하더라도 인물의 얼굴이 바뀌는 문제가 발생하였음.
Gen3의 경우, Gen2와 같이 별도 인물 영역 지정하지 않더라도 영상 제작 잘 이루어짐
o1 preview 를 통해 스토리보드 및 각 AI Tool들의 프롬프트 작성이 잘 이루어졌고, 이에 대한 테스트를 하며 스토리보드 및 프롬프트 조정해나갈 예정임.
일레븐랩스를 활용해서 영상 내 목소리 집어넣을까 함.



o1을 적극적으로 활용하시는 모습이 인상적이였습니다. (저도 기획에 틈틈히 활용하고 있습니다)
어떤 뉴스레터를 만들고 계시는지 (혹은 계획하고 계신지) 궁금하네요. 어느 부분을 자동화 해서 사용하실건지도 궁금합니다. 스터디에서 많은 이야기 나누면 좋겠습니다. 😄