무엇을 시도했나
이번에는 두 가지를 해봤습니다.
기사 내용에 맞는 이미지 를 자동으로 만드는 구조 개선
기사 한 편을 세로 쇼츠 영상으로 자동 제작
쇼츠는 역사 콘텐츠 느낌으로 만들었고, 이미지는 유화풍으로 통일했습니다.
왜 바꿨나
기존 방식은 이미지를 만들 때 문제가 많았습니다.
섹션이 달라도 비슷한 그림이 계속 나옴
한국어와 한문이 이미지 프롬프트에 그대로 들어감
중요한 설명이 너무 뒤에 있어 모델이 제대로 반영하지 못함
“글자 넣지 마라” 같은 지시가 오히려 글자를 만들기도 함
특히 각 섹션마다 다른 그림을 만들고 싶었는데 가장 중요한 앞부분의 설명이 거의 똑같았던 것이 가장 큰 문제였습니다.
어떻게 바꿨나
구조를 단순하게 다시 만들었습니다.
먼저 기사 내용을 보고 각 섹션에 맞는 장면을 따로 설계하게 했습니다.
예를 들어,
시장 이야기 → 현대의 투자자
손자병법 설명 → 고대 중국 장면
투자 교훈 → 현대와 고대를 섞은 장면
처럼 내용에 따라 인물, 구도, 시대가 달라지도록 했습니다.
또 이미지에서 꼭 보여야 하는 요소를 프롬프트 앞부분에 넣고, 분위기나 세부 묘사는 뒤로 보냈습니다.
그 결과 섹션마다 이미지가 훨씬 다르게 나오기 시작했습니다.
테이블 위에 촛불을 들고 있는 남자의 그림
쇼츠도 자동으로 만들었다
기사 한 편을 넣으면 다음 과정이 자동으로 이어집니다.
기사 → 쇼츠 대본 → 나레이션 → 자막 → 이미지 → 영상
영상은 한 문장마다 이미지 한 장을 사용하 도록 만들었습니다.
나레이션에서 한 문장이 끝나는 시점에 맞춰 이미지도 바뀌기 때문에, 영상 길이를 따로 계산할 필요가 없었습니다.
결과적으로 약 40초짜리 세로 쇼츠를 자동으로 만들 수 있었습니다.
양복을 입은 남자가 책상에 글을 쓰고 있다
비용도 줄였다
처음에는 작성 후보 글마다 이미지를 미리 만들었습니다.
하지만 실제로 발행하지 않는 글에도 이미지 생성 비용이 들어갔습니다.
그래서 지금은 발행할 글을 선택한 뒤에만 이미지와 쇼츠를 만들도록 변경했습니다.
필요 없는 이미지 생성 비용을 줄일 수 있었습니다.
결과
기존에는
비슷한 이미지가 반복되고
한국어가 프롬프트에 섞이고
스타일을 바꾸려면 코드를 수정해야 했습니다.
지금은
섹션마다 다른 장면을 만들고
이미지 스타일을 쉽게 교체할 수 있고
기사 하나로 이미지와 쇼츠까지 만들 수 있습니다.
또 발행하기로 결정한 글에만 이미지를 생성하도록 바꿨습니다.
가장 크게 배운 점
1. 중요한 내용은 프롬프트 앞에 넣어야 한다
처음에는 “고대 중국”이라고만 적었더니 유럽식 갑옷을 입은 인물이 나왔습니다.
그래서 중국인, 비단옷, 중국식 갑옷처럼 실제로 그림의 모습을 결정하는 단어를 앞부분에 명확하게 넣었습니다.
그 뒤부터 원하는 시대 분위기가 훨씬 잘 나왔습니다.
2. AI에게 부탁하는 것보다 규칙을 정하는 게 낫다
“각 장면을 다르게 만 들어줘”라고만 하면 비슷한 장면이 나올 수 있습니다.
그래서 인물이나 카메라 구도가 겹치지 않도록 아예 규칙으로 만들었습니다.
AI에게 잘해달라고 요청하는 것보다 결과를 검사하는 구조를 만드는 게 훨씬 안정적이었습니다.
3. 자동 검증만 믿으면 안 된다
영상 파일은 정상적으로 만들어졌지만, 실제 화면에서는 자막이 깨져 나온 적이 있었습니다.
결국 프레임을 직접 보고 나서야 문제를 발견했습니다.
자동화에서도 마지막에는 사람이 결과물을 한번 확인하는 과정이 필요하다는 걸 다시 느꼈습니다.
앞으로 해볼 것
지금까지는 토큰 부족으로 인해 무료 방식으로 앞의 내용과 같이 콘텐츠를 제작했으나,
다음에는 이런 것들을 추가해 더 고품질의 콘텐츠를 생산해보려고 합니다.
그록, 힉스필드 등의 MCP를 ai와 연결해 더 자연스럽게 영상 제작하기
내용에 잘 맞는 영상 프롬프트 자동 생산 프로세스 만들기
이미지 오류를 AI가 자동으로 검사하기
배경음악 추가
유튜브 업로드까지 자동화(가 될까...?)
수묵화나 판화 스타일 추가
지금은 기사 작성 → 이미지 생성 → 쇼츠 제작까지는 한 흐름으로 연결된 상태입니다.
