Remotion + 안티그래비티+대시보드 연동 도전

꽃게 등에 고프로를 달았더니 — AI 자연 다큐 POV 영상 제작기

소개

릴스에서 꽃게 등에 카메라를 달아 갯벌 굴 속을 탐험하는 영상을 보고 깊은 인상을 받았습니다. AI로 비슷한 걸 만들 수 있을지 도전해봤습니다.

기존에 다이어트 관련 영상을 만들어봤지만 캐릭터 일관성 문제를 계속 겪었습니다. 이번엔 POV(1인칭 시점) 방식을 선택해서 캐릭터 얼굴이 나올 필요가 없게 만들었습니다. 다른 스터디원들의 사례를 보면서 캐릭터 일관성이 AI 영상 제작의 가장 큰 난관임을 확인하고, 처음부터 그 함정을 피하는 전략을 세웠습니다.

목표:

• BBC 자연 다큐멘터리 스타일로 한국 꽃게 굴 탐험 POV 영상 제작

• 안티그래비티 하네스 대시보드 + Remotion 연동 완주

진행 방법

사용한 도구

1️⃣ 스토리 및 씬 설계

처음엔 3씬으로 시작했다가 "사람이 꽃게에게 고프로를 달아주는 장면"이 있어야 자연스럽다는 걸 깨닫고 4씬으로 확장했습니다. 마지막 씬은 단순히 도망가는 게 아니라 숨어서 천장을 지켜보는 장면을 추가해 감정이입 포인트를 만들었습니다.

2️⃣ 이미지 생성 (Gemini)

핵심 깨달음: 살아있는 한국 꽃게는 청회색입니다. 처음에 "붉은 꽃게"로 지정했다가 삶은 꽃게 색이 나왔습니다. 아래 문구를 모든 씬에 고정으로 넣었습니다.

공통 고정 문구:

BBC 자연 다큐멘터리 스타일,
사실적인 사진 느낌, 9:16 세로 비율.
살아있는 한국 꽃게, 청회색 등껍데기, 올리브빛 무늬.
빨간색 게 아님, 삶은 게 아님,
버섯 없음, 판타지 없음, 인공 건축물 없음.

s03 프롬프트 (거대한 굴 왕국):

청회색 한국 꽃게 등 액션캠 POV,
고프로 어안렌즈,
좁은 터널을 지나 거대한 지하 공간이 펼쳐지는 장면.

층층이 파인 자연 진흙 벽에 수백 마리의 꽃게들이
각자 다른 활동을 하고 있어:
- 위층: 줄지어 이동하는 꽃게 행렬
- 중간: 두 마리가 집게발을 맞대고 싸우는 중
- 오른쪽 구석: 어미 꽃게가 주황색 알 덩어리를 품고 있음
- 왼쪽 구석: 탈피 중인 흰색 꽃게, 빈 껍데기가 옆에 있음
- 중앙 바닥: 수십 마리가 분주히 움직임

천장 균열 사이로 자연광 줄기, 극적인 명암 대비.
BBC 자연 다큐멘터리 스타일, 실사 사진, 9:16.

s04 프롬프트 (들켰다):

천장 위에서 신발 밑창이 진흙을 눌러
굴 천장이 아래로 볼록 눌리는 장면.
진흙 균열과 흙 부스러기가 떨어짐.
수백 마리 꽃게가 옆걸음으로 순식간에 사방으로 도망.
벽 구멍으로 빨려 들어가며 텅 빈 바닥만 남음.
이후 구멍에서 눈과 집게발만 빼꼼 내밀고
천장 지켜보는 꽃게들.
모션 블러, BBC 다큐멘터리 스타일, 실사, 9:16.

3️⃣ Flow(Veo)에서 영상 클립 생성

각 이미지를 참조로 업로드하고 모션 프롬프트를 추가했습니다. Veo 네이티브 음성으로 한국어 나레이션을 영상 안에 직접 포함시켰습니다. 클로바 보이스도 시도해봤지만 Veo 네이티브가 영상 분위기와 훨씬 잘 맞았습니다.

Flow 영상 프롬프트 구조:

Reference image: s0X-image

[영상 묘사]
[0-X초] 장면 설명
[X-X초] 장면 설명

Audio: Korean male narrator, calm BBC documentary tone:
"나레이션 텍스트"

Photorealistic, 9:16, 5 seconds.
No jumping, only sideways movement.

4️⃣ 하네스 대시보드에 ep02 추가

안티그래비티에 지시:

projects/kkulim-22-harness-roadmap 안에
꽃게 굴 탐험 ep02를 새 에피소드로 추가해줘.
- episodes/ep02.md 생성
- 제목: 꽃게 굴 탐험 POV
- 플랫폼: 유튜브 쇼츠, 9:16, 20초
- 캐릭터: 없음 (1인칭 POV)
- 음성: Veo 네이티브 (영상에 포함)
- 씬 4개: s01~s04
scenes.json에도 ep02 씬 4개 추가해줘.

5️⃣ Remotion 설치 및 구동

# remotion 폴더로 이동
cd "C:\dev2\22-kkulim\projects\kkulim-22-harness-roadmap\remotion"

# 설치
npm create video@latest -- --template blank .
npm install

# 미리보기 실행
npm run dev

http://localhost:3000 에서 Remotion Studio 실행 확인.

6️⃣ Remotion Composition 코드 작성

안티그래비티에 지시:

remotion/src/Composition.tsx를 ep02 꽃게 굴 탐험용으로
처음부터 새로 작성해줘.

[씬 구성 - 총 600프레임 / 20초 / 30fps]
s01 (0-150프레임): s01-video.mp4, 자막 페이드인
s02 (150-300프레임): s02-video.mp4 + PIP 효과
  (오른쪽 상단 s03-image.jpg, 빨간 ● CAM 표시)
s03 (300-450프레임): s03-video.mp4 + 고프로 REC UI
  (● REC + 타임코드 + 배터리)
s04 (450-600프레임): s04-video.mp4 + 자막 2개
  (450-510: 첫 번째 자막, 540-600: 두 번째 자막)

9:16(1080x1920), 30fps, 20초
자막: 흰색 굵게, 텍스트 그림자, 하단 10%
이미지 확장자: .jpg

결과와 배운 점

배운 점

1. POV 컨셉이 캐릭터 일관성 문제를 완전히 우회합니다. 얼굴이 안 나오면 씬마다 캐릭터가 바뀌는 문제 자체가 없어집니다. 다른 스터디원 사례들이 캐릭터 일관성에서 무너진 걸 보고 처음부터 이 방향으로 간 게 주효했습니다.

2. 살아있는 꽃게는 청회색입니다. "붉은 꽃게"는 삶은 꽃게 색입니다. AI에게 정확한 색상 정보를 주지 않으면 계속 빨간 꽃게가 나옵니다. 살아있는 한국 꽃게, 청회색, 요리된 게 아님을 반드시 명시해야 합니다.

3. Remotion은 생성 도구가 아니라 편집·합성 엔진입니다. "영상 만들어줘"(❌)가 아니라 "이 파일을 이 타이밍에 배치하는 코드를 써줘"(✅)라고 시켜야 합니다. 디노에뜨 님 사례에서 배운 핵심입니다.

4. Veo 네이티브 음성이 예상보다 자연스러웠습니다. 별도 TTS 도구 없이 영상 생성 시 한국어 나레이션을 함께 넣을 수 있어서 작업 단계가 줄었습니다.

5. Remotion의 public/ 폴더 규칙. Remotion은 public/ 폴더 안의 파일만 읽을 수 있습니다. outputs/ 폴더의 파일을 직접 참조하면 404 오류가 납니다. 영상 파일을 remotion/public/ep02/에 복사해야 합니다.

시행착오

• 꽃게 색상 오류 — 처음 몇 번 생성이 전부 빨간 꽃게로 나왔습니다. 요리된 게 아님, 살아있는 생꽃게 추가 후 해결됐습니다.

• 고프로 방향 문제 — 꽃게 등에서 고프로 뒷면(화면)이 보여야 하는데 AI가 계속 앞면(렌즈)을 그렸습니다. 프롬프트를 수십 번 바꿔봤으나 해결 안 됐고, Remotion에서 고프로 REC UI 오버레이를 덧씌우는 방식으로 우회하기로 했습니다.

• dev vs dev2 경로 혼란 — 안티그래비티가 코드를 C:\dev2\22-kkulim에 저장했는데, PowerShell은 C:\dev\22-kkulim에서 실행되는 문제가 발생했습니다. 두 폴더가 동시에 존재해서 계속 엉뚱한 곳에서 실행됐고, 수동으로 파일을 복사해서 해결했습니다. 앞으로 항상 C:\dev\22-kkulim을 기준으로 사용합니다.

• Remotion public/ 폴더 오류 — outputs/ep02/의 파일을 코드에서 직접 참조했더니 404 오류가 발생했습니다. remotion/public/ep02/로 파일을 복사하고 경로를 staticFile('ep02/s01-video.mp4') 형식으로 수정해서 해결했습니다.

• MyComp가 계속 나오는 문제 — Root.tsx에 새 컴포지션이 등록이 안 됐었습니다. 안티그래비티에게 Root.tsx 수정을 명시적으로 요청하고 나서 ep02-crab-pov가 정상 표시됐습니다.

현재 상태

✅ ep02 에피소드 대시보드 등록 완료
✅ 이미지 4장 생성 완료
✅ 영상 클립 4개 생성 완료 (Veo 한국어 음성 포함)
✅ Remotion 설치 완료
✅ Remotion Studio에서 ep02-crab-pov 미리보기 확인
⏳ 최종 렌더링 (final.mp4) 진행 중

앞으로의 계획

• final.mp4 렌더링 완성 후 유튜브 쇼츠 업로드

• s02씬 PIP(화면 속 화면) 효과 완성 — 꽃게 뒤따라가는 메인 화면 + 오른쪽 상단 고프로 CAM 화면

• s03씬 고프로 REC UI 오버레이 완성

• 이 구조를 템플릿으로 다음 에피소드 제작

도움 받은 글

• 꽃잔치 님 — 결혼 축하 영상 제작기 (Remotion 자막 싱크, 가로세로 전환 문제 인사이트)

• 디노에뜨 님 — Remotion 도전기 ("영상 만들어줘"가 아니라 편집 작업으로 지시해야 한다는 핵심 교훈)

• 연수사랑 님 — 새로운 에피소드 도전 (캐릭터 일관성 문제 → POV 방식으로 우회하는 아이디어)

• 공부하는밍밍 님 — 쿼카 숏폼 제작기 (Gemini + Flow 조합 워크플로우 참고)