영상 자막 교정의 핵심 요약
자막 추출 → 맥락에 맞는 자막 교정 → 자막 삽입 파이프라인 스킬 생성
영상 제작을 할 때 자막 작업은 필수인데요.
젠스파크, 캡컷 등 자동 자막 생성 툴은 너무 많지만 내 맥락을 몰라서 자꾸 오타가 나는 문제를 해결하고싶었습니다. 영상 볼 때 슥 지나가는거라 신경 쓰지말자 하면서 너무 신경 쓰이더라구요.. ^^
(리니어 > 린이어, 클로드 코드> 플로드코스트 뭐 이런 ...)
자막 교정 에이전트의 파이프라인 구축
처음에는 단순히 자막 교정만 요청했습니다.
Open optionsauto
에이전트를 만들고 싶은데 유튜브에 올라갈 영상에 자막을 생성하는 에이전트야. 근데 자막 생성에는 오류가 많잖아? 오타라던지 그런걸 AI가 잡아내주는 역할을 했으면 해.
Claude가 자막 교정 에이전트를 뚝딱 만들어줬어요. 근데 자막 교정이 되면 음성 추출이랑 자막에 입히는 것도 가능하지않을까?해서 그냥 무작정 요청을 해보았고 기특한 claude code가 방법을 찾아주었습니다.
파이프라인 구조 설계 및 실행
Claude가 제안한 구조는 이랬다.
에이전트 3개: 각 단계를 독립적으로 실행 가능
subtitle-extract- OpenAI에서 만든 자동 음성 인식(ASR) 시스템 Whisper로 자막 추출subtitle-proofread- AI 자막 교정subtitle-burn- FFmpeg로 영상에 자막 입히기
스킬 1개: 위 에이전트 3개를 순서대로 호출
subtitle-pipeline- 영상 경로만 주면 끝까지 자동 실행
이렇게 하면 전체를 한 번에 돌릴 수도 있고, 교정만 다시 하고 싶을 때는 해당 에이전트만 실행할 수도 있다.
용어사전 자동 학습의 이점
자막 교정에서 가장 만족스러운 것은 용어사전 자동 학습 기능.
교정하다가 새로운 STT 오류 패턴을 발견하면, Claude가 "이 패턴을 용어사전에 추가할까요?"라고 물어본다. 승인하면 .claude/glossary.jsonl에 저장되고, 다음 영상부 터는 같은 오류를 자동으로 잡아낸다.
예를 들어 "플로드 → 클로드" 패턴을 한 번 학습시키면, 이후 모든 영상에서 "플로드"가 나올 때마다 자동 교정된다. 영상을 처리할수록 점점 똑똑해지는 구조입니다.
문맥 인식 교정의 중요성
또 하나 좋았던 건, Claude가 영상의 맥락을 파악한다는 것 (기특)
그리고 확신이 없는 교정은 무조건 사용자에게 물어보게했어요!
Open optionsauto
⚠️ 확인 필요: "3명님 했던 것 중에" → "승엽님 했던 것 중에" (인명 교정 - 승엽님이 맞는지 확인 필요)
이렇게 리포트로 보여주고 확인을 받은 후 다음 단계로 넘어간다.
자동화하면서도 중요한 건 사람이 체크할 수 있게 구현했어요.
Whisper 속도 문제 해결
중간에 막힌 부분도 있었다. Whisper medium 모델로 돌렸더니 CPU에서 너무 느렸어요.
생각해보니 AI가 어차피 교정할거라 추출단계에서의 퀄리티가 중요할 것 같지않아 추출 모델의 스펙을 줄이고 속도를 개선했습니다.
파이프라인의 실제 활용
이제 파이프라인이 완성됐으니 실제로 활용해보고!
@IMG_5608.MOV 이거 자막 작업해줘
이 한 마디로 닿 님의 사내 발표 영상 자막 파일/번인된 영상 제작 완료!
Whisper가 자막 추출 (40개 블록)
AI가 자막 교정 (20건 수정, 50% 교정률)
FFmpeg가 영상에 자막 번인 or srt 파일로 소프트서브 선택 가능
아, 폰트나 스타일도 변경 가능합니다!
영상 자막 교정의 결과
Before vs After 비교
항목
Before
After
자막 교정
Whisper 오타 수동 교정
AI가 자동 교정 + 헷갈리는 건 확인
작업 방식
추출 → 교정 → 번인 각각 수동
한 마디로 전체 파이프라인 실행
용어 학습
매번 같은 오타 반복 수정
한 번 학습하면 자동 적용
최종 결과물
에이전트 3개 + 스킬 1개 → 사내 배포 완료
AI 활용 팁과 배운 점
효과적인 AI 활용법
처음부터 완벽하게 요청 안 해도 된다 - "자막 교정"만 요청했는데 대화하면서 전체 파이프라인으로 확장됐다
"클코가 할 수 있는 일인가?" 싶으면 그냥 물어보면 된다 - 영상 작업과 관련된거라 이게 되려나~ 했는데 역시나 클로드코드한테 물어보니까 됐어요!
사내에 배포 완료했고 이제 팀원들도 영상 넣고 한 마디면 자막 작업이 완료됩니다!
추후에는 Remotion이랑 연결해서 자막 애니메이션이나 하이라이트 클립 자동 생성까지 확장해볼 수도 있을 것 같아서 추후 영상 편집에 활용해보려고합니다.
