도입부 (Introduction)
영상이나 오디오 콘텐츠를 제작할 때 가장 손이 많이 가면서도 결과물의 퀄리티를 결정짓는 요소가 바로 자막 싱크입니다. 저 역시 최근 mp3 파일을 입력하면 내용을 분석해 자막(SRT) 파일을 만들어주는 자동화 프로세스를 시도했습니다.
단순히 텍스트만 뽑아내는 것이라면 기존의 거대 언어 모델들로도 충분할 줄 알았습니다. 하지만 실제 결과는 참담했습니다. 40초짜리 오디오 파일의 자막을 만들라고 시켰더니, 내용은 그럴듯하지만 정작 30초 지점에서 모든 대사가 끝나버리는 현상이 발생했습니다. 말하는 속도와 자막의 타임스탬프가 전혀 맞지 않아 수동으로 수정하는 게 더 빠를 정도였죠.
사용 도구 및 진행 방법 (Methodology)
Gemini 3.1 Pro,GPT-5.4, Claude Opus 4.6 등 현존하는 최고의 모델들에게 코드를 짜달라고 부탁하고 직접 로직을 세워봤지만, 오디오의 물리적 시간대를 정확히 계산해 자막 싱크를 맞추는 데는 모두 한계를 보였습니다. 그러다 문득 텍스트 음성 합성(TTS) 분야에서 독보적인 ElevenLabs가 떠올랐습니다.
ElevenLabs API (Speech-to-Text / Timestamp기능)
gemini
엘리븐 랩스 데이터 샘플
```
{
"text": "mental",
"start_time": 2.0,
"end_time": 2.299
},
{
"text": " ",
"start_time": 2.299,
"end_time": 2.399
},
{
"text": "game",
"start_time": 2.399,
"end_time": 2.639
},
{
"text": " ",
"start_time": 2.639,
"end_time": 2.859
},
{
"text": "and",
"start_time": 2.859,
"end_time": 2.96
},
{
"text": " ",
"start_time": 2.96,
"end_time": 3.019
},
{
"text": "regret",
"start_time": 3.019,
"end_time": 3.5
},
{
"text": " ",
"start_time": 3.5,
"end_time": 3.899
},
{
"text": "is",
"start_time": 3.899,
"end_time": 4.019
},
{
"text": " ",
"start_time": 4.019,
"end_time": 4.079
},
```
흐름
ElevenLabs에 오디오 분석을 시키고 결과를 json으로 받습니다.
제미나이에 mp3와 ElevenLabs의 json을 함께 업로드 하고 자막 데이터를 만들어달라고 합니다.
결과 및 기술적 분석 (Outcome & Analysis)
결과는 대만족이었습니다. 기존 LLM들이 오디오의 길이를 추측하거나 대략적인 간격으로 자막을 배치했다면, ElevenLabs는 실제 발화 시점을 단어 수준으로 정확히 짚어냈습니다. 40초 분량의 오디오에서 마지막 단어가 끝나는 지점까지 밀림 현상 없이 완벽하게 일치했습니다.
특히 놀라웠던 점은 처리 속도입니다. 복잡한 로직을 직접 구현할 필요 없이 잘 설계된 API 결과물만 가져와서 형식만 바꾸면 되었기에 개발 리소스가 획기적으로 줄어들었습니다.
회고와 배운 점 (Insights & Future Plans)
Pros & Cons
장점: 단어 단위의 정밀한 타임스탬프 제공으로 싱크 밀림 현상 완벽 해결.
단점: 일레븐 랩스를 구독해야 했지만, $5 짜리로도 꽤 많은 시간 사용할 수 있을거 같음.
시행착오와 해결 처음에는 범용 AI 모델들이 모든 것을 다 해결해 줄 것이라는 환상이 있었습니다. 하지만 특정 분야(오디오 분석)에 특화된 엔진이 왜 필요한지 이번 기회에 뼈저리게 느꼈습니다. 아무리 똑똑한 모델이라도 물리적인 소리 파형과 시간축을 정밀하게 매핑하는 작업은 전용 도구를 쓰는 것이 정신 건강에 이롭습니다.
향후 계획 이제 싱크 문제는 해결되었으니, 이를 바탕으로 다국어 자막 번역과 동시에 각 언어별 발화 속도에 맞춘 자동 자막 생성 파이프라인을 구축해 보려 합니다.
자막 싱크 문제로 밤새 고민하며 프롬프트를 수정하고 계신 분들이 있다면, 멀리 돌아가지 마시고 ElevenLabs의 오디오-텍스트 변환 기능을 활용해 보세요. 여러분의 시간이 수십 배는 절약될 것입니다.
