긴 유튜브 영상을 "빠르게 읽고 끝낼 수 있는 글"로 바꾸는 스킬로
2026.07.28

👤 이런 분께
저장만 해두고 안 본 영상이 쌓여 있는데, 요약 서비스를 써봐도 “그래서 뭘 봐야 하지”가 안 풀리는 분
2시간짜리 녹화를 AI에게 맡겼다가 결과가 이상해진 경험이 있는 분
내 손으로 도구를 만들어 쓰는 쪽에 관심이 있는 분
💡 왜 만들었나
“나중에 볼 동영상”을 저장만 하고 쌓여만 갑니다. 정보가 거기 있다는 건 아는데 흡수가 안 되고 그냥 휘발됩니다. 영상은 전체를 재생해야만 내용을 알 수 있는 매체라서, 시간이 조금 났을 때 “이거 볼까” 하고 고를 수조차 없습니다. 목록만 길어집니다.
그래서 요구가 두 가지였습니다. 전체를 안 보고도 개요를 알게 해줄 것, 그리고 볼 데를 찍어줄 것. 그래서 결과물에 요약 산문과 타임스탬프 링크가 같이 들어가게 됐습니다. (사실 22기 지피터스 스터디에서 뽀짝이가 정성스럽게 베스트발표회 요악해준 결과물을 벤치마킹하면서 시작했습니다...)
그리고 저는 의료 지식에 대한 올바르지 않는 정보가 섞인 영상을 주기적으로 봐야하는데, 이전에는 어느 대목이 문제인지 집어내려면 영상을 처음부터 끝까지 틀어보는 수밖에 없었습니다. 다만 이쪽은 요구가 달라서 파이프라인으로 빼기로 했고 이 글에서는 다루지 않습니다.
📦 무엇이 나오나
유튜브 주소 하나를 넣으면 마크다운 글 한 편이 나옵니다. 말로 설명하기 전에 실물부터 보여드리겠습니다. 아래는 실제로 영상을 요약해서 나온 결과물의 일부입니다. 예시로 넣은 영상은 제가 참여 중인 스터디의 1주차 녹화(2시간 10분)입니다. 링크는 어느 영상인지 드러나지 않게 가려 두었습니다.
🔗 첫째, 클릭하면 그 지점으로 점프하는 목차입니다
사본
- [24:19](https://youtu.be/영상ID?t=1459) 멀티 LLM 에이전트 팀 구조
- [24:49](https://youtu.be/영상ID?t=1489) 마스터-서브 에이전트 구조
- [25:00](https://youtu.be/영상ID?t=1500) 에이전트 간 쌍방향 소켓 통신
- [25:28](https://youtu.be/영상ID?t=1528) 지식베이스 + 팀별 에이전트 설정
- [27:57](https://youtu.be/영상ID?t=1677) 평가 루브릭의 근거 — LG AI연구원 평가 논문
- [28:21](https://youtu.be/영상ID?t=1701) LG AI연구원 평가 논문 소개
- [29:44](https://youtu.be/영상ID?t=1784) 전문가 표준 80개 투입
- [33:06](https://youtu.be/영상ID?t=1986) 할루시네이션은 도미노 — 초반 차단이 핵심
- [1:18:51](https://youtu.be/영상ID?t=4731) 세법 LLM 위키 파이프라인
- [1:21:45](https://youtu.be/영상ID?t=4905) 법제처 OPEN API로 법조문 수집
- [1:24:30](https://youtu.be/영상ID?t=5070) SHA256 지문으로 원문 무결성 확인바깥쪽 항목(- 로 시작하는 줄)이 발표 하나 또는 주제 하나의 단위이고, 안으로 들여쓴 항목이 그 안에서 이야기가 바뀌는 지점입니다. 위는 일부만 잘라 온 것이고, 이 영상 한 편에서는 바깥 항목 여덟 개에 안쪽 링크가 서른 개 넘게 붙었습니다. 제목도 제가 붙인 게 아니라 그 구간에서 실제로 나온 이야기로 뽑힌 것입니다.
📝 둘째, 각 구간의 요약 산문입니다
법조문은 법제처 OPEN API로 받아 와요. 들어오는 길은 인박스에서 시작해, 조문 단위로 쪼개면 스테이징으로 가고, 처리를 더 하면 최종 소스로 들어가요. 소스에는 법조문 원문만 넣고, 블로그나 전문가 해설은 낮은 티어로 뒀어요.
영상을 안 봐도 이 발표가 무슨 내용이었는지 알 수 있는 게 목표입니다. 궁금하면 위 목차에서 해당 시각을 눌러 그 장면만 보면 됩니다.
🖼️ 셋째, 화면 캡처입니다
발표자가 슬라이드를 띄우고 “이거 보시면”이라고만 하고 지나간 자리에는, 그 화면을 떠서 본문 옆에 넣습니다. 이건 뒤에서 따로 설명하겠습니다.
여기까지가 결과물입니다. 이제 만들면서 무너졌던 두 지점을 이야기하겠습니다.
🎙️ 2시간짜리 통 영상에서 음성인식이 무너졌습니다
처음에는 유튜브 자동자막만 받아다 쓰기로 했습니다. 유튜브에서 제공하는 자막이 아예 없는 경우, 음성인식으로 넘어가고, 자막이 있으면 품질과 무관하게 그걸 우선적으로 쓰는 방식이었습니다. 그런데 자동자막이 있긴 한데 품질이 나쁜 경우가 문제였습니다. 그래서 “같은 영상을 자동자막과 음성인식으로 각각 돌려서 뭐가 나은지 실제로 재보자”로 계획을 잡았는데, 숫자보다 사고가 먼저 왔습니다.
2시간 10분짜리 녹화를 mlx-whisper로 통째로 돌렸더니, 1시간 19분 지점부터 자막이 이렇게 나왔습니다.
(mlx whisper: 애플 실리콘(Apple Silicon) 맥(Mac) 환경에서 OpenAI의 음성 인식 모델인 Whisper를 매우 빠르고 효율적으로 실행할 수 있도록 MLX 프레임워크로 구현한 패키지입니다.)
사본
01:19:23.000 --> 01:19:26.000
네.
01:19:26.000 --> 01:19:29.000
네.
01:19:29.000 --> 01:19:32.000
네.이게 수백 줄 이어집니다. whisper 계열의 알려진 고질병입니다. 직전에 받아쓴 텍스트를 참고해서 다음 텍스트를 만드는 구조라, 한번 잘못 물리면 같은 말을 계속 반복하는 데 갇힙니다. 팬만 몇십 분 돌리고 결과물 절반을 못 쓰게 됐습니다.
✂️ 해결은 쪼개기였습니다
오디오를 5분 조각으로 잘라 조각마다 따로 받아쓰고, 각 조각의 시각에 그 조각이 영상 몇 분 지점에서 시작하는지를 더해 이어 붙였습니다. 조각이 짧으면 반복에 갇히기 전에 그 조각이 끝나 버립니다. 이게 “5분이면 원리적으로 안전하다”는 뜻은 아닙니다. 이번 영상에서는 조각 26개 전부 깨끗하게 나왔고, 통째로 돌렸을 때와 결과가 갈렸다는 관측입니다.
🔍 자동자막과 음성인식을 비교해 보니
차이가 제가 예상한 곳이 아니었습니다. 같은 구간(1시간 21분경)을 나란히 놓으면 이렇습니다.
유튜브 자동자막
사본
같고요. 그래서 보시면은 일단 법령 / 위키에 이런 폴더들이 있고요. 그래서 /
일단 법령들이 들어오는 / 길이 있습니다. 인박스는 제일 먼저 / 들어오는 곳이고 /
그래서 나중 어 / 그게 / 제가 닫아 놨는데 아무튼 오픈 / API라고 있어요.음성인식(5분 조각)
사본
그래서 보시면 일단 법령 위키에 이런 폴더들이 있고요
그래서 일단 법령들이 들어오는 길이 있습니다
인박스는 제일 먼저 들어오는 곳이고
제가 닫아놨는데 아무튼 오픈 API라고 있어요단어 정확도보다 문장이 온전한지가 갈렸습니다. 자동자막은 문장 중간을 뚝뚝 끊어서 조각으로 던지고 “어”, “그게” 같은 군말을 그대로 흘립니다. 음성인식판은 한 문장이 한 덩어리로 옵니다. 요약을 만드는 입장에서는 이 차이가 큽니다. 조각난 텍스트는 어디서 한 이야기가 끝나는지 판단하기가 어렵기 때문입니다.
재미있는 건 최종 요약 산문이 두개 버전에서 거의 같았다는 점입니다. 자동자막판을 만들 때 이미 문맥으로 깨진 부분을 메워서 쓰고 있었던 겁니다. 그럼 음성인식이 무의미했느냐면 그렇지 않습니다. 문맥으로 메우는 건 맞을 때는 티가 안 나고 틀릴 때만 사고가 됩니다. 원문이 깨끗해진다는 건 그 메우기를 덜 해도 된다는 뜻입니다. 눈에 보이는 개선이 아니라 사고 확률을 낮추는 쪽입니다. 다만 이번 한 편에서 관측한 것이고, 여러 영상으로 오인식률을 잰 건 아닙니다.
🏷️ 좋은 음성 인식 모델도 고유명사는 못 잡았습니다
처음 전사 결과물에서 발표자 이름 “리히토”는 “리토”로, “DEER”는 “디어”로 찍혔습니다. 엔진의 한계라 받아들이고 고유명사 축적으로 풀기로 했습니다. mlx whisper가 미리 받아쓰기를 시작하기 전에 “이런 단어가 나올 거야”라고 미리 알려주는 힌트 프롬프트를 넣어줄 수 있는데, glossary를 조금씩 축적하면서 프롬프트에 추가하는 걸 고려중입니다. 참고로 유튜브 영상의 종류마다 나오는 고유명사의 종류가 다를 것이기 때문에 채널별, 혹은 도메인별로 glossary를 만들지 고민중입니다.
🖥️ 자막이 못 본 것 — 화면 캡처
또다른 스킬의 한계는 저의 질문 후에 드러났습니다.
“이거 오로지 자막만 참고해서 만들어? 아님 일부는 화면도 분석해?”
답은 자막만입니다. 그리고 그 한계가 어디서 터지는지가 이번에 명확해졌습니다. 발표자가 “이거 보시면”, “여기 나온 것처럼” 하고 화면을 가리키면서 내용을 입으로 읽지 않은 지점입니다. 말로 표현된 것만 살아남고 손가락으로 가리킨 건 사라집니다. 요약의 구멍은 무작위로 뚫리는 게 아니라 이런 자리에 몰려 있습니다.
거꾸로 보면 이게 도구가 됩니다. 받아쓴 텍스트에서 “보시면”, “여기” 같은 표현을 검색하면 그게 곧 화면을 떠서 메워야 할 후보 목록이 됩니다.
✅ 자동 캡처 대신 승인 방식을 택했습니다
다만 자동으로 바로 해당 장면을 캡처하지는 않기로 했습니다. 후보를 표로 만들어 보여주고 사람이 건별로 승인한 것만 캡처합니다. 조건도 세 개 걸었습니다.
가리키기만 하고 자막에 실체가 없을 것
그 구간이 버려지는 구간(잡담·휴식)이 아닐 것
정지 화면 한 장으로 의미가 잡히는 대상일 것
슬라이드·표·다이어그램은 되고, 스크롤 중인 터미널 화면은 안 됩니다.
첫 가동에서 후보 7개가 나왔고 그중 3개를 승인해 캡처했습니다. 위키 폴더 구조, 문서 머리표 필드 표, 파이프라인 다이어그램 세 장이었습니다. 셋 다 발화만으로는 복원이 불가능했던 내용이 담겨 있었습니다. 다만 “명중”이라는 판정은 제가 한 것이고, 승인하지 않은 나머지 4개가 실제로 쓸모없었는지는 확인하지 않았습니다.
📸 캡처는 이런 모양으로 본문에 들어갑니다
사본
법조문은 법제처 OPEN API로 받아 와요. 들어오는 길은 인박스에서 시작해...

*화면 캡처 [1:21:26](https://youtu.be/영상ID?t=4886) — 반입 / 검수 / 검색·참조 / 도구·설계 4계층*⚖️ 화면에서 얻은 정보는 산문에 섞지 않습니다
원칙과 충돌하는 지점이 하나 있어서 이렇게 정리했습니다. 캡처에서 새로 알게 된 정보(다이어그램에 적힌 “검증 조문 3,421건” 같은 수치)는 요약 산문에 넣지 않고 이미지 설명에만 남깁니다. 산문은 여전히 들린 말만을 근거로 합니다. 화면은 자막을 대체하는 게 아니라 옆에 병기되는 별도 채널입니다.
🧱 스킬 구조를 갈랐습니다
현재는 스킬 구조를 다음과 같이 정리했습니다.
처음에는 스킬이 자막 확보, 정제, 요약, 자료 교차검증, 내용 대조, 글 조립 순서였습니다. 처음에는 재테크 영상 등을 제가 가진 세법 위키랑 대조하는 테스트를 하느라 대조하는 부분이 스킬에 포함이 되었었어요. 그런데 실제로 굴려 보니 뒤쪽 두 개는 줄에 서 있을 이유가 없었습니다. 내용 대조는 완성된 글을 읽고 별도 해석 노트만 내놓을 뿐 본문을 건드리지 않았는 부분이었고, 인용과 고유명사 교정도 글 조립이 기계적이라(같은 재료를 넣으면 항상 같은 글이 나옵니다) 나중에 다시 조립하면 그만이었습니다.
그래서 두 층으로 갈랐습니다.
사본
본선 자막/음성 확보 → 정제 → 요약 → 글 조립 (자료 없이도 끝까지 감)
후속 패스 · 보조 자료로 인용 확정 → 다시 조립
· 자료 대조 노트 (본문은 안 고침)
· 화면 캡처 (승인받은 것만)이 두 층에 본선과 후속 패스라는 이름을 붙였습니다. 이름을 붙이고 나니 판단이 빨라졌습니다. 새 기능 이야기가 나올 때마다 “이건 본선인가 후속인가”만 물으면 자리가 정해지기 때문입니다. 본선은 자료가 하나도 없어도 끝까지 굴러가야 하고, 후속 패스는 있으면 좋지만 없어도 글이 나와야 합니다. 앞에서 이야기한 화면 캡처가 후속 패스로 간 것도 같은 기준입니다. 화면 없이도 글은 나와야 하니까요.
예외가 하나 있습니다. 보조 자료의 내용을 요약 본문에 녹여 넣는 보강만은 요약 단계를 다시 돌려야 해서, 자료가 처음부터 있을 때만 본선에 끼워서 갑니다.
🗺️ 현재 스킬 구조
전체를 한 장으로 그리면 이렇게 세 층이 됩니다. 각 칸이 하는 일을 한 줄씩 풀면 이렇습니다.
🎧 앞단 — 자막이 없을 때만 돕니다
영상 5분씩 토막: 오디오를 5분 조각으로 잘라 조각마다 따로 받아쓰게 합니다. 앞에서 본 무한 반복을 막는 장치입니다.
조각 이어붙이기: 조각별 결과에 시작 시각을 더해 한 줄기 발화록으로 잇습니다. 조각 26개를 넣으면 발화 1,249줄이 나와야 하고, 그 숫자가 맞는지 매번 검사합니다.
🚂 본선 — 자료가 하나도 없어도 여기까지는 반드시 굴러갑니다
자막 확보: 영상에서 자막과 제목·설명을 받아옵니다. 자막이 하나도 없으면 위의 앞단으로 넘어갔다가 돌아옵니다.
정제: 자막을 발화 단위로 쪼개고 각 발화에 번호를 붙입니다. 번호 안에 순서와 시각이 함께 들어 있어서, 이후 모든 단계는 이 번호를 복사만 합니다.
구간·요약: 여기만 AI가 합니다. 어디서 이야기가 바뀌는지 정하고 구간별 요약을 씁니다. 다만 인용할 발화는 번호만 고르고 문장은 쓰지 않습니다.
글로 조립: 목차와 본문과 인용을 마크다운으로 조립합니다. 목차에 적힌 시각과 링크에 박힌 초 값이 전부 맞는지 조립하면서 스스로 검사하고, 하나라도 어긋나면 멈춥니다.
🧩 스킬의 후속 작업 — 완성된 md 파일에다가 얹는 작업
교차검증: 발표 자료나 블로그, 법령 같은 참고 자료가 생기면, 인용 후보를 그것과 맞춰보고 검증/평가 메모를 만듭니다.
화면 캡처: 앞에서 이야기한 그 장치입니다. 보강할 장면 후보를 뽑아 사람에게 보여주고, 승인받은 것만 캡처해 실제 발행할 글의 본문에 넣습니다.
그 외: 위의 다이어그램에는 얹지 않았지만, 버셀로 발행할 형태로 만들기, 혹은 개인 지식 폴더 구조에다가 넣기 등의 후속 작업..
로그인하고 댓글을 남겨 주세요
와, whisper 돌리다 중간에 '네. 네. 네.' 무한 루프에 갇히는 고질병 진짜 골치 아팠는데 이걸 5분 단위로 쪼개서 해결하셨군요. 리히토님이 올리신 글 보면서 진짜 뒤통수를 유쾌하게 얻어맞은 기분입니다. 단순히 요약 텍스트만 툭 던져주는 게 아니라, 캡처 이미지랑 타임스탬프까지 깔끔한 마크다운 한 편으로 나오는 결과물 퀄리티가 정말 대박이네요. 저도 나중에 긴 영상 분석 파이프라인 짤 때 이 오디오 조각내기 팁은 꼭 적용해 봐야겠습니다. 👍



5분 단위로 오디오를 나눠 2시간 10분짜리 전사의 반복 붕괴를 끊고, 26개 조각과 1,249개 발화의 연결까지 검사한 과정이 좋았어요. 자동자막과 음성인식의 최종 산문이 비슷해 보여도, 깨진 자막을 문맥으로 메우다가 틀릴 가능성을 줄이는 개선이라고 구분한 설명도 리히토님이 이전 글들에서 보여주신 “통과 결과보다 검증 범위를 먼저 본다”는 흐름과 자연스럽게 이어졌습니다.
특히 “보시면”, “여기”처럼 화면에만 남은 정보를 후보로 찾되 7개 중 사람이 승인한 3개만 캡처하고, 화면에서 새로 읽은 수치는 산문에 섞지 않은 경계가 인상적이었어요. 본선은 보조 자료가 없어도 끝까지 완주하게 하고, 교차검증·캡처·재조립은 후속 패스로 분리한 구조도 이후 기능이 늘어날 때 자리를 판단하기 좋은 기준 같아요. 이번 검증은 한 영상에 한정돼 있으니, 영상 유형이 다른 몇 편에서 전사 반복과 고유명사 오인식, 화면 후보의 승인·기각 결과를 함께 기록해두면 이 스킬의 실제 적용 범위가 더 또렷해질 것 같습니다.