청크 기반 유튜브 스크립트 요약 에이전트

소개

시도하고자 했던 것과 그 이유를 알려주세요.

유튜브에서 인사이트 영상을 많이 시청하면서, 이 내용들을 단순히 보고 넘기는 것이 아니라 체계적으로 기록하고 강의 자료로 재활용하고 싶었습니다.

문제는 대부분의 영상이 30분 이상으로 길다는 점이었습니다. 단순 요약으로는 풍부한 내용을 담을 수 없고, 전체를 그대로 옮기기에는 비효율적입니다. 또한 제가 동의하는 부분과 비동의하는 부분이 있어서 필요한 부분만 추출해서 기록하고 싶다는 생각을 하게 되었습니다.

그래서 구상한 것이 긴 영상을 "핵심 주장(Claims)" 단위로 쪼개고, 제가 직접 검토하여 필요한 부분만 선별적으로 저장하는 시스템입니다.

진행 방법

2시간정도가 들어간 꽤 긴 여정이었습니다.

가장 오래 걸린 것은 plan mode에서 계획을 하는 일이었습니다. 먼저, 제미나이랑 그냥 대화를 하면서 저장해 둔 기획서를 그대로 복사하여 클로드에게 먹였습니다.

1. 프로젝트 개요

목적: 유튜브 영상(강의, 대담 등)의 지식을 파편화된 정보가 아닌, 사용자의 주관이 반영된 '재사용 가능한 강의 자산'으로 변환.

핵심 가치: * 선별적 수용: 단순 요약이 아닌 동의/수정/삭제 과정을 통한 지식 필터링.
지식의 연결: 제텔카스텐(Zettelkasten) 방식을 통한 이종 지식 간의 유기적 결합.
자동화: Claude Code Agent를 활용한 Obsidian 노트 생성 및 워크플로우 최적화.

2. 지식 필터링 워크플로우 (Core Logic)

유튜브 스크립트를 추출한 후, Claude가 사용자에게 각 세그먼트별로 의견을 묻는 인터랙티브 과정을 거칩니다.
한국어 한국어 한국어 한국어 한국어 한국어 한국어 한국어

그 과정에서 아래와 같은 워크플로우가 최종적으로 선정되었습니다.

워크플로우 (3 Phases)

[사전] youtube-content 스킬로 자막 추출 (사용자가 별도 실행)
    │
    ▼
Phase 1: AI 청킹
    │   - SRT/자막 텍스트 입력받기
    │   - 핵심 주장(Claims) 단위로 분할
    │   - 30분 영상 → 10-20개 청크
    ▼
Phase 2: 인터랙티브 리뷰
    │   [1] ✅ 승인  [2] ❌ 삭제  [3] ✏️ 수정  [4] 🔗 병합
    │   - 수정 시: 코멘트 입력 → AI 재작성 → 재리뷰
    ▼
Phase 3: 원자 노트 생성
        - MOC + 승인된 원자 노트들 저장
        - 원본 자막 전체 포함 (승인한 것만)

추가로 저는 한번에 제가 어떤 지점에서 해당 영상을 기록하고자 했는지, 이 영상을 통해 내가 말하고자 하는지를 같이 기록하고싶었습니다. 그러다보니 텍스트로는 한계가 있더라구요.

그래서 음성으로 기록하는 방법이 뭐가 있을까 하다가 window 기준 win+h 버튼을 누르면 바로 음성을 텍스트로 변환해주는 기능이 있는걸 발견하고 이를 적극적으로 활용하였습니다.

그 결과, 영상을 넣으면 필요 부분만 추출하고, 요약해서 청크 형태로 저장이 가능해졌습니다. 그럼 아래와 같이 추출이 됩니다.

검은 화면에 한국 이름 목록

이 단계에서 ai에게 제가 필요한 특정 번호를 말하고, 필요 없는 번호는 삭제합니다. 그 이후 제가 이 영상에 대해 생각을 남기면, ai가 통합해서 파일을 저장하게 됩니다. 추후에 활용을 위해서 원본 자막과 요약을 함께 저장하도록 하였습니다.

한국어로 된 텍스트 스크린샷

결과와 배운 점

이번에도 어김없이 토큰 문제가 발생하였습니다. 아무래도 글과 관련된 작업을 많이 하다보니 출력 토큰에서 문제가 걸리는 경우가 많은 것 같네요. 또 다른 에이전트로 번역 에이전트도 하나 만들어놨는데, 이것도 읽고 쓰는데 있어서 분량이 기니까 제대로 작동을 안하더군요. 그래서 토큰 리밋을 늘릴까, 파일을 쪼개서 작업을 시킬까 고민중인데, 일단 쪼개는 방식을 택했습니다.

토큰 리밋을 푸는게 더 나은 선택인지 궁금합니다.

현재 스터디장님들이 만들어주신 훌륭한 템플릿을 제 용도에 맞게 개선하는 작업을 하고 있습니다. 4주가 끝나갈 즈음에는 저에게 필요한 작업을 모두 개발하여 이 템플릿 안에서 모든 작업을 할 수 있으면 좋겠네요.

일단 다음에는 강의 자동화 에이전트를 만들어서, 오늘 개발한 유튜브 영상 및 다른 수집된 리소스들을 활용해서 쉽게 강의 자료를 만들어보고자 합니다.

도움 받은 글 (옵션)

AI 워크스페이스 템플릿

3
3개의 답글

뉴스레터 무료 구독

👉 이 게시글도 읽어보세요