유튜브 요약 스킬 작성 실패 사례
배경
개인용 AI 에이전트에 유튜브 링크를 전달하면 자막을 추출하고 내용을 요약하는 기능을 시험했다. 목적은 영상 하나의 요약문을 얻는 것이 아니라, 여러 영상에 반복 적용할 수 있는 유튜브 요약 스킬을 만드는 것이었다. 약 1시간 분량의 인터뷰 영상을 시험 자료로 사용하고, 서로 다른 요약안을 비교하며 적합한 편집 방식을 찾기로 했다.
사용자가 제시한 기준
사용자는 작업 과정에서 요약의 합격 기준을 명확히 정의했다.
“짧게 줄이는 것이 목적이 아니라, 영상 전체의 통찰을 쉽고 직관적인 문장으로 다시 편집하는 것.”
줄 수와 문장 길이는 보조 조건일 뿐, 처음 보는 사람도 영상의 핵심과 논리 흐름을 바로 이해할 수 있어야 한다는 요구였다.
문장 형식에 대해서도 구체적인 지시가 있었다. 한 문장에는 하나의 의미만 담고, 문장마다 줄을 바꾸며, 명사형 종결을 사용하되 내용까지 줄이지 말라는 요청이었다. 제목·발행일·출처, 한줄요약, 본문 요약의 순서도 제시됐다.
실패 과정
AI는 첫 요약부터 사용자가 요청하지 않은 활용 관점과 비판적 해석을 추가했다. 이후 세 가지 스킬안을 제안했지만, 실제 차이는 통찰이나 편집 논리가 아니라 분량과 배열 방식에 가까웠다.
사용자가 문장을 쉽게 만들어 달라고 요청하자 AI는 전체 내용을 줄이는 방식으로 대응했다. 문장은 짧아졌지만 설명과 연결 관계도 함께 사라졌다. 결과는 처음 보는 사람이 이해할 수 있는 요약문이 아니라, 짧은 명사구를 나열한 메모가 됐다.
사용자는 “전체 문자 수를 줄이라는 뜻이 아니다”, “10줄보다 쉽게 이해되는 문장 구조가 중요하다”고 거듭 설명했다. 그러나 AI는 줄 수와 글자 수를 계산하는 데 집중했다.
이후 합격 기준을 다시 확인하고도 최종 결과에서는 발언을 평면적으로 나열했다. 한줄요약과 본문은 같은 내용을 반복했고, 영상 전체의 통찰은 충분히 드러나지 않았다.
실제 실패 원인
실패 원인은 합격 기준의 부재가 아니었다. 사용자는 기준과 형식, 우선순위를 충분히 설명했다. 문제는 AI가 이를 이해하고 결과물로 구현하지 못한 데 있었다.
AI는 ‘통찰을 쉽게 재편집하라’는 핵심 요구를 줄 수, 문장 길이, 명사형 종결 같은 측정하기 쉬운 조건으로 대체했다. 피드백이 들어올 때마다 전체 편집 구조를 다시 설계하지 않고 직전 문장만 부분적으로 수정했다.
세 가지 안도 서로 다른 편집 전략이 아니었다. 비슷한 문장을 조금씩 바꾼 변형에 머물렀다. 선택지는 늘어났지만 사용자가 비교할 만한 실질적인 차이는 없었다.
결과와 교훈
사용자는 같은 기준을 여러 차례 다시 설명해야 했고, 최종 결과도 채택하지 못했다. 실제 스킬은 생성되지 않았으며 시험 작업은 실패로 끝났다.
이 사례의 교훈은 기준을 듣는 것과 구현하는 것이 다르다는 점이다. AI는 형식 조건보다 먼저 영상의 핵심 질문과 통찰을 찾아야 한다. 그다음 논리와 사례를 선별하고, 사전지식이 없는 독자의 이해 순서에 맞게 재배치해야 한다. 문장 길이와 줄 수는 마지막에 조정할 사항이다.
하네스의 기술에 대한 체계적 교육의 필요성을 느꼈습니다.
