모션시각화 절차를 구조화 해 봤더니 '빠져 있던 것' 5가지가 보였다
2026.10.06

소개
시도하고자 했던 것과 그 이유를 알려주세요..
이 프로젝트는 정보성 콘텐츠(강의·학습 영상 등)를 모션으로 시각화하는 일을 도메인으로 잡고 시작했습니다. 핵심 작업은 정보성 콘텐츠의 자막을 쇼츠의 모션 시각화 설계로 옮기는 것이고, 관심 분야는 과학 쇼츠였습니다. 과학 기반 쇼츠를 사실에 기반해 구현할 수 있다는 이야기를 듣고 관심이 생겼습니다. 거기에 온톨로지로 자료를 구조화해 넣으면 어떨까 하는 궁금증이 더해져 이번 스터디 실습으로 시도했습니다.
모션 시각화는 만들다 실패해 다시 만드는 비용이 큽니다. 그래서 실제로 만들어 보기 전에, 판단 근거를 먼저 구조화해 두는 쪽을 택했습니다. 이 글의 실험은 그 앞 단계(어떤 규칙과 스킬로 시각화할지 AI가 판단하는 과정)까지입니다.
이런 분들께 도움돼요
- 과학 쇼츠의 모션 시각화를 사실에 기반해 만들고 싶은 제작자
- AI에게 자료를 많이 줬는데 "근거를 제대로 쓰는지" 확인할 방법이 없어 막막한 분
사용한 도구
- Claude Code: 질문 실행, 파일 정리, 대조표 작성
- 모델: Claude Sonnet 5.5 (구조화 전·후 모든 실행 동일)
- AKM(Agent Knowledge Management): 원문·지식·맥락·절차를 나눠 저장하는 폴더 규칙
문제 상황 (Before)
AI에게 유튜브 자막과 스킬 문서를 주고 "이 부분을 쇼츠로 만든다면 시각화는 어떻게, 어떤 스킬로 할까"를 물으면 그럴듯한 답이 나옵니다. 그런데 그 답이 자료의 어느 문장에 근거했는지, 쓰면 안 되는 도구를 섞어 쓰지는 않는지를 확인할 방법이 없었습니다. 자료가 늘수록 원문과 AI의 해석이 섞이고, "지금 프로젝트에서만 맞는 규칙"이 일반 지식처럼 남는다는 점이 마음에 걸렸습니다.
작업 과정
1. 질문을 먼저 고정하고, 정답은 사람이 먼저 적었다
구조화하기 전에 질문 3개를 못 박았습니다. 자막 구간을 주고 (1) 핵심 메시지와 근거 문장, (2) 부분별 의미 유형과 시각 문법·쓰지 않은 대안, (3) 장면별 스킬과 필요한 입력, 근거가 없으면 '보류'로 표시하라는 질문입니다.
질문 1. [원문 스크립트]를 바탕으로 30~60초 세로 쇼츠 한 편을 기획한다고 할 때, 쇼츠에 담을 핵심 메시지와 그것을 이루는 개념·관계는 뭐야? 각각의 근거 문장을 원문 스크립트에서 찾아서 같이 알려줘.
질문 2. [원문 스크립트]를 바탕으로 기획하는 쇼츠의 내용을 부분별로 나누고, 각 부분의 의미 유형과 맞는 시각 문법을 알려줘. 고른 이유와 쓰지 않은 대안, 그 대안을 쓰지 않은 이유도 같이.
질문 3. [원문 스크립트]를 바탕으로 기획하는 쇼츠의 각 장면에 어떤 스킬을 쓰고 어떤 입력이 필요해? 원문 스크립트에 근거가 없는 장면은 '보류'로 표시하고 필요한 추가 자료를 알려줘.실험에 쓴 자막 구간은 3곳입니다(아래에서 구간 1·2·3이라고 부릅니다). 구간 1은 4개 단락(약 1분), 구간 2는 3개 단락, 구간 3은 1개 단락입니다. 이 구간은 제가 고르지 않고 "60초 이하, 홍보 문구 없음, 가장 긴 구간"이라는 기계적 규칙으로 정했습니다. 내 취향이 섞이지 않게 하려는 장치였는데, 나중에 보니 이것이 "쇼츠에 적합한 구간을 고르는 판단"을 통째로 건너뛰고 있었습니다.
빠져 있던 것 ①: 구간을 고르는 단계.
2. "구조화 전" 기록이 오염되고 있었다
첫 실행은 akm-main 폴더에서 새 세션을 열어 진행했는데, 로그를 열어 보니 그 세션에 프로젝트 메모리와 설계 문서가 로드되어 있었습니다. 두 번째 시도에서는 설계에만 나오는 용어("온톨로지 B")가 답변에 튀어나왔습니다. 그래서 세 번째부터는 루트 설정 파일 제외, 자동 메모리 끔, 훅 끔으로 여는 실행기를 만들어 쓰고, 오염된 두 번의 기록은 지웠습니다. 이 격리 조건은 구조화 전·후 모두 똑같이 적용했습니다. 격리가 없으면 "구조화 전"에 프로젝트 메모리가 섞여 비교가 무효가 됩니다. "분리해서 열었으니 깨끗하겠지"라는 가정을 로그로 확인하지 않았다면 모르고 넘어갔을 문제입니다.
빠져 있던 것 ②: 실험 환경의 격리.
3. 위키를 만들되, 정답은 넣지 않았다
자막 4개와 스킬 문서 4개를 바탕으로 노트 11개를 만들었습니다. 자막은 "몇 분 몇 초에 무슨 말이 있다"는 구간 지도, 스킬은 "문서가 스스로 말하는 목적·입력·한계", 그리고 프로젝트 맥락(범위, 어떤 스킬은 선택 대상이 아님)과 읽기 가이드, 운영 체크리스트입니다. 구조화 후 비교가 의미 있으려면 위키가 답을 미리 알려 줘서는 안 되기 때문에 "어떤 구간이 쇼츠에 맞다", "이 부분은 비교 유형이다" 같은 판단은 일부러 뺐습니다.
4. 같은 질문을 위키와 함께 다시 물었다 — 달라진 것
인용 정확도는 좋아졌습니다. 영어 인용 중 원문에서 못 찾은 것이 3개에서 0개로, 위치를 잘못 적은 것이 1개에서 0개로 줄었습니다. 다만 줄어든 폭이 작아 우연일 수 있습니다(추정). 줄 번호(L숫자)를 붙인 표기는 0회에서 118회로 늘었는데, 도구 노트가 스킬 문서의 줄 번호를 알려 준 영향으로 보입니다(분석).
가장 선명한 변화는 스킬 선택이었습니다. 구조화 전에는 구간 1·2·3 모두 후처리용 스킬인 motion-rhythm을 장면의 스킬로 골랐는데, 위키의 맥락 노트에 "선택 대상 아님(사용자 결정)"을 적은 뒤에는 세 구간 모두에서 제외했고, 답변이 그 노트를 근거로 밝혔습니다(확인). 여기서 "제외"는 장면 설계의 선택지에서 뺐다는 뜻이지 그 스킬을 못 쓴다는 뜻이 아닙니다. 구조화 전에는 이 규칙을 알 방법이 없었으니, 좋아졌다기보다 규칙을 알려 주자 지켰다는 변화입니다.
빠져 있던 것 ③: 프로젝트 규칙.
5. 늘어난 문제: 구간 밖 인용 (원인 미확정)
구조화 후 구간 1은 구간 끝에 걸린 블록(Hooks 설명)까지 가져다 써서 구간 밖 인용이 3줄에서 10줄로 늘었습니다. 위키 때문이라는 근거는 약합니다. 세션 로그를 보면 에이전트가 위키를 읽기 전에 이미 그 끝 블록을 포함하는 검색을 만들었습니다(확인). 지시문의 (시작)~(끝)을 끝 블록 포함으로 읽은 해석 차이가 유력한 후보지만 확정은 아닙니다(추정). 같은 표기를 한 단락짜리 구간 3은 끝 제외로 읽었으니 표기만으로 다 설명되지도 않습니다. 또 두 번째·세 번째 질문은 같은 대화에서 첫 번째 질문의 결정을 이어받은 것으로 보여 10줄을 독립된 10건으로 읽을 수 없습니다(분석). 위키가 더 쓰게 만들었는지는 가리지 못했습니다.
6. 정의 카드: 예상과 0/4, 그리고 "정의가 문제가 아니었다"
의미 유형 8개 정의로 같은 자막 블록 4개를 분류하게 했습니다. 사람이 미리 적어 둔 예상(프로세스, 인과, 비교, 구조)과 AI의 분류(판단, 프로세스, 개념 설명, 보류)는 4개 모두 달랐습니다. 정의를 고쳐야 하나 싶었지만 원인을 보니, 사람의 예상은 "부분 단위"인데 분류는 "블록 단위"였고, 한 블록에 비교·구조·개념 설명이 섞여 있었습니다. 그래서 정의는 그대로 두기로 했고(v2 = v1), 그 이유를 카드에 적었습니다.
빠져 있던 것 ④: 분류의 단위.
7. Jev: 넣을 자리를 검토했다 (실행은 아직)
"선택지 안에서 판단을 구조화한다"는 Jev의 컨셉이 위 문제(라벨이 흔들림, 규칙이 없음)와 맞을 것 같아서 넣을 수 있는 자리 세 곳을 검토했습니다. ① 원문을 보고 쇼츠에 적합한지 판정하는 곳, ② 스킬 선택지 중 하나를 고르는 곳, ③ 인용문이 시각화 규칙의 어느 것에 해당하는지 판단하는 곳입니다. 모두 검토 단계의 가설이고, 워크플로우에 넣기로 확정한 것은 없습니다.
같이 검토했던 "시각화용 재해석" 단계는 원문 해석과 재해석이 섞여 검증이 어렵다는 이유로 채택하지 않았습니다(미결정).
빠져 있던 것 : 5 고정 선택지.
인상적이었던 순간

결과 (After)
구조화 전 vs 후

이 과정에서 배운 AI 활용 팁
효과적이었던 것
1. 질문과 입력 구간을 고정하고 4주(또는 끝까지) 바꾸지 않기. 비교가 가능해집니다
2. 정답을 사람이 먼저 적고, 에이전트가 쓴 평가는 "잠정"으로 표시하기
3. 세션 로그를 직접 열어 무엇이 로드됐는지, 어떤 파일을 읽었는지 확인하기
4. AI가 틀린 곳을 원문 문자열 대조로 확인하기(인용이 원문에 실제로 있는지 스크립트로 검사)
5. "쓰면 안 되는 것" 같은 규칙은 맥락 노트로 따로 두기
이렇게 하면 안 돼요
1. 분리된 폴더에서 열었다고 깨끗하다고 가정하지 않기
2. 위키를 만들면서 정답을 넣지 않기(전후 비교가 무효가 됩니다)
3. 한 번 돌린 결과로 "효과가 있다"고 단정하지 않기
로그인하고 댓글을 남겨 주세요
제가 하려는 것과도 결이 비슷하네요. 많은 소통을 해보고 싶습니다.
새 세션이면 처음부터 다시 시작한다고 느끼는데, AI 쪽에는 이전 맥락이 남아 있을 수 있다는 게 낯설었어요. 제가 새로 시작했다고 느끼는 순간과 실제 상태가 다를 수도 있겠네요.
"빠져 있던 것" 5가지를 하나씩 짚어가는 구성이라, 구조화를 하면 무엇이 보이는지 따라가며 읽기 좋았어요.
제일 눈에 띈 건 "분리된 폴더에서 열었으니 깨끗하겠지"라고 가정하지 않고 세션 로그를 열어 본 부분이에요. 그 덕분에 프로젝트 메모리가 섞여 있었고, 설계에만 나오는 "온톨로지 B"가 답변에 튀어나온 걸 잡아내셨죠. 구간을 "60초 이하, 가장 긴 구간"이라는 기계적 규칙으로 고른 것이 오히려 "쇼츠에 적합한 구간을 고르는 판단"을 건너뛰고 있었다는 발견도 좋았습니다.
또 motion-rhythm이 세 구간 모두에서 빠진 것을 "좋아졌다기보다 규칙을 알려주자 지켰다"고 해석하신 것, 구간 밖 인용이 늘어난 원인을 확인·추정·분석으로 나눠 적으신 것도 인상적이었어요. 정의 카드가 0/4로 빗나가도 "정의가 문제가 아니라 분류 단위가 달랐다"고 짚으신 점까지 기록이 정직해서 믿음이 갑니다. Jev를 실제로 넣어본 후속도 기대할게요. 오 이 부분 진짜 재밌어요 👀
요즘 핫하다는 jev 활용법이 궁금하네요



그림 설명으로 일목요연해서 구현하시는 내용 이해하기가 편하네요. 다시보기 찾아서 들어봐야겠습니다.