본문으로 건너뛰기

주장 17개 중 믿을 수 있는 건 2개였습니다 — 원본에 필드를 붙였더니 드러난 것

Teddy

2026.08.06

3줄 요약

· 리서치 원본 25건에 출처·품질·시점 필드를

강제했더니, 주장 17개 중 15개가

"출처 하나뿐"으로 갈렸습니다.

· 지난주 정리한 설문 명세 정본을, 일주일 뒤

다른 작업이 실제로 읽었습니다 — 신설할 DB

필드가 2개에서 1개로 줄었습니다.

· 그런데 평가 층은 2주간 기록 0건이었고,

규칙 문서 자체가 낡아 있었습니다.

─────

━━━━━━━━━━━━━━━━━━━━━━━━━

🧩 1. 지난주에 "빈 칸 두 개"라고 적고

끝냈습니다

━━━━━━━━━━━━━━━━━━━━━━━━━

지난주 글은 AKM(에이전트용 지식관리 구조)을

우리 구조와 대조한 이야기였습니다.

7개 계층 중 5개는 이미 다른 이름으로 굴러가고

있었고, 두 개가 비어 있었습니다.

① 원본 (남이 쓴 것, 수정 금지)

→ knowledge/sources/ ─ 비었음

② 지식 (원본을 가공한 재사용 사실)

→ knowledge/<도메인>/ ─ 비상구 2개만

③ 맥락 · 절차 · 평가

→ 기존 폴더들 ─ 있음

그래서 폴더 7개를 새로 만드는 대신 층위 규칙

한 장(ROUTER.md)과 검증 체크리스트 한 장

(VERIFY.md)만 만들고 끝냈습니다.

이번 주는 그 빈 칸을 실제로 채운 기록입니다.

그리고 채워보니 규칙 쪽이 먼저 낡았습니다.

━━━━━━━━━━━━━━━━━━━━━━━━━

🔍 2. 원본 층 — 폴더를 만든 게 아니라

필드를 강제했습니다

━━━━━━━━━━━━━━━━━━━━━━━━━

리서치 도구를 하나 붙여보기로 했습니다.

" 인세인서치가 인세인 리서치로 통합되었다는데

맞아? 그럼 한번설치해볼까? 니 생각은 어때? "

주제는 "왜 요즘 낯선 사람들과 같이 영화 보는

모임이 뜨는가"였습니다. 제가 하는 지역

프로그램과 겹치는 주제라, 자료를 모으는 김에

원본 층이 어떻게 생겨야 하는지 보고 싶었습니다.

▸ 원본 25건에 붙은 것

결과물을 열어보니 폴더 이름이 중요한 게

아니었습니다. 한 줄에 붙은 필드가 전부였습니다.

① url · domain · author

→ 어디서 왔나

② quality_rating (A/B/C)

→ 얼마나 믿나

③ valid_at (2025-12-09)

→ 그 사실이 언제 기준인가

④ observed_at (2026-08-01)

→ 내가 언제 봤나

⑤ verified (true/false)

→ 교차 확인됐나

valid_at과 observed_at이 나뉘어 있는 게

핵심이었습니다. "2025년 통계를 2026년에 봤다"와

"2026년 통계"는 완전히 다른 말인데, 지금까지 제

자료는 그냥 파일 만든 날짜 하나만 갖고

있었습니다.

▸ 그리고 주장 대장이 따로 있었습니다

원본과 별개로, 거기서 뽑은 주장 17개가 따로

기록됩니다. 각 주장에는 risk(위험도),

source_ids(근거 원본), 그리고 counter_search

(반박을 찾아본 결과)가 붙습니다.

결과가 이렇게 나왔습니다.

✅ 확정 2건

독립 출처 2곳 이상 교차 확인

⬜ 미확정 15건

반박은 없지만 근거가 부족

❌ 반박됨 0건

미확정 15건의 사유가 뼈아팠습니다.

" 단일 매체 보도, 자체 발표자료나 타 매체

재확인 안 됨 - 반박 사례는 없으나

독립 출처 2개 미달 "

" 두 매체가 동일 수치를 보도하나 둘 다

같은 보도자료 재배포 - 독립 교차검증 아님 "

"두 곳에서 봤다"가 "두 번 확인했다"가

아니었습니다. 같은 보도자료를 두 매체가 옮긴

것이었죠. 심지어 독립 매체 2곳이 각각 취재해

확인한 항목도 미확정에 남았습니다 — 게이트가

제 감보다 훨씬 보수적이었습니다.

▸ 여기서 지난주 교훈이 다시 나왔습니다

평가 리포트의 최종 판정은 PASS였습니다.

인용 25건 전부 원본에 연결되고, 붕 뜬 출처 0건,

유출 0건.

그런데 확정 사실은 2개입니다.

" PASS는 '조사 절차가 정상'이라는 뜻이지,

'내용이 사실'이라는 뜻이 아니었습니다.

지난주 제가 NOT_TESTED에 걸렸던 것과

정확히 같은 자리입니다 — 통과 도장과

확인된 사실은 다른 축인데,

저는 늘 하나로 읽었습니다. "

➡️ 원본 층의 정체는 폴더가 아니라 필드였습니다.

출처·시점·교차확인 세 칸을 비워둘 수 없게

만들면, 자료를 넣는 순간 "이건 아직 못 믿는다"가

자동으로 드러납니다. 예전 방식이었다면 이 17개는

전부 같은 무게로 보고서에 실렸을 겁니다.

━━━━━━━━━━━━━━━━━━━━━━━━━

📌 3. 지식 층 — 일주일 뒤 다른 작업이

그 문서를 읽었습니다

━━━━━━━━━━━━━━━━━━━━━━━━━

지난주에 한 일은 사실 소박했습니다. 지역

프로그램(비상구)의 설문 폼 명세가 두 군데로 갈려

한쪽이 20일 낡아 있었고, 그걸 정본 하나로 합쳐

knowledge/bisanggu/ 에 올린 것이 전부였습니다.

그 문서가 이번 주에 처음으로 읽혔습니다.

8월 5일, 5·6회차 만족도 폼을 새로 만들어야

했습니다.

" 1. 응 고쳐줘.

2. 치즈디스코드에 내가 만족도조사 보내줘 하면

알수 있도록 치즈 업무방 채널에

인수인계해줄래?

3. 다음 회차는 8/19 인터뷰 회차예요.

오시겠어요? 이건 다른 질문으로 바꿔줘. "

▸ 정본을 읽은 결과 — 만들 게 줄었습니다

① 새로 만들 DB 필드

정본 읽기 전 2개 → 읽은 뒤 1개

② 독립 문항

신설 2개 → 0개

(기존 슬롯에 문구만 교체)

③ 서술형 문항

8개 → 6개

「가장 인상적인 순간」이라는 슬롯이 이미

있었습니다. 1~4회차 응답이 그 칸에 쌓여 있었고요.

정본을 안 봤으면 「오늘의 한 장면」이라는 새

필드를 또 만들었을 겁니다. 그러면 같은 질문의

답이 두 칸으로 갈려서, 회차별 비교가 그 자리에서

끊깁니다.

▸ 건져놨던 결정 4건이 회수됐습니다

지난주에 문서를 가르면서, 절차 문서에만 있던

결정 근거 4건을 발견해 정본으로 먼저 옮겼습니다.

그때는 "유실 검사"라고만 적었는데, 이번 폼에서

그중 하나가 실제로 발동했습니다.

" ⚠️ '익명' · '아무도 안 봐요' 류 표현 금지

— member_id를 주입하므로 지킬 수 없는

약속이다 (2026-07-23 결정) "

이 한 줄이 없었으면 새 폼 안내문에 "익명으로

수집합니다"를 또 썼을 겁니다.

참가자에게 지킬 수 없는 약속을 하는

문장이었습니다.

➡️ 지식 층이 작동했다는 증거는 문서가 깔끔해진

게 아니라, 다음 작업의 결과물이 줄어든

것이었습니다. 신설 필드 2개→1개, 문항 8개→6개.

정본을 읽는 데 든 시간은 몇 분이고, 안 읽었으면

늘어났을 건 필드·문항·그리고 못 지킬 약속

한 줄이었습니다.

▸ 지식 층에 도메인이 하나 더 생겼습니다

같은 주에 브랜드 기준도 지식 층으로 올렸습니다.

시작은 이 질문이었습니다.

" 지식 허브는 어떻게 된거야?

스킬을 할때마다 브랜딩 스킬을 꺼내서

읽을수능 없잖아

그부분은 지금 어떻게 해결한거야? "

여기서 한 번 갈렸습니다. 지식을 넣는 것과

그게 자동으로 읽히는 것은 다른 문제입니다.

저장 방식은 위키(마크다운) + 태그 3필드로 정하고,

RAG 색인은 지금 자료량엔 과잉이라 접었습니다.

읽히는 쪽은 이렇게 정리했습니다.

콘텐츠 스킬이 발동

→ 해당 브랜드 답안 1개 + 질문지 뼈대만 로드

(전량 로드 안 함 — 토큰이 답이 아니라

소음을 늘림)

그리고 답안을 만들면서 원본과 가공물을 같은

파일에 두지 않았습니다.

" 1. 이거 정말 중요한 데이터같아. 앞으로의

콘텐츠나 홍보방향에도 그리고 우리의

포지셔닝과 앞으로 방향에도 중요한

단서들같아. 실제 사람들이 남긴 후기와 함께

기록으로 같이 남겨줄래? "

참가자들이 실제로 남긴 말은 evidence/ 로,

거기서 뽑아낸 판단은 답안 파일로 갈랐습니다.

석 달 뒤에 "이 결론 왜 이렇게 냈지?"를 물을

사람이 저이기 때문입니다.

━━━━━━━━━━━━━━━━━━━━━━━━━

🐛 4. 그런데 규칙 문서 자체가

낡아 있었습니다

━━━━━━━━━━━━━━━━━━━━━━━━━

여기까지 쓰고 규칙 문서를 다시 열었습니다.

지난주에 제가 만든 그 문서입니다.

❌ ROUTER.md 도메인 현황 표

라이크잇·브랜드가 "미착수"로 적혀 있음

(이번 주에 신설했는데도)

❌ 규칙이 가리키는 .learnings/ 경로

여전히 틀림 — 실제 파일은 공용 폴더 바깥

❌ ERRORS.md 최종 기록

2026-07-21 (2주간 0건)

⚠️ 리서치 원본 25건 위치

규칙이 정한 knowledge/sources/ 가 아니라

RESEARCH/ 밑

특히 두 번째와 세 번째가 아픕니다.

지난주 글의 "남은 것"에 제가 직접 적어둔

항목입니다.

" §4-2 사고 5건의 ERRORS.md 소급 기록 +

규칙이 가리키는 .learnings/ 경로 정정

— 규칙을 새로 쓰기 전에 이걸 먼저

해야 했습니다 "

일주일 뒤, 둘 다 그대로입니다.

게다가 지난주 새로 만든 규칙이 "실패를 적고,

원인이 된 절차까지 고치는 것까지가 1사이클"

이었는데, 그 사이클은 2주간 한 번도 안

돌았습니다.

1편에서 진단한 병(문서가 낡는데 아무도 모름)이,

그 병을 진단한 문서에서 재발했습니다.

━━━━━━━━━━━━━━━━━━━━━━━━━

🪞 5. 왜 평가 층만 안 굴러갔을까

━━━━━━━━━━━━━━━━━━━━━━━━━

세 층을 나란히 놓으니 답이 보였습니다.

① 원본 — 이번 주 25건 + 주장 17건

🤖 도구가 자동으로

(필드를 안 채우면 진행이 안 됨)

② 지식 — 도메인 1개 + 답안 3개

🤖 스킬이 인터뷰하면서

(질문에 답하면 파일이 됨)

③ 평가 — 0건

🧑 사람이 일이 끝난 뒤 따로 적어야 함

원본·지식은 일하는 김에 쌓였습니다. 리서치를

돌리면 원본 대장이 남고, 인터뷰에 답하면 답안

파일이 됩니다. 평가는 일이 끝난 다음에, 따로

시간을 내서, 아무도 안 시키는데 적어야 합니다.

➡️ "기록하자"는 규칙으로 굴러가는 층은 없습니다.

원본·지식이 굴러간 건 제 규율이 좋아서가 아니라

도구가 대신 쌓아줬기 때문이었습니다. 평가 층에

필요한 건 규칙 한 줄이 아니라 작업이 끝날 때

자동으로 걸리는 관문입니다.

━━━━━━━━━━━━━━━━━━━━━━━━━

📌 6. 배운 것

━━━━━━━━━━━━━━━━━━━━━━━━━

① 원본 층은 폴더가 아니라 필드다.

sources/ 폴더를 만드는 건 5초입니다. 효과가 난

건 출처·시점·교차확인 칸을 비울 수 없게 만든

것이었습니다. 칸이 있으면 "이건 아직 못 믿는다"가

자기가 알아서 튀어나옵니다.

② 통과 도장과 확인된 사실은 다른 축이다.

평가 리포트는 PASS였고 확정 사실은 2개였습니다.

둘 다 맞는 말입니다 — 절차가 정상인 것과 내용이

사실인 것은 다른 질문이니까요. AI가 만든

산출물을 볼 때 제일 자주 섞이는 두 축이라고

생각합니다.

③ 지식 정리가 잘 됐는지는, 다음 작업의

결과물 크기로 잰다.

문서가 깔끔한지로는 못 잽니다. 이번엔 새로 만들

DB 필드 2개→1개, 문항 8개→6개로 잴 수

있었습니다. 줄지 않으면 그 문서는 아직 안 읽히고

있는 겁니다.

④ 자동으로 쌓이는 층과, 사람이 적어야 쌓이는

층은 다르게 설계해야 한다.

같은 규칙을 세 층에 똑같이 걸었더니 두 층만

굴러갔습니다. 차이는 의지가 아니라

"일하는 김에 쌓이는가"였습니다.

━━━━━━━━━━━━━━━━━━━━━━━━━

👉 7. 남은 것

━━━━━━━━━━━━━━━━━━━━━━━━━

· 평가 층 관문 만들기 — 규칙 문장 말고, 작업

종료 시 실제로 걸리는 장치.

이번 주의 진짜 숙제입니다

· .learnings/ 경로 정정 + 사고 5건 소급 기록

— 2주째 밀린 것, 이번엔 먼저 합니다

· ROUTER.md 도메인 현황 표 갱신 — 규칙 문서에도

"마지막 확인" 날짜가 필요하다는 걸 배웠습니다

· 리서치 원본을 knowledge/sources/ 로 옮길지

결정 — 도구가 만든 폴더를 그대로 둘지,

규칙에 맞출지

혹시 지식 관리 규칙을 만들어두고 잘 안 굴러가고

계시다면, 이 질문 하나만 해보셔도 좋을 것

같습니다.

" 그 규칙이 요구하는 기록은, 일하는 김에

쌓이나요? 아니면 일이 끝난 뒤에 따로

적어야 하나요? "

후자라면 규칙을 더 정교하게 쓰는 건 아마 답이

아닐 겁니다. 제가 2주째 그러고 있었습니다.

5

함께 이야기해요 5

로그인하고 댓글을 남겨 주세요

김도경 프로필 이미지
김도경2026.09.27

잘 읽었습니다~

You쌤 프로필 이미지
You쌤2026.08.07

오호~ 단순히 문서를 자동 공개하는 이야기인 줄 알았는데, 결국 ‘사람이 안심하고 승인할 수 있는 구조’를 만드는 과정이었네요.
특히 RAW → PREPARED → OPEN → HUB로 상태를 나누고, Dry-run으로 먼저 확인하게 만든 부분이 인상 깊었습니다.
자동화는 무조건 빠르게 처리하는 게 아니라, 위험할 때 제대로 멈출 수 있어야 한다는 말에도 공감했고요.
자동화를 바라보는 시선이 또 한 단계 넓어진 느낌입니다.

DECK 프로필 이미지
DECK2026.08.07

주장 17개에 출처와 시점을 붙였더니 확정할 수 있는 내용이 2개뿐이었다는 결과가 강하게 남았습니다. 조사 절차를 잘 밟았다는 표시와 그 내용이 사실이라는 판단을 갈라 놓으니, 그럴듯한 문장이 그대로 지식이 되는 일을 막을 수 있겠네요. 남은 주장들이 근거를 만나 변하는 과정도 천천히 따라가게 됩니다.

꾸
꾸기작2026.08.06

원본 층의 정체가 폴더가 아니라 필드였다는 결론이 이 글에서 가장 눈에 띄었습니다. sources 폴더를 만드는 데는 5초지만 효과는 출처와 시점, 교차확인 칸을 비울 수 없게 만든 데서 나왔다는 정리가 명확했습니다. 특히 valid_at과 observed_at을 나눈 이유를 2025년 통계를 2026년에 봤다와 2026년 통계는 다른 말이라고 설명하신 대목은, 파일 만든 날짜 하나만 갖고 있던 자료가 왜 위험했는지 한 문장으로 보여줍니다.

주장 17개 중 확정 2건, 미확정 15건, 반박 0건이라는 결과와 그 사유를 그대로 남겨두신 점이 흥미로웠습니다. 두 매체가 같은 수치를 보도했지만 결국 같은 보도자료를 옮긴 것이라 독립 교차검증이 아니었다는 판정, 심지어 독립 매체 두 곳이 각각 취재한 항목까지 미확정에 남아 게이트가 본인 감보다 보수적이었다고 적으신 부분이 그렇습니다. 주장마다 risk와 source_ids, 반박을 찾아본 결과까지 따로 붙여둔 구조라 이런 판정이 가능했던 것으로 보입니다.

평가 리포트는 PASS인데 확정 사실은 2개라는 대조, 그리고 통과 도장과 확인된 사실은 다른 축인데 늘 하나로 읽어왔다는 자기 진단이 이 글의 중심 같습니다. 지난주 NOT_TESTED에 걸렸던 자리와 정확히 같은 자리라고 연결해 주신 덕에 두 편이 한 줄로 이어졌습니다. 예전 방식이었다면 17개가 전부 같은 무게로 보고서에 실렸을 거라는 지적도 남습니다.

지식 층 쪽은 성과를 재는 방식이 특히 참고가 됐습니다. 문서가 깔끔해진 걸로 재지 않고, 정본을 읽은 뒤 신설 DB 필드가 2개에서 1개로, 독립 문항이 2개에서 0개로, 서술형이 8개에서 6개로 줄어든 것으로 재셨다는 기준이 설득력 있었습니다. 가장 인상적인 순간 슬롯이 이미 있어서 같은 질문이 두 칸으로 갈리는 걸 막은 사례, 그리고 익명이라는 표현을 쓰지 말라는 결정 한 줄이 지킬 수 없는 약속을 미리 잡아준 사례는 정본이 실제로 읽혔다는 증거로 충분해 보입니다. 참가자들이 남긴 말은 evidence로, 거기서 뽑은 판단은 답안 파일로 갈라두신 이유가 석 달 뒤의 자신 때문이라는 설명에도 공감합니다.

규칙 문서가 먼저 낡아 있었다는 4장을 감추지 않으신 게 이 글의 신뢰를 만든다고 생각합니다. 이번 주에 신설한 도메인이 표에는 미착수로 남아 있고, 경로는 여전히 틀렸고, 오류 기록은 2주간 0건이고, 원본 25건은 규칙이 정한 위치가 아닌 곳에 있었다는 목록, 그리고 1편에서 진단한 병이 그 병을 진단한 문서에서 재발했다는 문장이 그렇습니다. 5장에서 원본과 지식은 도구가 일하는 김에 쌓아준 반면 평가는 일이 끝난 뒤 사람이 따로 적어야 해서 0건이었다고 원인을 가른 분석이 가장 설득력 있었고, 필요한 건 규칙 한 줄이 아니라 작업 종료 시 실제로 걸리는 관문이라는 결론에 저도 동의합니다. 평가 층 관문을 붙이시고 규칙 문서에 마지막 확인 날짜까지 들어간 다음 편을 기대하며 응원하겠습니다!

뽀짝이 프로필 이미지
뽀짝이2026.08.06

valid_at과 observed_at을 나눈 부분이 핵심이죠. "2025년 통계를 2026년에 봤다"와 "2026년 통계"는 완전히 다른 말인데, 파일 만든 날짜 하나로 합쳐있었다는 것 — 이걸 직접 리서치 돌려서 드러내셨네요.

"두 곳에서 봤다"가 "두 번 확인했다"가 아니라는 발견도 뼈아프게 정확해요. 같은 보도자료를 두 매체가 옮긴 거라 독립 교차검증이 아니었다는 것, 미확정 15건의 사유를 그대로 남기신 것도요.

그리고 지난주 설문 명세가 이번 주 다른 작업에서 실제로 읽혔고 DB 필드가 2개에서 1개로 줄었다는 부분 — 쌓아둔 게 연결되는 순간이라 반가웠어요. 꼬리 탁 치고 응원하고 갈게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기