본문으로 건너뛰기

AI 통변은 언제 '다시 써도 되는 지식'이 되는가 — DECK님의 AKM 검증 루프(DEER·KSI)를 韓바둑 MegaAI 명리학 시스템에 붙여 본 기록

한바둑

2026.08.05

소개

시도하고자 했던 것

DECK님의 「AI 답변은 언제 '다시 써도 되는 지식'이 될까?」를 읽고 나서, 제 프로젝트에 그대로 적용해 봤습니다.

韓바둑 MegaAI는 전통 명리학 4관법 통변을 LangGraph 11노드 파이프라인 + Dify RAG + Claude Opus로 자동 수행하는 시스템입니다. 6개월 넘게 풀타임으로 붙어 있었고, 숫자만 보면 나쁘지 않습니다.

자산

현재

gwanbeop_ppt 누적

9,733건+

Dify RAG 문서

135문서(hybrid_search)

LangGraph 노드

11개, 배치 360/360 성공

Rails 8.1.1 API

68 엔드포인트

Claude 반성문

34건 / 18패턴

그런데 DECK님 글의 첫 문단이 정확히 제 불편함을 짚었습니다.

"문장은 자연스럽고 표도 반듯합니다. 그런데 다음 주에 그 내용을 제안서나 강의안에 다시 쓰려 하면 질문이 늘어납니다."

명리학은 이 문제가 가장 심한 도메인입니다. 통변은 문장이 매끄러울수록 신뢰가 올라갑니다. "당신은 병신일주라 겉은 유하나 속은 강직하고, 편재가 투간하여 재물의 기복이 큽니다" — 이 문장은 읽기에 완벽합니다. 그런데 이 문장이

  • gwanbeop_ppt 9,733건 중 어느 slide에서 나왔는지,

  • 탈XX 4관법 계통인지 박청화 계통인지 상리철학 계통인지,

  • 원문이 실제로 그렇게 말했는지 아니면 LLM이 그럴듯하게 이어 붙인 것인지

를 답할 수 없다면, 그건 지식이 아니라 점(占)입니다.

그 이유

세 가지가 겹쳤습니다.

  1. UNESCO 등재(2027 목표) — 문화유산 등재 신청서는 "출처가 있다"가 아니라 "출처가 그 주장을 지지한다"를 요구합니다. 링크의 존재와 링크의 지지력이 다르다는 DEER의 구분이 그대로 필요했습니다.

  2. 3대 계통 혼동 위험 — 탈XX 4관법 / 박청화 강의 계통 / 상리철학은 같은 용어로 다른 말을 합니다. 매끈한 한 문장으로 봉합하는 순간, 스승의 학맥이 뭉개집니다.

  3. RAG 유사도 0.5395 — 목표는 0.80입니다. 로드맵 문서에는 목표가 적혀 있고, 온톨로지 레이어 설계도 있습니다. 그런데 저는 어느새 계획서의 숫자와 실측 숫자를 같은 톤으로 말하고 있었습니다. DECK님 사례 2의 "52→100"이 정확히 제 이야기였습니다.

진행 방법

3-0. 먼저 상태표: 가져온 것 / 바꾼 것 / 아직 시험 안 한 것

DECK님 글에서 가장 크게 배운 형식입니다. "읽었다 / 설계했다 / 운영 중이다 / 효과를 봤다"는 전부 다른 주장이라는 것.

방법

출발점

韓바둑에서의 상태

현재 말할 수 있는 범위

7개 품질 차원

DEER

실적용

통변·문서 검토 체크리스트를 7문으로 고정

Tier 0~3 경량 평가

DEER→AKM 변형→韓바둑 재변형

실적용

일주 단순조회와 UNESCO 신청서의 검증 비용을 분리

claim ledger (A~F)

DEER

Adapt

통변 전용 6유형으로 재정의, 고위험 산출물에만 적용

Verify → Learn Back

AKM 운영규칙

실적용(원형 보유)

반성문 34건·18패턴이 이미 Learn Back이었음을 재발견

task contract

AKM 운영규칙

실적용

지식관리 문서화 원칙(단일 파일·누적 통합본)과 결합

단일 canonical writer

AKM 운영규칙

실적용

"문서당 단일 파일, 덮어쓰기" 원칙이 이미 동일

검색 3층 분리

AKM 검색정책

실적용

SQL 지형 → Dify 후보 회수 → 원본 docx 직접 읽기

source manifest·lineage

AKM 출처관리

조건부 실적용

source + slide_number 대역이 manifest 역할, 로드맵이 derivedNotes 역할

GuardrailAgent 문맥 판정

韓바둑 자체

파일럿

무조건 차단 → 문맥 기반 차단 전환 중

온톨로지 레이어 유사도 개선

韓바둑 자체

NOT_TESTED

설계 완료. 삽입 후 재측정 미실시

cross-model 통변 전이 평가

KSI

NOT_TESTED

다른 모델 계열에서의 4관법 재현성 미측정

KSI 전체 런타임·별도 vector store

KSI 공개 구현

Defer

현 Dify+PostgreSQL 구성으로 충분, 복잡도 미정당화

다중 LLM 합의를 통변 정본으로 승격

과잉 해석 선택지

Reject

여러 모델의 동의는 원문 지지도 진실 판정도 아님

이 표를 먼저 만든 것만으로도 제 로드맵 문서 몇 군데의 표현이 바뀌었습니다. "적용 완료"라고 써 놓았던 항목 중 실제로는 "설계 완료"였던 게 있었습니다.


3-1. DEER 7차원 → 韓바둑 7문

DEER의 7개 차원(101개 세부 항목)을 그대로 쓰면 검증이 통변보다 무거워집니다. 축만 가져와 명리학 문장으로 바꿨습니다.

DEER 차원

韓바둑 질문

Request Fulfillment

4관법 4관을 다 봤는가? 내담자가 물은 것(직업)에 답했는가, 내가 말하기 쉬운 것(성격)으로 갔는가?

Analytical Soundness

절기·간지·대운 계산이 DB 조회로 재현 가능한가? 추정이 섞이지 않았는가?

Structural Coherence

원국 판단 → 운 간섭 → 결론이 같은 명식을 붙들고 있는가?

Format & Style

사주 표기가 시주|일주|월주|연주 순인가? 한자 표기가 정본과 일치하는가?

Ethics & Compliance

단정형 예언·건강·법률 경계를 넘지 않았는가? DisclaimerService 고지가 붙었는가?

Information Sufficiency

주장 강도만큼 RAG를 읽었는가, 상위 3개 청크만 보고 단언했는가?

Information Integrity

인용된 slide가 실제로 그 문장을 지지하는가?

마지막 항목이 제일 아팠습니다. 기존 파이프라인은 RAG 히트가 있으면 "근거 있음"으로 처리했습니다. 그런데 히트 순위는 진실 점수가 아닙니다. 유사도 0.5395라는 건, 절반 가까이는 "관련은 있으나 그 문장을 지지하지는 않는" 청크가 근거 자리에 앉아 있었다는 뜻이기도 합니다.


3-2. Tier 0~3 → 韓바둑 통변 Tier

Tier

대상

요구 검사

Tier 0 Quick

일주·절기·간지 단순 조회

DB 직접 조회 결과만 확인 (추측 금지)

Tier 1 Durable

재사용할 통변 노트, RAG 섹션 초안

7문 축약 + source·slide_number 기록

Tier 2 Deep

공개 기고문·강의안·로드맵 문서·본 사례글

7문 + Guidance Packet + 주요 claim 원문 대조

Tier 3 High-stakes

UNESCO 신청서, 실제 내담자 상담 결과, 건강·법률 언급

Tier 2 + claim ledger 전수 + 계통 라벨 + 2차 검토

핵심은 Tier 3를 남발하지 않는 것입니다. 모든 통변에 claim ledger를 붙이면 시스템이 멈춥니다. "틀리면 신뢰가 크게 흔들리는 것"에만 붙입니다.


3-3. claim 유형 A~F → 통변 claim 6유형 (Adapt)

DEER의 A~F를 명리학 문장에 맞게 다시 정의했습니다.

유형

정의

예시

A

slide_number가 문장 안에 명시된 claim

"박청화 冬 86강(slide 5163)은 정재격을 …로 본다"

B

같은 절 앞의 slide 근거를 승계

위 문장 뒤 "따라서 재물 기복이 …"

C

4관법 원칙에서 연역된 claim

"좌표론상 월지 기준이므로 …" (원칙 문서 필요)

D

명식 구조의 기계적 요약

"병신|병신|을축|기묘 — 을목 일간"

E

상담자의 해석·조언 (근거 불요, 라벨 필수)

"제 상담 경험상 이런 경우는 …"

F

근거가 필요한데 출처가 없는 단정

"당신의 용신은 목(木)입니다"

F유형이 GuardrailAgent가 진짜 잡아야 할 대상이었습니다. 이건 뒤 사례 1에서 자세히 씁니다.

사용 프롬프트 전문 (Tier 3 claim ledger 생성)

[역할]
당신은 韓바둑 MegaAI의 통변 검증관입니다. 통변을 새로 쓰지 말고,
이미 생성된 통변 문장을 claim 단위로 분해해 장부(ledger)만 만드십시오.

[입력]
- 명식: {시주}|{일주}|{월주}|{연주}  (오른쪽→왼쪽 순서 고정)
- 통변 원문: {tongbyun_text}
- RAG 근거 목록: {retrieved_chunks}
  각 항목은 (source, slide_number, 본문) 형식이다.

[작업]
1) 통변을 문장 단위로 분해한다. 문장을 합치거나 요약하지 말 것.
2) 각 문장에 유형을 부여한다.
   A = 인용 slide가 문장 안에 명시됨
   B = 같은 절 앞 문장의 slide 근거를 승계함
   C = 4관법 원칙에서 연역됨 (근거 원칙 문서명을 반드시 적을 것)
   D = 명식 구조의 기계적 요약 (근거 불요)
   E = 상담자 해석·조언 (근거 불요, 단 '해석'으로 라벨)
   F = 근거가 필요하나 제시된 RAG 근거 어디에서도 지지되지 않음
3) A·B·C에 대해 지지 여부를 판정한다.
   Supported / Partially Supported / Not Supported / Source Inaccessible
   판정 근거로 해당 slide 본문의 어느 대목이 그 주장을 지지하는지
   20자 이내로 요약해 적는다. (원문 장문 복사 금지)
4) 계통 라벨을 반드시 붙인다: 탈XX_4관법 / 박청화 / 상리철학 / 미상
   서로 다른 계통이 같은 주제에서 충돌하면 **하나로 봉합하지 말고
   두 값을 모두 보존**하고 CONFLICT로 표시한다.
5) 금지 사항 점검
   - 처방형 단정("용신은 OO이다", "OO년에 반드시 …")이 있는가?
   - 건강·법률·투자에 대한 확정 진술이 있는가?
   - 면책 고지 없이 단정형 예언이 있는가?

[출력 형식] — 표 하나만. 서론·결론 금지.
| # | 문장(30자 요약) | 유형 | 근거(source/slide) | 계통 | 판정 | 조치 |

[조치 값]
유지 / 약화 / 삭제 / CONFLICT 보존 / HOLD

[최종 판정] 표 아래 한 줄:
PASS / PASS_WITH_NOTE / HOLD / FAIL  +  사유 한 문장
[Learn Back] 한 줄: source / context / procedure / checklist 중 무엇을 고칠 것인가

3-4. 검색 3층 분리 — Graphify·qmd·direct read의 韓바둑 대응

DECK님 글에서 "검색 하나에 모든 책임을 주지 않는다"가 제 시스템에 그대로 옮겨졌습니다.

AKM

韓바둑 대응

역할

Graphify (관계 지형)

gwanbeop_ppt source × slide 대역 조회

어느 계통·어느 시리즈를 함께 볼지

qmd (후보 회수)

Dify hybrid_search

관련 섹션 후보 3~8개 회수

direct read (사실 경계)

원본 docx / 전사 리포트 직접 열기

최종 사실 판정

sql

-- 1층: 지형 확인 — 이 주제가 어느 계통 어느 대역에 걸쳐 있는가
SELECT source,
       COUNT(*)                AS 섹션수,
       MIN(slide_number)       AS 시작,
       MAX(slide_number)       AS 종료
FROM   gwanbeop_ppt
WHERE  (title ILIKE '%격국%' OR content ILIKE '%용신%')
GROUP  BY source
ORDER  BY 섹션수 DESC;

-- 2층 후보 회수는 Dify hybrid_search가 담당 (여기서는 확정 금지)

-- 3층: 직접 읽기 — 후보 slide의 실제 본문을 그대로 꺼내 눈으로 확인
SELECT source, slide_number, title, LEFT(content, 400) AS 본문앞부분
FROM   gwanbeop_ppt
WHERE  source = '박청화_춘하추동_冬'
  AND  slide_number BETWEEN 5161 AND 5165
ORDER  BY slide_number;

검색 순위는 진실 점수가 아니다 — 이 한 문장이 제 파이프라인에서 가장 비싼 교훈이었습니다.


3-5. source lineage — 이미 갖고 있었는데 이름이 없었습니다

DECK님의 manifest·derivedNotes 개념을 읽고 나서야, 韓바둑이 이미 같은 걸 하고 있다는 걸 알았습니다.

AKM 개념

韓바둑 실물

source bundle

원본 강의 docx / 전사 리포트

manifest

gwanbeop_ppt의 source + slide_number 연속 대역

SHA-256 / bytes

(미구현 — NOT_IMPLEMENTED)

derivedNotes

○○_로드맵_일괄업데이트_v○_○.md

예를 들어 박청화 정진반은 이렇게 족보가 남아 있습니다.

시리즈

source

slide 대역

운의해석 春

박청화_운의해석

6001~6119

운의해석 夏

박청화_운의해석_夏

6401~6481

운의해석 秋

박청화_운의해석_秋

6601~6725

운의해석 冬

박청화_운의해석_冬

6201~6335

정진반 上

박청화_정진반_上

7001~7098

정진반 下

박청화_정진반_下

9636~9733

보완한 것: 지금까지 로드맵에는 "몇 건 등재했다"만 적었습니다. 이제 "이 원본이 바뀌면 어느 파생 문서를 다시 봐야 하는가"를 함께 적기로 했습니다. 해시는 아직 없습니다. 없으면 없다고 씁니다.


3-6. Verify → Learn Back = 반성문 34건의 재발견

가장 뜻밖의 수확입니다. AKM의 Learn Back을 읽으면서 "이거 우리 반성문 아닌가?" 싶었습니다.

韓바둑에는 Claude 반성문 총괄표(34건 / 18패턴)가 있습니다. 그런데 두 가지가 달랐습니다.

  • 반성문: 실패를 기록한다 → 사후 문서

  • Learn Back: 실패를 다음 실행의 입력으로 보낸다 → 운영 루프

차이를 메우기 위해, 세션 시작 시 반성문을 프로젝트 지식에서 먼저 불러오는 절차를 명문화했습니다.

세션 시작 프로토콜:
1) project_knowledge_search("Claude 반성문 실수") 실행
2) 이번 작업과 같은 패턴 번호가 있는지 확인
3) 있으면 해당 패턴의 재발 방지 체크리스트를 task contract에 복사
4) 작업 종료 시 신규 위반 발생 → 반성문 신규 번호 + 패턴 갱신

이렇게 하니 반성문이 "박제된 반성"에서 "다음 작업의 입력"이 됐습니다.

전체 루프는 이렇게 정리됐습니다.

질문 / 명식
   ↓
[SQL 지형: source × slide 대역]  +  [Dify hybrid_search: 후보 회수]
   ↓
[원본 docx 직접 읽기 — 사실 경계]
   ↓
[task contract: 산출물·금지·완료조건 + 반성문 체크리스트 주입]
   ↓
[단일 canonical writer — 문서당 단일 파일, 누적 통합본]
   ↓
[lint + 파일 readback + 주요 claim 원문 대조 + 계통 라벨 확인]
   ↓
┌─────────── PASS / PASS_WITH_NOTE ───────────┐
│ trustLevel 조정 → RAG 등재 · 재사용          │
└──────────────────┬───────────────────────────┘
                   │ HOLD / FAIL
                   ↓
      문장 약화 · 근거 보강 · 계통 분리 · 범위 축소
                   ↓
      Learn Back: 반성문 신규 등록 → 패턴 갱신
                   └──────────────→ 다음 세션 입력

결과와 배운 점

실제 사례 1 — 금기어 4어: 무조건 차단이 정본 자료를 스스로 검열하고 있었습니다

韓바둑 GuardrailAgent에는 4관법 금기어 4종이 있습니다.

python

FORBIDDEN_TERMS = ["격국", "용신", "기신", "희신"]

4관법 통변에서 이 용어로 단정하는 것은 계통 위반이라, 무조건 차단으로 만들어 뒀습니다. 배치 테스트 결과는 금기어 위반 0건. 숫자만 보면 완벽합니다.

그런데 claim ledger 관점으로 다시 보니 문제가 드러났습니다. 같은 단어인데 claim 유형이 전혀 달랐습니다.

문장

claim 유형

판정

처리해야 할 방식

"당신의 용신은 목(木)입니다"

F (근거 없는 처방형 단정)

Not Supported

차단이 맞음

"박청화 冬 85~87강은 기존 격국용신론의 한계를 지적하고 희귀동소 개념으로 재정립한다"

A (slide 5161~5165 명시)

Supported

차단하면 안 됨

"격청격탁 관점에서 이 명식은 …"

A/C

Partially Supported

계통 라벨 후 허용

즉 무조건 차단은 우리 RAG에 정식 등재된 박청화 정본 자료를 시스템이 스스로 검열하는 구조였습니다. 박청화_춘하추동_冬 slide 5161~5165는 격국용신 재정립을 정면으로 다루는 섹션인데, 이걸 인용하려는 순간 가드레일이 문장을 지웠습니다.

교정 방향 (현재 파일럿):

  • 차단 대상 = F유형 처방형 단정만 ("용신은 OO이다", "OO이 기신이니 피하라")

  • 허용 대상 = A유형 인용 + 계통 라벨 (희귀동소 / 격청격탁 / 재정립 맥락)

  • 근거 문서: 박청화 「격국 용신에 대한 새로운 관점」(신사주학 春夏秋冬 통합본 §3.4)

최종 판정: PASS_WITH_NOTE. 주석이 남아서 실패가 아닙니다. 계통 충돌을 하나의 규칙으로 봉합하지 않고 두 값을 보존한 결과가, 다음 작업에서 더 쓸모 있었습니다.

Learn Back:

  • 금기어는 어휘 목록이 아니라 claim 유형 목록으로 관리한다.

  • 3대 계통(탈XX 4관법 / 박청화 / 상리철학)이 충돌할 때 단일 정답으로 합치지 않는다.

  • 가드레일 테스트 성공률은 "차단률"이 아니라 "오차단률"을 함께 기록한다.


실제 사례 2 — 0.5395와 0.80: 계획 증거를 실행 증거처럼 말하고 있었습니다

DECK님 사례 2("발표자료의 52→100과 현장에서 실제로 말한 내용은 달랐다")가 제일 뜨끔했습니다.

韓바둑 로드맵에는 이렇게 적혀 있습니다.

[기준점]  천간 미반영 3그룹:  유사도 0.38   / ≥0.5 달성률  1.1%
[현재]    천간 반영 60갑자:   유사도 0.5395 / ≥0.5 달성률 68.4%   ← 현재 위치
[Phase 2] 목표:               유사도 0.80   / ≥0.5 달성률 90%↑

그리고 온톨로지 레이어(5도메인·6관계유형)를 기존 11노드 파이프라인 02→03 노드 사이에 삽입하는 설계가 있습니다. 좌표론 도메인(4좌표 × 10가족역할 = 40조합) 파일럿도 시작했습니다.

문제는 제가 이 세 가지를 한 호흡으로 말하고 있었다는 것입니다.

증거를 분리해 봤습니다.

진술

증거 종류

상태

"유사도 0.5395, ≥0.5 달성률 68.4% (19일주)"

실측 증거

✅ 측정됨

"목표 0.80"

계획 증거

📋 목표값

"온톨로지 레이어를 02→03 사이에 삽입한다"

설계 증거

✅ 설계 완료

"온톨로지 레이어가 유사도를 올린다"

효과 증거

❌ NOT_TESTED

"유사도 개선이 실제 상담 적중률을 올린다"

성과 증거

❌ NOT_TESTED

"다른 모델 계열에서도 4관법 통변이 재현된다"

전이 증거

❌ NOT_TESTED

온톨로지 도입 비용·지연

—

❌ NOT_RECORDED

넷을 합치면 "온톨로지로 0.80을 달성해 적중률을 올리는 중"이라는 그럴듯한 성공담이 됩니다. 분리하면 지금 무엇을 해야 하는지가 보입니다. 삽입 전/후 동일 19일주로 재측정하는 A/B 한 번이 없으면, 온톨로지는 좋은 설계일 뿐 검증된 개선이 아닙니다.

여기에 하나 더. 0.5395라는 숫자 자체도 19/60 일주 커버리지에서 나온 값입니다. 60갑자 전수로 확장했을 때 같은 값이 유지된다는 보장도 아직 없습니다. 이것도 NOT_TESTED입니다.

Learn Back:

  • 로드맵 표의 모든 수치에 증거 종류 열을 추가한다 (실측 / 계획 / 설계 / 효과 / 미측정).

  • "개선 중"이라는 표현을 금지하고, "설계 완료·효과 미측정"으로 쓴다.

  • 온톨로지 삽입은 삽입 전 baseline 재측정 → 삽입 → 동일 조건 재측정 순서를 계약에 고정한다.


30분 최소 검증 루프 — 韓바둑 버전

DECK님 글의 30분 루프를 명리학 작업용으로 옮겼습니다. 서버도 코드도 필요 없습니다.

0~5분 — 작업 계약 5줄

목적: 이 통변/문서를 어디에 쓸 것인가? (상담 / 강의 / 기고 / UNESCO)
독자: 누가 읽고 무슨 결정을 하는가?
필수: 4관 중 반드시 다뤄야 할 관은? 반드시 인용할 계통은?
금지: 처방형 단정 / 건강·법률 확정 / 계통 혼합 / 미검증 수치 인용
완료: 어느 slide 근거와 어느 검사 결과가 있어야 끝인가?

5~12분 — 후보와 원문 분리

  • SQL로 source별 지형 확인 (계통이 몇 개 걸쳐 있는지)

  • Dify hybrid_search 후보 3~5개 회수

  • 최소 1개는 원본 docx를 직접 연다

  • 접근 실패한 원본은 Source Inaccessible로 기록 (있는 척 금지)

12~20분 — 중요 claim 3개만

claim

근거(source/slide)

계통

판정

조치

틀리면 신뢰가 깨지는 문장

정확한 slide 번호

탈XX/박청화/상리

Supported / Partial / Not / Inaccessible

유지/약화/삭제/HOLD

우선순위: 연도·수치·인명·한자 표기·계통 귀속·건강 관련 진술. (제 프로젝트 기준으로는 "韓夏敏"의 한자 표기 같은 것도 여기 들어갑니다. 河民·河敏으로 쓰면 그 문서는 그 순간 신뢰를 잃습니다.)

20~25분 — 기계가 잘하는 검사

□ 요청한 파일이 실제로 존재하는가 (readback)
□ 글자 수가 원본 대비 -10% 이상 줄지 않았는가
□ 단락 수가 -1,000개 이상 감소하지 않았는가
□ 이미지·리소스가 유지됐는가
□ 사주 표기가 시주|일주|월주|연주 순인가
□ Markdown 정본과 붙여넣기본의 본문이 같은가
□ 서버 IP·DB명·경로가 공개 글에 섞이지 않았는가

韓바둑 반성문 원칙 6번이 여기 그대로 들어갑니다. 파일 크기 -10% 또는 단락 -1,000개 감소는 이상 신호이고, "압축했다·최적화했다"는 자가 정당화는 금지입니다.

25~30분 — PASS보다 HOLD를 먼저 정의

  • PASS — 주요 claim·형식·readback 모두 통과

  • PASS_WITH_NOTE — 계통 충돌이나 저위험 주석을 유지한 채 사용 가능

  • HOLD — 근거·계통 귀속 문제가 남아 공개·재사용 불가

  • FAIL — 오해 유발 또는 대규모 재작업 필요

마지막 한 줄: Learn Back: source / context / procedure / checklist 중 무엇을 고칠 것인가?


배운 점 · 꿀팁

꿀팁 1 — "링크 있음"과 "링크가 지지함"을 분리하는 순간 RAG 품질 지표가 바뀝니다. 유사도 0.5395를 "검색 성능"으로만 보다가, "근거 지지율"로 다시 보니 개선 방향이 달라졌습니다. 청크를 더 잘 찾는 문제가 아니라, 찾은 청크가 그 문장을 실제로 지지하는지 판정하는 단계가 없던 문제였습니다.

꿀팁 2 — 금기어는 어휘 목록이 아니라 claim 유형 목록으로 관리하세요. 단어 단위 차단은 만들기 쉽고 테스트 통과율도 예쁩니다. 그리고 정본 자료를 조용히 지웁니다.

꿀팁 3 — 표의 모든 수치에 '증거 종류' 열을 넣으세요. 실측 / 계획 / 설계 / 효과 / 미측정. 이 열 하나가 제 로드맵 문서 여러 곳의 어조를 바꿨습니다.

꿀팁 4 — 출처 충돌은 봉합하지 말고 두 값을 남기세요. DECK님 사례의 "TV 12대 / 13대"가 제게는 "격국·용신을 금기로 볼 것인가 재정립 대상으로 볼 것인가"였습니다. 계통 라벨을 붙여 둘 다 보존한 쪽이 다음 작업에서 훨씬 쓸모 있었습니다.

꿀팁 5 — NOT_TESTED라고 쓰는 습관이 문서 수명을 늘립니다. "진행 중"은 6개월 뒤에 읽으면 아무 정보가 없습니다. "설계 완료 / 효과 미측정"은 6개월 뒤에도 정확합니다.

시행착오

시행착오

내용

교훈

DEER 101항목 전면 도입 시도

통변 1건 검증에 본문보다 긴 채점표가 생김

Tier로 검증 예산 배분

가드레일 성공률 0건 위반에 안심

오차단(false block)을 세지 않았음

차단률과 오차단률을 함께 기록

로드맵의 목표값을 성과처럼 인용

0.80은 계획, 0.5395가 실측

증거 종류 열 신설

lineage를 만들었다고 쓸 뻔함

SHA-256 manifest는 실제로 없음

없으면 NOT_IMPLEMENTED로 표기

KSI 전체 런타임 도입 검토

별도 vector store·always-on forum은 과잉

Defer 판정, 현 Dify 구성 유지

도움이 필요한 부분

검증 루프를 붙여 보니, 제 병목이 "검색이 약하다"가 아니라 더 앞단에 있다는 게 드러났습니다. 세 가지만 여쭙습니다.

1. 쿼리와 문서 사이의 어휘 제로 중복 — 0.5395의 진짜 원인

유사도 0.5395를 검색 성능 문제로 보고 청크 크기·overlap을 만졌는데, 실측 진단은 달랐습니다. 사용자와 문서가 같은 단어를 하나도 공유하지 않습니다.

사용자가 쓰는 말

문서에 적힌 말

"이 사람이랑 결혼해도 될까요"

재성공망 · 임묘 · 인신상충 · 축술형

"직장을 옮기는 게 나을까요"

관인소통 · 정관 vs 편관 · 격각살

"돈이 자꾸 새요"

재근유무 · 식신생재 · 형출 · 공망부동산

임베딩이 이 간극을 못 넘습니다. 온톨로지 레이어(5도메인·6관계유형)를 브릿지로 넣는 설계까지는 했는데, 일상어 → 술어 매핑을 몇 개 규모로 어디까지 만들어야 효과가 나오는지 감이 없습니다. 40조합 파일럿으로 충분한지, 수백 개가 필요한지. 도메인 용어와 사용자 어휘가 완전히 분리된 RAG(의료·법률·전통지식 등)를 다뤄 보신 분의 경험이 절실합니다.

2. 9,733건에 메타데이터를 소급 부여하는 저비용 방법

이번에 "계통 라벨(탈XX/박청화/상리철학)"과 "증거 종류"가 필요하다는 결론이 났는데, 이미 등재된 9,733건에는 그 필드가 없습니다. 전량 재적재는 비용도 크고 반성문 원칙(기존 기능 파괴 금지)에도 걸립니다.

  • source 값에서 기계적으로 유도 가능한 부분 / LLM 판정이 필요한 부분 / 사람이 봐야 하는 부분을 어떤 기준으로 3분할하시는지

  • 별도 테이블로 빼서 조인할지, 기존 스키마에 컬럼을 추가할지

  • 소급 태깅의 정확도를 표본 몇 %로 검증하면 신뢰할 만한지

3. LLM-as-judge 측정 재현성 — A/B의 전제 조건

앞으로의 계획 1·2번(온톨로지 삽입 전후 A/B)이 여기서 막혀 있습니다. 0.5395는 Claude API로 두 통변의 의미 유사도를 0.0~1.0으로 매긴 값인데, 판정기 자체의 흔들림 폭을 모릅니다. 같은 입력을 다시 돌렸을 때 ±0.05가 뜬다면, 0.5395 → 0.60이 개선인지 잡음인지 구분할 수 없습니다.

  • 판정 프롬프트의 test-retest 편차를 어떻게 측정·고정하시는지 (n회 반복 후 중앙값? 이산 점수 강제?)

  • 개선을 주장하려면 최소 몇 %p 차이가 나야 한다고 보시는지

이 세 번째가 사실 가장 급합니다. baseline이 흔들리면 이번 글에서 배운 "계획 증거와 효과 증거 분리"를 실행할 수단 자체가 없기 때문입니다.


5. 앞으로의 계획

우선순위

작업

현재 상태

완료 기준

1

온톨로지 레이어 삽입 전 baseline 재측정

미실시

동일 19일주 재측정값 확보

2

온톨로지 삽입 후 동일 조건 A/B

설계 완료

0.5395 대비 변화량 기록 (개선/무변화 모두 기록)

3

GuardrailAgent 문맥 판정 정식 전환

파일럿

오차단률 골든셋 통과

4

로드맵 7종에 '증거 종류' 열 일괄 추가

미착수

실측/계획/설계/효과/미측정 표기 완료

5

source manifest에 해시 도입

NOT_IMPLEMENTED

원본 docx SHA-256 등록 + derivedNotes 연결

6

60갑자 커버리지 19/60 → 60/60

진행 중

전수 확장 후 유사도 재측정

7

Phase 10 Rails SSE 스트리밍

계획

—

8

UNESCO 신청 문서 전 항목 Tier 3 claim ledger

계획

F유형 0건

특히 1·2번을 3번보다 앞에 둔 것이 이번 적용의 가장 실질적인 변화입니다. 예전 같으면 "기능 먼저, 측정은 나중에"였을 텐데, baseline 없는 개선은 개선이라 부를 수 없다는 걸 이번에 확인했습니다.

도움 받은 글 (옵션)

자료

링크 / 출처

DECK님 사례글 — 「AI 답변은 언제 '다시 써도 되는 지식'이 될까?」 (본 글의 직접적 출발점)

https://www.gpters.org/nocode/post/when-will-ai-answers-7LMDOnQsq3VTwf0

DEER: A Benchmark for Evaluating Deep Research Agents on Expert Report Generation

https://arxiv.org/abs/2512.17776v4

Knowledge-Centric Self-Improvement (KSI)

https://arxiv.org/abs/2607.19592v1

KSI 공개 구현

https://github.com/recursive-knowledge/KSI

AKM 공개 저장소

https://github.com/DECK6/akm

LangGraph 가이드북

https://wikidocs.net/book/16723

Anthropic 프롬프트 엔지니어링 가이드

https://docs.anthropic.com

한 줄 감사: DECK님 글에서 제가 가장 크게 배운 건 방법론이 아니라 상태표였습니다. "읽었다 / 설계했다 / 운영한다 / 효과를 봤다"를 한 표에서 분리하는 것만으로, 제 프로젝트 문서 여러 곳의 과장이 스스로 드러났습니다.


7. 태그

#AI지식관리 #AKM #DEER #KSI #claim검증 #LearnBack #RAG검증 #LangGraph #Dify #ClaudeOpus #PostgreSQL #명리학 #4관법 #한바둑 #UNESCO #가드레일 #출처검증 #NOT_TESTED


부록 — 본 글 자체의 Tier 2 QA 결과

검증 루프를 소개하는 글이 정작 자기 검증 결과를 감추면 앞의 내용이 전부 무효가 됩니다. 그래서 이 표를 함께 공개합니다. 판정이 PASS가 아니라 PASS_WITH_NOTE라는 점까지 그대로 둡니다.

7문 점검

결과

① Request Fulfillment

지피터스 7항목 템플릿 전부 충족 ✅

② Analytical Soundness

인용 수치(9,733건 / 0.5395 / 68.4% / 19일주 / 34건 반성문 / slide 5161~5165)는 프로젝트 정본 문서와 대조 ✅

③ Structural Coherence

"그럴듯한 통변과 재사용 가능한 지식은 다르다"는 한 질문을 끝까지 유지 ✅

④ Format & Style

사주 표기 시주|일주|월주|연주 순 준수, 계통 명칭 정본 표기 준수 ✅

⑤ Ethics & Compliance

서버 IP·DB 접속정보·계정 미포함, 실명 내담자 사례 미포함, 스승 호칭 표기 원칙 준수 ✅

⑥ Information Sufficiency

DECK님 원글 + 프로젝트 정본 문서 대조. DEER·KSI 원논문은 원글의 인용을 경유했고 직접 통독하지 않음 ⚠️

⑦ Information Integrity

미측정 항목을 NOT_TESTED / NOT_IMPLEMENTED / NOT_RECORDED로 명시 ✅

claim 유형별 분포

처리

A (slide 명시)

금기어 사례의 冬 85~87강 인용 — Supported

C (원칙 연역)

4관법 계통 구분 논거 — 정본 문서 근거 명시

E (저자 해석)

"명리학은 이 문제가 가장 심한 도메인" 등 — 해석으로 라벨

F (근거 없는 단정)

0건 — 발견 시 삭제·약화 처리 완료

항목

값

최종 판정

PASS_WITH_NOTE

주석 사유

⑥ DEER·KSI 원논문 미통독(2차 인용) / 온톨로지 효과·cross-model 전이 미검증 상태로 공개

Learn Back

① 로드맵 7종에 '증거 종류' 열 추가 (checklist 교정) ② 2차 인용은 본문에 "원글 경유"로 표기하는 규칙 신설 (procedure 교정)

7

함께 이야기해요 7

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.05

RAG 유사도 0.5395를 그냥 넘기지 않고 "로드맵 숫자와 실측 숫자를 같은 톤으로 말하고 있었다"고 포착한 부분이 인상적이에요. 계획서에 적은 목표치와 실측값을 섞어 말하는 건 발표할 때 의도치 않게 넘어가기 쉬운 함정인데, DEER 렌즈로 딱 집어내신 거잖아요.

반성문 34건·18패턴이 이미 Learn Back이었다는 재발견도 좋았어요 — 방법론 이름을 몰랐을 뿐 이미 하고 있었다는 뜻이고, 로그가 쌓여 있으니 소급 적용도 가능한 상태인 거니까요.

명리학 특성상 "문장이 매끄러울수록 신뢰가 올라간다"는 아이러니 — 출처 검증 부담이 거기서 더 무거워지는 이유가 있었군요. 3대 계통 혼동 가드가 왜 필요한지 그 맥락에서 바로 이해됐어요.

고롱고롱… 이런 기록 보면 괜히 꼬리가 움직여요 🐈‍⬛

DECK 프로필 이미지
DECK2026.08.06

제가 정리한 DEER·KSI를 그대로 옮기지 않고 명리 RAG의 7문과 A~F claim으로 다시 짜 주셔서 반가웠습니다.

같은 용어도 출처가 명시된 A claim과 근거 없는 처방형 F claim으로 갈라 보니 금기어 오차단이 또렷해졌고요.

실측 0.5395, 목표 0.80, 온톨로지 효과 미측정을 따로 둔 표기에서도 검증 상태가 흐려지지 않았습니다.

동일 19일주 A/B와 Guardrail 골든셋 결과까지 모이면 설계가 실제 효과로 이어지는 경계가 보이겠습니다.

한바둑 프로필 이미지
한바둑2026.08.06

감사 인사와 함께, 아직 열려 있는 지점을 정직하게 남기는 방향으로 답글을 드리면 좋겠습니다.


DEER·KSI를 그대로 옮기지 않은 건 사실 선택이라기보다 옮겨보니 안 맞았기 때문입니다. 두 틀은 검증 가능한 명제를 전제로 하는데, 명리는 그 전제가 성립하는 구간과 아닌 구간이 한 문장 안에 섞여 있더군요. 그래서 7문으로 갈라 물었고, 그 결과가 A~F claim이었습니다. 순서가 반대였다면 아마 두 틀의 이름만 빌린 채 안은 그대로였을 겁니다.

A와 F를 가른 것을 짚어주셔서 감사합니다. 저도 그 지점에서 금기어 오차단의 정체를 알았습니다. 차단기는 용어를 보고 막고 있었는데, 실제로 막아야 할 것은 출처 없이 처방으로 건너뛰는 문장 형태였습니다. 같은 용어가 A에 있으면 통과해야 하고 F에 있으면 막혀야 하는데, 용어만 보는 한 둘을 구분할 방법이 없었습니다. 문맥 기반 차단으로 옮겨야 할 이유가 여기서 처음 분명해졌습니다.

실측 0.5395 / 목표 0.80 / 온톨로지 효과 미측정을 따로 둔 표기를 알아봐 주셔서 반갑습니다. 하나로 합치면 보기는 깔끔한데 그 순간 무엇이 확인된 것인지 말할 수 없게 됩니다. 특히 온톨로지 효과는 미측정을 미측정으로 남겨야 했습니다. 지금 숫자를 붙이면 그 숫자가 이후 모든 비교의 기준선이 되어버리니까요.

다만 0.5395에 대해 한 가지 덧붙이겠습니다. 이 값이 어떤 묶음에서 나온 것인지가 아직 고정되어 있지 않습니다. 지금은 손에 잡히는 사례로 잰 것이라, 다음 측정과 비교하려면 테스트 묶음·정답 라벨·측정 시점을 함께 못박아야 합니다. 목표 0.80도 근거 있는 수치라기보다 아직은 방향 표시에 가깝습니다. 거짓 통과와 거짓 보류의 비용을 재고 나서 다시 잡을 생각입니다.

동일 19일주 A/B와 Guardrail 골든셋 — 말씀하신 대로 이 둘이 모여야 경계가 보입니다. 여기에 하나만 더 두려 합니다. A/B에서 차이가 났을 때 그 차이가 온톨로지 때문인지 검색 때문인지 판정할 수 있는 형태로 설계하는 것. 같은 일주를 두 조건으로 돌려 점수만 비교하면 어느 쪽이 움직였는지 알 수 없어서, 두 요인을 동시에 바꾸지 않으려 합니다. 골든셋도 막아야 할 F 사례와 통과해야 할 A 사례를 같은 수로 두어, 차단율과 통과율을 한 화면에서 볼 생각입니다.

설계가 실제 효과로 이어지는 경계 — 그 문장을 다음 측정 계획의 제목으로 삼겠습니다. 결과가 나오면 묶음과 라벨까지 함께 올리겠습니다. 매번 제가 다음에 막힐 자리를 먼저 짚어주셔서 고맙습니다.

꾸
꾸기작2026.08.06

이미 만들어둔 9,733건의 시스템을 DECK님의 DEER·KSI 검증 루프로 다시 본 과정이 눈에 띄었습니다. 매끄럽게 보이는 문장이 실제로는 몇 개의 위험을 숨기고 있다는 발견, 특히 "출처가 있다"와 "출처가 그 주장을 지지한다"를 구분하지 않았다는 자기 진단이 명확했습니다. 명리학 도메인에서 그 차이가 문화유산 등재 신청서 수준까지 올라간다는 맥락도 구체적이었습니다.

문장 단위로 claim을 분해하고 각각을 A~F 유형으로 분류한 후 지지 여부를 판정하는 7문 체크리스트(Request Fulfillment부터 Information Integrity까지)가 특히 참고가 됐습니다. 제일 아팠다고 쓰신 마지막 문항, 인용된 slide가 실제로 그 문장을 지지하는지 판정하는 부분이 "유사도 0.5395는 절반 가까이 지지하지 않는 청크가 근거 자리에 앉아 있었다"는 재발견으로 이어진 게 좋았습니다.

무조건 차단이 정본 자료를 스스로 검열하고 있었다는 사례 1과 0.5395를 계획 증거로 말하고 있었다는 사례 2 모두에서 상태표의 위력이 드러납니다. 박청화 정본을 인용하려던 순간 가드레일이 문장을 지운 일, 로드맵의 목표 0.80과 실측 0.5395를 한 호흡으로 말한 일. 둘 다 "무엇을 알고 무엇을 모르는지"를 분리하지 않아서 생긴 일이라 설득력 있었습니다. 계통 충돌을 단일 정답으로 봉합하지 않고 두 값을 보존한 결과가 다음 작업에서 더 쓸모 있었다는 마무리도 명확했습니다.

30분 최소 검증 루프에서 0~5분의 작업 계약 5줄과 20~25분 기계 검사 체크리스트가 특히 실용적으로 보였습니다. 목적·독자·필수·금지·완료조건을 명문화하고, 파일 크기나 단락 감소를 이상 신호로 감지하는 방식은 시간이 없을 때도 큰 실수를 걸러낼 수 있는 구조입니다. 특히 "압축했다·최적화했다"는 자가 정당화를 금지한 부분이 좋았습니다. 반성문 원칙 6번이 여기 그대로 들어간다고 쓰신 대목도 이 루프가 한 번에 만들어진 게 아니라는 게 느껴졌습니다.

"NOT_TESTED라고 쓰는 습관이 문서 수명을 늘린다"는 꿀팁이 이 글의 핵심이라 느꼈습니다. 링크가 지지도를 측정하지 않은 상태에서 개선이라고 단정하지 않고, 온톨로지 삽입 전 baseline 재측정과 삽입 후 A/B를 순서대로 정하고, 로드맵의 모든 수치에 증거 종류 열을 넣는 것. 세 가지가 차곡차곡 쌓이면서 9,733건의 시스템이 과장된 성공담에서 "지금 무엇을 해야 하는지"가 선명한 다음 단계로 넘어갈 준비를 하는 기록으로 보였습니다. 1·2번 우선순위를 3번 기능보다 앞에 둔 결정이 이번 적용의 가장 실질적인 변화라고 정리하신 부분도 공감합니다.

한바둑 프로필 이미지
한바둑2026.08.07

읽어주셔서 감사합니다. 짚어주신 대목들이 공교롭게도 쓰면서 가장 오래 망설였던 자리들이라 조금 놀랐습니다.

판정 어휘는 처음엔 셋이었습니다. 있음/없음/not_checked만 두니 "문서에는 적어놨지만 실제로 돌아가지는 않는" 칸이 전부 '있음'으로 들어와 버리더군요. 문서만을 따로 떼어내고 나서야 7칸이라는 숫자가 나왔습니다. 그 전 초안에서는 열다섯 칸쯤 되는 것처럼 보였습니다. '부분적으로 있음'을 금지한 것도 같은 이유입니다. 그건 판정하는 말이 아니라 판정을 미루는 말이었습니다.

강점을 찾으라는 항목은, 결손만 늘어놓은 첫 초안을 제가 못 견뎌서 끼워 넣은 것에 가깝습니다. 그런데 결과적으로 그 항목이 제일 쓸모 있었습니다. Loop 칸이 이미 잘 되어 있던 이유를 따져보니, 반성문은 원칙으로 만든 게 아니라 아파서 만든 것이더군요. 새로 선언한 원칙은 지켜지지 않고, 아파서 생긴 습관은 지켜집니다. 그래서 나머지 여덟 행도 "무엇을 이식할까"보다 "여기서도 이미 아팠던 적이 있었나"를 먼저 뒤지는 쪽으로 방향을 잡았습니다.

12칸 오기는 좀 우스웠습니다. 세는 도구를 만들겠다면서 정작 세기는 손으로 하고 있었으니까요. edge_audit.py를 실제로 짜게 된 직접적인 계기가 그 실수입니다.

석 달 뒤 재측정에서는 있음이 몇 칸 늘었는지보다 자를 안 바꿨는지를 먼저 확인하려 합니다. 눈금을 슬쩍 넓혀놓고 좋아졌다고 말하기가 제일 쉬운 일이라서요. 응원 감사합니다.

강군 프로필 이미지
강군2026.08.07

한바둑님, 명리는 잘 모르지만 글을 읽으며 한바둑님께서 구현하시려 하는 목적과 이유, 그리고 소명 의식을 보았습니다.

근거 있는 지식 그리고 그것이 사람을 향한 것이기에 한걸음은 조심스럽게, 한걸음은 정확한 방향성을 보고 빠르게 변화하면 진행하는 모습에 응원을 드립니다. ^^

명리에 대해 쉽게 생각했지만, 한바둑님의 글을 보면, 왜 명리'학' 인지 알것 같아요.

이 프로젝트의 성공을 기원합니다. 🙏

한바둑 프로필 이미지
한바둑2026.08.08

따뜻한 응원 감사합니다. 🙏

"왜 명리'학'인지 알 것 같다"는 말씀이 오늘 받은 가장 큰 격려입니다. 제가 이 작업을 하는 이유가 바로 그 한 문장에 담겨 있어서요.

말씀하신 대로입니다. 사람을 향한 일이라 한 걸음은 조심스러울 수밖에 없고, 대신 근거가 분명한 부분에서는 주저 없이 나아가려 합니다. 결국 '조심'과 '속도'를 가르는 건 근거의 유무더군요.

앞으로도 잘된 것뿐 아니라 헤맨 과정까지 솔직하게 나누겠습니다. 좋은 말씀 오래 기억하겠습니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기