본문으로 건너뛰기

헤르메스 2단계 — 계통 라우팅 Skill 부제: source 메타 필터를 검색 앞에 세우는 첫 관문(N2) (판단층 스킬)

한바둑

2026.07.27

소개

2-1. 이 관문이 없었을 때 실제로 벌어진 일

라우팅 노드를 만들기 전, 저는 질의가 들어오면 Dify 데이터셋 전체를 hybrid_search로 훑었습니다. 그러자 이런 답이 나왔습니다.

질문: "이 사주는 음양이 어떻게 됩니까" 답변: (앞 문단) 탈XX 4관법의 음양관법으로 양과·음과를 판정하고… (뒤 문단) 그런데 하도 55와 낙서 45의 수리로 보면 음양은…

두 문단은 각각 따로 보면 틀린 말이 아닙니다. 문제는 하나의 답변 안에서 근거의 출처가 바뀌었는데도 독자에게는 한 사람의 말처럼 들린다는 것입니다. 앞은 탈XX 4관법(①계통), 뒤는 상리철학(③계통)입니다. 두 계통은 전제가 다릅니다. 섞으면 어느 쪽 논리로도 검증할 수 없는 문장이 됩니다.

더 나쁜 것은 이 오염이 조용히 일어난다는 점입니다. 문법도 맞고 내용도 그럴듯해서, 계통 구조를 아는 사람이 아니면 발견하지 못합니다. 나중에 "왜 이렇게 말했느냐"고 물으면 근거를 되짚을 수 없습니다.

이 사고를 겪고 내린 결론: 계통 판정은 검색 결과를 정리할 때 하는 일이 아니라, 검색을 시작하기 전에 끝내야 하는 일이다.

2-2. 3대 자료 계통

#

계통

스승 · 저자

주요 자료

성격

①

4관법

탈XX

4관법 PPT 계열 (음양관법·간지자의론·육신론·신살론)

구조 — 뼈대

②

박청화 강의

박청화

춘하추동, 운의해석 4편(460섹션), 제트엔진 上中下(slide 7001~7630), 정진반 上下 49강(196섹션), 신살론, 옴니버스, 로드투프로, 청화비전

사례 — 살

③

상리철학

조명언 저 · 김동화 강의

상리철학 上 28강 (한바둑 정리본)

존재론적 근거

세 가지를 반드시 지킵니다.

  1. 상리철학(③)을 탈XX(①)와 혼동하지 않는다. 별개 계통입니다.

  2. 역법의원리분석(이은성 원전)·우주변화의원리(한동석)는 ③계통에 포함시키지 않는다. 이 둘은 역법·상수학 자료로, 통변 검색 대상이 아닌 별도 범주로 분리 운영 중입니다.

  3. 매화역수·성명학(이동현 선생)은 3대 계통 밖입니다. 명리 통변에 끌어들이지 않습니다.

초안에는 ③계통을 "상리철학(역법의원리분석·우주변화의원리 포함)"으로 적었으나, RAG 분리운영 가이드 v1.0 기준으로는 이 둘이 범위외·저작권군(B 10건)으로 분류되어 통변 데이터셋에서 비활성 처리 대상입니다. 계통 정의와 운영 상태가 어긋나 있어 §8-2에서 확정을 요청드립니다.

2-3. 이 스킬의 계층 — 판단층, 그러나 규율을 집행한다

N2는 판단층입니다. 그런데 하는 일은 규율(계통 혼용 금지)의 집행입니다. 모순처럼 보이지만 아닙니다.

규율층이 하는 일

판단층(N2)이 하는 일

대상

"무엇이 금지인가"를 고정

"이 질의는 어느 계통인가"를 판정

실패 시

차단(BLOCKED)

보류(HOLD) 후 사용자 확인

개선

하지 않음 (고정)

계속 개선

규칙 자체는 6편의 GuardrailAgent가 고정합니다. N2는 그 규칙이 실행 순서상 검색보다 앞에 오도록 자리를 잡는 일을 합니다. 그리고 판단층이므로, 판정하지 못하면 아무거나 고르지 않고 멈춥니다.

진행 방법

3-1. 사용 도구

도구

역할

LangGraph

N2 노드 — N1 직후, N3 직전

Dify Cloud

데이터셋 6d9fbfde-7ea8-429f-b6ec-62ff8e9d0b1d, hybrid_search

PostgreSQL

gwanbeop_ppt.source — 계통 판정의 SSOT

Claude Opus 4.5

규칙 미적중 시 분류 폴백

3-2. 계통 정의를 코드가 아니라 데이터로

초안의 라우터는 계통 판정 기준이 함수 안의 키워드 리스트에 있었습니다. 이러면 자료가 추가될 때마다 코드를 고쳐야 하고, 어느 자료가 어느 계통인지에 대한 진실이 두 군데(DB와 코드)에 생깁니다.

진실은 한 곳에서만 관리한다 — 조립층 원칙을 판단층에도 적용해, 계통 정의를 source 화이트리스트로 외부화했습니다.

python

# lineage_registry.py — 계통 정의 SSOT
LINEAGE = {
    "gwanbeop": {                       # ① 탈XX 4관법
        "label": "4관법",
        "source_prefix": ["<확인필요: 4관법 source 표기>"],
        "role": "구조 · 판정 프레임",
    },
    "parkcheonghwa": {                  # ② 박청화 강의
        "label": "박청화",
        "source_prefix": ["박청화_"],
        "role": "사례 · 실전 적용",
    },
    "sangni": {                         # ③ 상리철학
        "label": "상리철학",
        "source_prefix": ["상리철학_"],
        "role": "존재론적 근거",
    },
}

source_prefix만 관리하면 자료가 늘어도 라우터 코드는 손대지 않습니다. (①계통의 실제 source 문자열은 §8-3 확인 항목입니다. 추정해서 채우지 않았습니다.)

3-3. 라우터 3단 구조

python

# skill_n2_route_lineage.py   (layer: 판단)
from typing import Literal, TypedDict

Lineage = Literal["gwanbeop", "parkcheonghwa", "sangni"]
CONF_FLOOR = 0.70          # 이 아래는 자동 확정하지 않는다

class RouteResult(TypedDict):
    status: str            # ROUTED | ASK | HELD
    lineage_plan: dict     # {TS단계: 계통}
    primary: str | None
    confidence: float
    reason: str

def route_lineage(question: str, saju: dict, qtype: str) -> RouteResult:
    # 1단 — 명시 지정 (사용자가 계통을 직접 말한 경우)
    lin = match_explicit(question)            # "4관법으로", "정진반 기준으로"
    if lin:
        return finalize(lin, 1.0, "명시 지정", qtype)

    # 2단 — 고유명사 규칙 (강의명·저서명·계통 전용 술어)
    hits = match_proper_noun(question)        # source명·강의명 사전 대조
    if len(hits) == 1:
        return finalize(hits[0], 0.95, "고유명사 적중", qtype)

    # 3단 — LLM 분류 폴백 (근거 문장을 함께 요구)
    lin, conf, why = classify_by_llm(question, qtype)

    # ★ 탈출구 — 여기서 아무거나 고르지 않는다
    if conf < CONF_FLOOR or len(hits) > 1:
        return {"status": "ASK", "lineage_plan": {}, "primary": None,
                "confidence": conf,
                "reason": f"계통 미확정({why}). 사용자 확인 필요."}

    return finalize(lin, conf, why, qtype)

finalize() 안에 가용성 게이트를 넣었습니다. 계통을 정해도 그 계통의 문서가 검색에서 꺼져 있으면 N3는 0건을 받습니다.

python

def finalize(lin, conf, why, qtype) -> RouteResult:
    ok, msg = check_lineage_available(lin)     # Dify 활성 문서 존재 확인
    if not ok:
        return {"status": "HELD", "lineage_plan": {}, "primary": lin,
                "confidence": conf,
                "reason": f"{LINEAGE[lin]['label']} 계통 판정됐으나 {msg}"}
    return {"status": "ROUTED", "lineage_plan": plan_by_stage(lin, qtype),
            "primary": lin, "confidence": conf, "reason": why}

3-4. Skill 명세 (6요소)

yaml

# skill_n2_route_lineage.yaml
name: 계통 라우팅
layer: 판단
node: N2
version: 0.3.0

사용조건: 파싱(N1) 직후, 검색(N3) 직전. 질의 1건당 1회.
negative_trigger: 계통 내부에서 어느 강의를 볼지 고르는 일은 N3의 몫이다.

입력: {question, saju, qtype}
출력형식:
  status: ROUTED | ASK | HELD
  lineage_plan: {1: gwanbeop, 2: gwanbeop, 3: gwanbeop, 4: parkcheonghwa, 5: parkcheonghwa}
  primary: 계통 코드
  confidence: 0.0~1.0
  reason: 판정 근거 문장

작업순서:
  1. 명시 지정 확인
  2. 고유명사 규칙 대조
  3. 미적중 시 LLM 분류 + confidence 산출
  4. confidence < 0.70 또는 복수 동점 → 중단하고 사용자 확인   # 근거불충분 탈출구
  5. 계통 가용성 확인 (해당 계통 활성 문서 존재 여부)
  6. 단계별 계통 계획을 state.lineage_plan에 기록

주의사항:
  - 한 문장 안에 두 계통의 논리를 혼재시키지 않는다     # 🔒 불변
  - 같은 단계 안에서는 단일 계통 원칙 (결론 일치 시 병기 허용)
  - 단계가 다르면 계통 결합을 허용한다                  # 결정 5
  - 기본값으로 특정 계통에 떨어뜨리지 않는다             # ★ 초안 대비 변경
  - 판정 실패는 오류가 아니라 정상 결과다

완료기준:
  - status가 ROUTED이면 lineage_plan의 모든 요구 단계에 계통이 배정됨
  - status가 ASK/HELD이면 reason에 사유가 문장으로 남아 있음

3-5. 단계별 계통 계획 — "1개 확정"에서 "단계별 배정"으로

초안은 출력이 {"lineage": "단일값"} 이었습니다. 이것을 단계별 배정으로 바꿨습니다. 사유는 §4-3에 정리했고, 표준 조합은 다음과 같습니다.

단계

1순위 계통

2순위

결합 성격

구조 판정

① 4관법 음양·간지편

② 춘하추동 春·청화비전

프레임워크 + 심화

육신

① 4관법 육신편

② 제트엔진

원리 + 사례

신살

① 4관법 신살편

② 신살론

원리 + 사례

시간(운)

② 운의해석

② 로드투프로

②계통 실질 독점

상담 전환

① 통변집

② 로드투프로

상담 언어

시간 축이 ②계통 독점이라는 점이 라우팅 설계에 결정적입니다. 운의해석 460섹션 없이는 "언제"를 답할 수 없습니다. 여기서는 계통 선택이 아니라 의존이므로, 시간 질의가 왔는데 ②계통이 막혀 있으면 다른 계통으로 대체하지 않고 그대로 보류합니다.

3-6. 실행 예시 3케이스

케이스 A — 정상 라우팅

Q: "정진반 기준으로 직업 볼 때 순서가 어떻게 됩니까"

status: ROUTED
primary: parkcheonghwa (박청화)
confidence: 0.95   ← 2단 고유명사 "정진반" 적중
lineage_plan: {구조: gwanbeop, 육신: gwanbeop, 상담전환: parkcheonghwa}
reason: 고유명사 '정진반' 적중. 단, 구조·육신 판정은 ①계통 선행.

계통을 명시했는데도 앞단계는 ①로 배정된 점이 핵심입니다. "박청화 자료로 답해달라"는 요청이 "박청화 자료만 쓰라"는 뜻은 아닙니다.

케이스 B — 가용성 게이트 작동

Q: "황경 기준이 왜 적경이 아닙니까"

status: HELD          ← ROUTED 아님
primary: sangni (상리철학)
confidence: 0.88
reason: 상리철학 계통으로 판정됐으나, 해당 계통 문서가 통변 데이터셋에서
        비활성 상태(분리운영 27건에 포함). 검색 시 0건 회수 예상.
        → 스위치 복구 후 재질의하거나, 답변 범위를 조정할지 확인 필요.

이 케이스가 이번 스킬에서 가장 값진 발견이었습니다. 라우터만 있었다면 sangni를 반환하고 N3에서 0건이 나온 뒤, 합성 노드가 "자료가 부족하지만 일반론으로 말하면…"을 만들어냈을 겁니다. 판정과 가용성은 별개 문제이고, 둘 다 확인해야 합니다.

케이스 C — 두 계통에 걸치는 질의

Q: "이 사주에 재성이 없는데 어떻게 봅니까"

status: ROUTED
lineage_plan: {구조: gwanbeop, 육신: gwanbeop(1순위) + parkcheonghwa(2순위 병기)}
confidence: 0.82
reason: 육신 단계에서 ①원리와 ②사례의 결론이 일치. 병기 허용 조건 충족.
        단, 문장 내 혼재는 금지 — 근거 문장을 계통별로 분리 서술할 것.

초안 규칙("한 답변에 2개 계통 금지")대로라면 이 질의는 답변 자체가 반쪽이 됩니다. 원리는 ①에, 실제 사례는 ②에 있기 때문입니다. 금지의 단위를 답변 전체가 아니라 문장으로 내리면, 오염은 막으면서 자료는 다 쓸 수 있습니다.

(이미지 자리 — 라우팅 분기 로그 + Dify 활성/비활성 문서 목록 캡처)


3-7. Hermes native 구조로 — 확장과제 방법론 적용

W1 확장과제에서 myeongsik-normalizer를 Hermes native로 전환할 때 쓴 절차를, N2에도 그대로 적용했습니다. 문장을 다듬는 것이 아니라 runtime 구조에 맞추는 작업이라는 점이 같습니다.

Source-rights 판정. N2 스킬은 제가 직접 만든 learner-owned 스킬이므로 verdict allowed입니다. 배포받은 스터디장 스킬(w1-*)이 아니므로 Common Pitfall 1(factory 배포 스킬 직접 수정)에 해당하지 않습니다.

Compatibility Audit 6항목.

감사 항목

상태

근거

frontmatter / routing

needs_change

metadata.hermes.routing 블록 없음 — YAML에 계통 규칙만 있고 라우팅 메타 없음

support folder

needs_change

계통 정의·판정 규칙·출력 형식이 한 파일에 뭉침

invocation triple

needs_change

자연어 트리거만, /명령·direct fallback 미비

output / verifier / failure

compatible

status 3종(ROUTED/ASK/HELD) + reason으로 이미 존재

private path · secret

compatible

비밀정보 없음. 단, 계통 판정 로그에 질의 원문이 남으므로 개인정보 포함 시 [REDACTED] 필요

Tool/command · discovery · apply

not_checked

Hermes 미설치

support folder 3분할. 확장과제의 원칙 — references=긴 자료, templates=복사 형식, scripts=결정적 실행 — 을 그대로 따릅니다.

text

n2-lineage-router-candidate/
├─ SKILL.md                          # routing frontmatter + 얇은 본문(참조로 위임)
├─ references/lineage-definition.md  # 3대 계통 정의·source 화이트리스트·결합 원칙
├─ templates/route-result.md         # ROUTED/ASK/HELD 3종 출력 형식
└─ scripts/match_lineage.py          # 결정적 처리 — source_prefix 매칭·가용성 조회

어디까지 스크립트로 뺄지가 이 스킬의 판단 지점입니다.

처리

담당

이유

source_prefix 문자열 매칭

scripts/match_lineage.py

결정적 — 같은 입력엔 같은 계통

계통 가용성 조회

scripts/match_lineage.py

결정적 — 활성 목록 대조

고유명사 사전 대조 (2단)

scripts/match_lineage.py

결정적

의미 기반 분류 (3단)

LLM

자연어 모호성 처리 — 스크립트로 뺄 수 없음

confidence 산출

LLM

판단의 산물

1·2단은 스크립트로 내렸지만 3단은 LLM에 남겼습니다. 확장과제에서 8글자 분할을 전부 스크립트로 뺄 수 있었던 것과 다른 점입니다. 정규화는 규칙이 완결적이지만, 계통 판정은 그렇지 않습니다. 결정적으로 만들 수 없는 부분을 억지로 스크립트로 밀어 넣으면, 키워드 리스트가 다시 코드 안으로 들어옵니다(§4-4 2번의 실수 재발).

Invocation triple.

yaml

metadata:
  hermes:
    routing:
      trigger: "계통 라우팅. 어느 자료로 답할지 정하기."
      negative_trigger: "계통 내부에서 어느 강의를 볼지 고르기. 통변 해석."
      differentiator: "계통 배정만 — 검색·해석은 하지 않음."
    invocation:
      natural: "이 질문 어느 계통으로 봐야 합니까"
      slash: "/route-lineage"
      direct_fallback: "이 SKILL.md를 읽고 계통 배정만 해줘"

direct_fallback은 강의자료 28장의 "급한 우회 — Skill body를 명시적으로 읽고 실행"에 대응합니다. 라우팅이 실패했을 때 손으로 여는 경로가 있어야 합니다.

Apply Gate.

yaml

apply_gate:
  candidate_validated: false      # frontmatter parse·링크 검증 미실시
  original_backup_verified: true  # 초안 스냅샷 보존 완료 (§4-3)
  explicit_approval: false        # 설계 변경 2건 승인 대기
  native_path: unknown            # Hermes 미설치
  verdict: hold

확장과제와 달리 candidate_validated가 false입니다. candidate 자체를 아직 만들지 않았기 때문입니다. 이 편은 설계 단계이고, 확장과제는 전환을 마친 단계였습니다. 같은 게이트 서식을 쓰되 값이 다릅니다.

결과와 배운 점

4-1. 꿀팁 3가지

① 라우팅을 "검색 전 관문"으로 강제하면 계통 오염이 사라진다. 검색 후에 걸러내는 방식은 실패합니다. 이미 섞인 결과에서 계통을 되짚는 것은 사람이 해도 어렵습니다. 순서를 바꾸는 것만으로 문제가 없어졌습니다.

② 계통 정의를 코드에서 데이터로 빼면 유지보수가 끝난다. 자료가 계속 늘어나는 프로젝트입니다. source_prefix 테이블만 관리하면 라우터는 다시 안 건드립니다.

③ 판정과 가용성을 따로 확인하라. "이 질의는 ③계통이다"와 "③계통을 지금 쓸 수 있다"는 다른 질문입니다. 하나로 묶으면 조용한 실패가 생깁니다.

4-2. 초안 코드의 구조적 결함 1건

초안의 라우터는 이렇게 끝났습니다.

python

    return "gwanbeop"   # ① 4관법 (기본)

그런데 같은 스킬의 YAML에는 이렇게 적혀 있었습니다.

yaml

2. 계통 미지정이면 중단하고 사용자에게 계통 확인 요청   # 근거불충분 탈출구

두 문서가 서로 반대되는 말을 하고 있었습니다. 코드에 기본값 반환이 있으면 "미지정" 상태는 영원히 발생하지 않습니다. 탈출구가 명세에는 있고 구현에는 없는 것입니다.

이것이 사례글 1에서 확인한 것과 정확히 같은 실패 유형입니다. 명세에 탈출구를 적어두는 것과, 코드에 탈출구가 실제로 열려 있는 것은 다른 일입니다. 기본값(default, fallback, "일단 이걸로")은 판단층 스킬에서 가장 자주 등장하는 탈출구 봉인 장치입니다.

판단층 스킬 점검 한 줄: 이 함수가 "모르겠다"를 반환할 수 있는 경로가 실제로 존재하는가.

4-3. 초안 대비 설계 변경 2건 (확정 요청 §8)

변경 ① — "한 답변에 2개 계통 금지" → 금지 단위를 문장으로 내림

「韓바둑 통변 고급화 전략 v2.0」 결정 5(2026-07-24)에서 계통 혼용 금지의 적용 단위를 이미 확정하셨습니다.

단위

규칙

성격

문장 내

두 계통 논리 혼재 금지

🔒 불변

단계 내

단일 계통 원칙, 결론 일치 시 병기 허용

⚠️ 조건부

단계 간

자유 결합

✅ 허용

초안의 N2 규칙("한 답변에 2개 계통을 섞지 않는다", "lineage가 정확히 1개로 확정됨")은 이 결정보다 엄격합니다. 그대로 두면 케이스 C 같은 질의에서 ②계통의 사례를 쓸 수 없게 됩니다. 최신 결정에 맞춰 단계별 배정 방식으로 고쳤습니다.

변경 ② — 기본값 반환 제거

§4-2의 사유로 return "gwanbeop" 기본값을 없애고 ASK 상태를 신설했습니다.

두 변경 모두 교수님 확정 사항을 반영한 것이지 제 임의 판단이 아니라고 이해했습니다만, 초안 원문과 다르므로 §8에서 확인을 요청드립니다.

변경 전에 원본 스냅샷부터 떴습니다.

확장과제에서 v0.1.1을 ORIGINAL-SNAPSHOT으로 보존하고 SHA256을 기록한 뒤 별도 candidate 디렉터리에서만 작업하신 절차를, 이번 설계 변경에도 적용했습니다. "원본을 무작정 고치지 않는다"가 핵심 규칙이기 때문입니다.

text

n2-lineage-router/
├─ ORIGINAL-SNAPSHOT/
│  ├─ skill_n2_route_lineage.draft.py     # 초안 원문 (기본값 반환 포함)
│  ├─ skill_n2_route_lineage.draft.yaml   # 초안 YAML (lineage 1개 확정)
│  └─ SHA256.txt                          # 스냅샷 해시 기록
└─ runtime-native-candidate/              # 모든 변경은 여기서만

이 절차가 없었다면 §8-1의 확인 요청이 성립하지 않습니다. "원안 유지를 원하시면 되돌리겠습니다"라고 말하려면 되돌릴 원본이 실제로 남아 있어야 합니다. 스냅샷 없이 고친 뒤 "돌려드릴 수 있습니다"라고 말하는 것은 빈말입니다.

한 가지 차이는 있습니다. 확장과제의 대상은 완성된 v0.1.1이었지만, 이번 대상은 초안입니다. 초안이라도 원문은 원문이므로 같은 절차를 적용했습니다.

4-4. 시행착오

#

무슨 일이 있었나

어떻게 고쳤나

1

라우팅 없이 전체 검색 → 4관법과 상리철학이 한 답변에 섞임

N2 관문 신설 (검색 앞)

2

키워드 리스트가 함수 안에 있어 자료 추가마다 코드 수정

source_prefix 화이트리스트로 외부화

3

"상리" 키워드가 상리철학·역법 자료를 함께 끌어옴

계통 정의에서 역법·상수학 자료 분리 (§2-2)

4

기본값 gwanbeop 때문에 탈출구가 한 번도 작동하지 않음

기본값 제거, ASK 신설

5

계통은 맞게 판정했는데 검색 0건

가용성 게이트 추가

6

계통을 하나로 확정하니 원리(①)+사례(②) 질의를 못 다룸

단계별 배정으로 전환

3번과 5번은 같은 뿌리입니다. RAG 운영 상태를 모르는 라우터는 지도 없이 길을 정하는 셈입니다. 분리운영으로 27건(운영·메타 17건 + 범위외·저작권 10건)을 비활성화하고 명리 본문 약 84건만 남긴 구조를, 라우터가 알고 있어야 합니다.

4-5. 반성문 대조

반성문 교훈

N2에서의 구현

제3-4호 "모르면 모른다고 하기"

ASK 상태 + confidence 임계

제27·30호 "DB 확인 없이 추측 금지"

계통 정의를 source 실측 기준으로

제15호 "삽질 전에 상황 정리부터"

가용성 게이트 — 검색 전에 상태 확인

제31호 "스키마 미동기화"

계통 정의 SSOT 단일화

4-6. 도움이 필요한 부분

  • 애매 질의의 확인 UX. ASK가 뜰 때마다 사용자에게 되묻는 것은 실사용에서 성가십니다. "이번 세션은 ②계통 우선"처럼 세션 단위 기본값을 사용자가 정하게 하는 방식을 검토 중입니다. 다만 이것도 결국 기본값이라, 탈출구를 다시 봉인하지 않도록 설계해야 합니다.

  • confidence 임계 0.70의 근거. 지금은 감으로 잡은 값입니다. 골든셋을 만들어 실측으로 정해야 합니다.

  • 44번 통변룰베이스 문서의 검색 장악 문제. 계통 필터를 걸어도 이 문서가 상위를 점유하는 이력이 있습니다. 라우팅으로 해결될 문제인지, 청크 재분할이 필요한지 판단이 필요합니다.


4-7. 첫 실행 로그 (first-run-log.md)

#

항목

기록

01

실행 날짜 · 실행 환경 · Skill 이름

미실행 / (예정) LangGraph N2 노드 / skill_n2_route_lineage v0.3.0

02

사용한 입력 · 예상 결과

입력: 질의 3종(케이스 A·B·C)
예상: A=ROUTED, B=HELD(③계통 비활성), C=ROUTED(단계별 배정)

03

실제 결과

— (§3-6은 설계 의도에 따른 예시)

04

통과 / 실패 / 미확인 기준

통과 = 세 케이스가 예상 status와 일치하고 reason이 문장으로 남을 것
미확인 = 계통 정의 SSOT의 ①계통 source 문자열 미확보로 실행 불가

05

잘된 점 · 막힌 점

잘된 점: 초안의 기본값 반환 결함(§4-2)을 실행 전에 발견
막힌 점: ③계통이 전부 비활성이라 케이스 B가 설계상 항상 HELD — 게이트 동작은 검증되나 라우팅 정확도는 검증 불가

06

다음에 수정할 한 가지

하나만 — SELECT DISTINCT source FROM gwanbeop_ppt; 로 ①계통 문자열 확정 후 placeholder 교체

07

최종 상태

not_checked

4단계 판정 기준(전 편 공통). pass 일치 / partial 일부 충족 / fail 실행됐으나 기준 미달 / not_checked 실행 자체 없음 ← 현재.

이 편에서 partial이 나올 가능성이 가장 높습니다. 케이스 A·C는 통과하고 B는 계통 비활성 때문에 라우팅 정확도를 못 재기 때문입니다. 그 경우에도 pass로 올리지 않습니다.


< 앞으로의 계획 >

직접 연결 — 사례글 3 (N3 계통별 RAG 검색 Skill). lineage_plan이 그대로 Dify 검색의 메타 필터가 됩니다. N2가 "어디서 찾을지"를 정했으니, N3는 "찾아서 slide 번호까지 남기는" 일을 합니다. 3편의 핵심 산출물이 slide 근거 회수인 이유입니다.

상태 전달 원칙. N1의 warnings와 N2의 reason은 버리지 않고 끝까지 따라갑니다. 최종 리포트에 "이 통변은 시주 불확실을 전제로 하며, ③계통 근거는 확보하지 못했다"가 남아야 재현성이 성립합니다.

계층 원칙 재확인. N2는 판단층이므로 계속 개선합니다. 계통 혼용 금지라는 규칙 자체는 6편에서 규율층으로 고정한 뒤 건드리지 않습니다.

도움 받은 글 (옵션)

  • 「W1 확장과제 — 명식 정규화 Hermes native 전환 사례글 v1.0」(2026-07-22) — §3-7의 Compatibility Audit 6항목, support folder 3분할, Apply Gate 서식, 원본 스냅샷 보존 절차의 출처

  • 「23기 W1 강의자료 요약본 v1.0」 22장(Portable core), 27·28장(Discovery·Routing 트러블슈팅), 35장(수리 원칙)

  • 「RAG 통변 검색 정리 — 분리 운영 가이드 v1.0」 (2026-06-02) — 27건 비활성화 구성(A 17 + B 10), 삭제 금지 원칙

  • 「韓바둑 통변 고급화 전략 v2.0 (누적통합본)」 §4 계통 결합 원칙(결정 5), §7 질의 유형 매핑 — 단계별 배정의 근거

  • 「박청화 옴니버스 春夏秋冬 완성도 Claude 소감 v3.0」 §16 — LLM 위키 Row/Wiki/Schema 대응

  • 「Claude 반성문 총괄표 v3.7」 — §4-5 대조표

  • 사례글 1 「명식 파싱 Skill」 — 판단층 탈출구 원칙의 최초 확인

10

함께 이야기해요 10

로그인하고 댓글을 남겨 주세요

j
jiji2026.07.27

초보자 입장에서는 내용이 꽤 어려웠는데도, 왜 검색 전에 계통을 먼저 나눠야 하는지 흐름이 이해됐어요. 특히 서로 맞는 말이라도 출처가 다른 계통이면 한 답변 안에서 섞일 수 있다는 부분이 인상 깊었습니다. 모르겠다고 멈출 수 있는 구조를 실제 코드에도 열어둬야 한다는 점도 많이 배웠어요. 정리해주셔서 감사합니다!

한바둑 프로필 이미지
한바둑2026.07.27

어려우셨다면 그건 제 글 탓입니다. 도메인 용어를 너무 그대로 썼습니다. 그런데도 두 지점을 정확히 짚어주셔서 오히려 제가 배웁니다.

솔직히 덧붙이면, 이 두 편은 아직 설계 문서 단계입니다. 라우팅도 검색 쿼리도 실제로 돌려보지 않았고, 그래서 글에도 not_checked로 적어두었습니다. 말씀하신 "코드에도 열어둬야 한다"는 것도 사실은 제 초안 코드에서 그게 막혀 있는 걸 뒤늦게 발견하고 쓴 이야기입니다. 명세에는 "모르면 멈춰라"고 써놓고 코드 끝에는 기본값을 반환하고 있었으니, 멈출 수가 없는 구조였지요.

혹시 어느 대목에서 특히 막히셨는지 알려주실 수 있을까요. 다음 편은 그 지점을 먼저 풀고 들어가겠습니다. 어렵다고 말해주시는 게 저한테는 제일 쓸모 있는 피드백입니다.

감사합니다.

자연어회계처리 프로필 이미지

와, RAG에서 서로 다른 학파 논리가 섞여 답변이 소리 없이 오염되는 지점을 짚어내신 것부터 소름 돋았습니다. 이걸 해결하려고 검색 단계 이전에 계통 판정부터 선제적으로 처리하게 흐름을 설계하신 건 진짜 감탄스럽네요. 한바둑님 글을 보면서 특히 계통 정의를 하드코딩하지 않고 데이터(source_prefix)로 외부화해 관리하신 구조를 보고 무릎을 탁 쳤습니다. 유연하고 탄탄한 RAG 아키텍처란 이런 거구나 하며 정말 깊게 배우고 갑니다.

한바둑 프로필 이미지
한바둑2026.07.27

자세히 읽어주셔서 감사합니다. source_prefix를 밖으로 빼낸 건 사실 설계 감각이 좋아서가 아니라, 계통 경계가 자료를 더 볼때마다 계속 흔들렸기 때문입니다. 처음엔 분기문에 박아둔다 자료 한 묶음 들어올 때마다 배포를 해야 했고, 그게 지겨워서 테이블로 내린 것이 결과적으로 맞았던 셀입니다.

하나 덧붙이면, 계통 분리를 너무 엄격하게 걸면 이번엔 답변이 앙상해집니다. 저도 처음엔 "절대 혼용 금지"로 잡았다가, 금지를 없애는 대신 적용 단위를 바꿔서 풀었습니다. 한 문장 안에 두 계통 논리가 섞이는 건 여전히 불허지만, 단계가 다르면(구조 파악과 시간 적용처럼) 계통이 달라도 허용합니다. 오염은 계통이 섮이는 순간이 아니라 근거의 출처가 흐려지는 순간에 생기더군요.

그래서 결국 핵심은 차단보다 표기였습니다. 근거마다 어느 계통에서 왔는지를 끝까지 달고 다니게 했습니다. 좋은 질문 던져주셔서 저도 생각을 한 번 더 정리했습니다. 고맙습니다.

유피테르 프로필 이미지
유피테르2026.07.27

초안 원문 스냅샷 보존을 먼저 확인하고, candidate를 원본과 분리된 폴더 구조로 설계하신 과정이 특히 인상적이었어요. 판정 결과만 맞추는 데서 끝내지 않고 해당 계통의 문서가 실제로 활성화되어 있는지 확인하는 가용성 게이트를 넣어, 검색 0건이 조용히 발생하지 않도록 하신 점도 정말 꼼꼼합니다. 설계 변경의 근거와 현재 not_checked 상태까지 함께 기록해 두셔서 이후 검증 기준이 분명하게 남았네요.

한바둑 프로필 이미지
한바둑2026.07.27

자세히 읽어주셔서 감사합니다. 가용성 게이트는 머리로 설계한 게 아니라 한 번 제대로 속고 나서 붙인 겁니다. 계통 판정은 정확했는데 정작 그 계통 문서가 비활성 상태였고, 반환된 건 0건이었습니다. 문제는 화면상으로는 이게 “근거가 없음”과 구별이 안 된다는 점이었습니다. 없어서 0건인 것과 꺼져 있어서 0건인 것은 완전히 다른 사건인데, 게이트가 없으면 둘 다 조용히 지나갑니다.

not_checked를 따로 둔 것도 같은 이유입니다. 통과와 실패만 있으면 아직 안 본 항목이 기본값 쪽으로 묻혀서 조용히 합격 처리됩니다. 미확인을 미확인으로 남겨두지 않으면 나중에 뭐를 안 봤는지를 알 방법이 없더군요.

다만 게이트가 늘어나면 이번엔 게이트 자체가 낡아서 엉뚱한 걸 막기 시작합니다. 그걸 언제 어떻게 점검할지는 아직 정리를 못 했습니다. 좋게 봐주셔서 고맙습니다.

Giacomo 프로필 이미지
Giacomo2026.07.28

서로 다른 자료 계통이 자연스러운 한 답변으로 섞이는 문제를 검색 뒤 정리가 아니라 검색 전 라우팅 문제로 정의한 점이 선명했어요. 계통 정의를 source 목록으로 분리하고, 판정과 자료 가용성을 각각 확인해 모호하면 질문하고 자료가 꺼져 있으면 보류하도록 만든 경계도 좋았습니다.

다만 세 사례는 아직 설계 예시이고 첫 실행 상태도 미확인이라 실제로 같은 상태와 근거 문장이 나오는지는 남아 있어요. 실제 source 표기를 먼저 확정한 뒤 세 사례를 그대로 실행해 라우팅, 질문, 보류 결과와 사유를 한 표에 기록해주시면 설계의 유효성을 확인하기 좋겠습니다.

한바둑 프로필 이미지
한바둑2026.07.28

설계 예시와 실행 결과를 구분해서 짚어 주셨는데, 그 경계가 지금 정확히 제 약점입니다.

검색 전 문제로 정의한 배경을 조금 더 말씀드리면, 처음에는 검색 뒤에 정리하는 쪽으로 접근했습니다. 여러 계통에서 올라온 결과를 놓고 어느 것을 남길지 고르는 방식이요. 그런데 이게 잘 안 됐습니다. 세 계통은 용어가 상당 부분 겹치기 때문에, 결과만 놓고 보면 어느 계통에서 온 문장인지 표면적으로는 구분이 잘 안 됩니다. 그러다 보니 정리 단계에서 걸러졌어야 할 문장이 문맥상 자연스럽게 이어지면서 그대로 남았습니다. 섞인 답변이 어색하지 않다는 게 가장 곤란한 지점이었습니다. 읽어서는 발견이 안 되니까요.

계통을 먼저 확정하면 그 뒤로는 섞일 여지 자체가 줄어듭니다. 정리로 되돌리는 것보다 애초에 한 계통만 열어 두는 쪽이 확실했습니다.

판정과 가용성을 나눈 것은 실패 유형이 달라서였습니다. 계통을 못 정하는 것과, 계통은 정했는데 그 자료가 꺼져 있는 것은 사용자에게 필요한 안내가 다릅니다. 앞은 질문해서 좁히면 되고, 뒤는 물어봐야 소용이 없으니 보류하고 사유를 남겨야 합니다. 한 갈래로 묶으면 자료가 없는 상황에서 사용자에게 계속 되묻는 이상한 동작이 나옵니다.

미확인 부분을 그대로 적으면 이렇습니다. 세 사례는 제가 설계하면서 상정한 예시이고 실제로 돌린 결과가 아닙니다. source 표기도 문서에 적은 것과 DB 실제 값이 일치하는지 대조하지 않았습니다. 지금 상태에서는 라우팅이 의도대로 동작하는지, 보류 사유가 실제로 그렇게 남는지 알 수 없습니다.

source 표기 쪽이 특히 먼저입니다. 계통 정의를 source 목록으로 분리해 놓았는데 그 목록이 실제 값과 어긋나 있으면, 라우팅이 조용히 빈 결과를 내거나 엉뚱한 계통을 열게 됩니다. 앞선 글에서 else 한 줄이 원칙을 무력화했던 것과 같은 구조입니다. 문서에 적힌 값과 DB에 든 값이 다르면 문서 쪽 규칙은 아무 힘이 없습니다.

그래서 순서는 이렇게 잡겠습니다. DB에서 source 실제 값을 뽑아 문서의 계통 정의와 대조하고, 어긋난 항목을 먼저 맞춥니다. 그 다음 세 사례를 그대로 실행해서 질의, 판정된 계통, 판정 근거, 결과 상태(라우팅·질문·보류), 사유, 회수된 slide 번호를 한 표에 남기겠습니다. 설계대로 안 나오면 안 나온 채로 싣고, 어긋난 지점을 따로 적겠습니다.

세 사례가 다 통과하더라도 그걸로 유효성이 증명됐다고 쓰지는 않겠습니다. 세 건은 설계가 최소한 돌아간다는 확인이지 경계까지 검증한 건 아니니까요. 경계 사례는 그 다음에 별도로 만들어야 할 것 같습니다.

실행 순서를 짚어 주셔서 고맙습니다.

Giacomo 프로필 이미지
Giacomo2026.07.29

한바둑님이 답글에서 말씀하신 “실제 source 값을 먼저 읽고 문서의 계통 목록과 맞춘 뒤 세 사례를 돌리겠다”는 순서가 분명해졌어요. 세 건이 모두 맞더라도 “최소한 돌아간다”까지만 말하고 경계 검증은 따로 두겠다는 구분도 좋았습니다. 검색 뒤에는 자연스럽게 섞여 발견하기 어렵다는 실패 경험까지 설명해주셔서, 왜 검색 전 관문이어야 하는지도 훨씬 잘 이해됐어요. 구체적으로 풀어주셔서 감사합니다.

Giacomo 프로필 이미지
Giacomo2026.07.29

ASK가 자주 뜰 때 먼저 정할 것은 질문 횟수를 줄이는 일인지, 잘못된 계통으로 조용히 진행하는 일을 줄이는지예요. 세션 기본 계통을 쓰더라도 현재 선택과 근거 계통을 계속 표시하고, 이번 질의만 바꾸기·세션 종료 시 만료하기·질의 신호와 충돌하면 ASK로 돌아가기를 계약으로 두면 기본값이 판정을 대신하지 않습니다.

confidence 0.70은 라벨이 있는 경계 사례에서 임계값별 오라우팅·ASK·HELD 비율을 나란히 놓고, 잘못 라우팅한 비용과 한 번 더 묻는 비용 중 무엇을 더 크게 볼지에 따라 정하는 값으로 보여요. 44번 문서는 계통 필터 뒤의 올바른 후보군 안에서 한 문서가 상위를 점유하는지, 다른 계통 질의까지 넘어와 점유하는지를 먼저 구분하면 라우팅과 재청킹의 책임을 가를 수 있습니다. 가용성 게이트도 시간이 지나면 낡을 수 있다는 대화가 이미 나왔던 만큼, source 실제값과 활성 상태를 읽은 시점을 reason에 남기는 것도 중요해 보여요. 이 글에서 반복해 확인된 건 계통을 고르는 정확도만큼, 어떤 근거로 골랐고 언제 다시 물었는지가 끝까지 보이는 구조였습니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기