본문으로 건너뛰기

사례글 7 — [WEEK3] 헤르메스 6노드 Agent Harness 조립

한바둑

2026.08.05

소개

WEEK1에서 Skill 한 장을 만들었고, WEEK2에서 그것이 흔들릴 때(DRIFT) 쪼개고 다시 우산(Umbrella)으로 묶었습니다. 그런데 WEEK2가 끝난 시점에도 남는 질문이 있었습니다.

"그래서 이건 언제 켜지고, 언제 멈추나?"

우산은 무엇을 부를지는 정해줬지만, 언제 시작하고 언제 멈출지는 정해주지 않습니다. WEEK3의 Agent Harness가 답하는 것이 정확히 이 질문입니다.

이번 주 작업은 지금까지의 판단 스킬(N1~N3·N5) 과 규율 스킬(N4·N6), 그리고 두 개의 우산을 하나의 실행 구조로 조립하는 것입니다. 이것이 조립층의 최상위입니다.

조립할 때 지킨 원칙은 하나입니다.

하위 스킬을 복제하지 않는다. 노드로 호출만 한다.

복제하는 순간 같은 로직이 두 곳에 생기고, 한쪽만 고쳐지는 순간 재현성이 무너집니다. 헤르메스 프로젝트에서 재현성은 정확도보다 우선하는 목표입니다 — 목표는 더 똑똑한 통변이 아니라 같은 명식에 같은 답이 나오는 통변이기 때문입니다.

2-1. 전체 계층 속 위치

Agent Harness는 5계층 중 L4(합성층) 에 해당합니다.

┌──────────────────────────────────────────────────────┐
│ L5  출력층    통변 리포트 2종 (축약본 / 전체본)          │
├──────────────────────────────────────────────────────┤
│ L4  합성층    ★ 헤르메스 6노드 Agent Harness (N1~N6)   │  ← 이번 사례글
├──────────────────────────────────────────────────────┤
│ L3  지식층    section_stage — TS × domain × role       │
├──────────────────────────────────────────────────────┤
│ L2  검색층    Dify RAG (hybrid_search) + 계통 필터      │
├──────────────────────────────────────────────────────┤
│ L1  데이터층  PostgreSQL · 5테이블 정규화               │
│               profiles / wonkuk / daeun / groups/sewun │
└──────────────────────────────────────────────────────┘

Harness는 L2·L3을 호출하고 L5를 트리거합니다. 직접 검색하거나 직접 렌더하지 않습니다. WEEK2에서 배운 "우산은 일을 직접 하지 않는다"가 여기서도 그대로 적용됩니다.

진행 방법

3-1. 조립 전 상태 — 무엇이 흩어져 있었나

자산

어디서 만들었나

조립 전 문제

N1 명식 파싱

사례글 1 (WEEK1)

단독 실행만 가능, 후속 연결 없음

N2 계통 라우팅

사례글 2 (WEEK1)

라우팅 결과를 아무도 받지 않음

N3 RAG 검색

사례글 3 (WEEK1)

검색 실패 시 대응 규칙 없음

N4 GuardrailAgent

사례글 6 (WEEK2)

검사 대상이 언제 생기는지 미정의

N5 합성

사례글 5 (WEEK2)

근거 없이도 문장을 만들어버림

N6 검증

사례글 6 (WEEK2)

실패 후 무엇을 할지 미정의

여섯 개가 다 있는데 순서가 없었습니다. 특히 N4는 "언제 검사하나"가 비어 있어 실질적으로 죽은 노드였습니다.

3-2. Harness 6요소 ↔ 헤르메스 노드 매핑

WEEK3 커리큘럼의 6요소를 헤르메스 노드에 대응시키되, 각 요소마다 "시작 조건"과 "실패 시 행동"을 반드시 채웁니다. 이 두 열이 비면 그 요소는 조립된 것이 아닙니다.

커리큘럼 흐름

헤르메스 노드

스킬 계층

시작 조건

실패 시 행동

Trigger

통변 요청 수신

—

qtype 분류 성공 + 8글자 명식 확보

요청 반려 (blocked)

Context

N1 파싱 + N2 라우팅

판단

Trigger 통과

blocked — 명식 불성립

Skill

N3 검색 + N5 합성

판단

요구 TS 집합 확정

HELD — 보류 사유 기록

Eval

N4 가드레일

규율

N5 초안(draft) 존재

BLOCKED — 금기어 처방형 단정

Approval

N6 검증 통과

규율

가드레일 flag 없음

Repair 루프 진입

Repair

N6 → N3 재검색

규율

retry_count < 3

3회 도달 시 정지 → 보류 출력

Trigger가 단순히 "요청이 왔다"가 아니라는 점이 이번 주의 발견입니다. 헤르메스에서 Trigger는 qtype 분류 + 요구 TS 룩업까지를 포함합니다. 이 단계에서 요구 TS가 확정되지 않으면 뒤의 Eval이 무엇을 기준으로 판정할지 알 수 없습니다.

python

# qtype은 분류기가 판정만, TS 집합은 고정표에서 룩업만
QTYPE_TS_MAP = {
    "WHEN":     {"required": [1,2,4], "optional": [3],     "domain": "general"},
    "JOB":      {"required": [1,2,5], "optional": [3,4],   "domain": "job"},
    "HEALTH":   {"required": [1,2,5], "optional": [3,4],   "domain": "health"},
    "WEALTH":   {"required": [1,2,4], "optional": [5],     "domain": "wealth"},
    "RELATION": {"required": [1,2,5], "optional": [3,4],   "domain": "relation"},
    "WHY":      {"required": [1,2],   "optional": [3],     "domain": "general"},
    "SINSAL":   {"required": [1,3],   "optional": [2],     "domain": "fortune"},
    "ABSENCE":  {"required": [1,2],   "optional": [3],     "domain": "general"},
    "HOWTO":    {"required": [4,5],   "optional": [1,2],   "domain": "general"},
    "FULL":     {"required": [1,2,3,4,5], "optional": [],  "domain": "general"},
}

분류기가 TS 집합을 직접 만들지 않는 이유가 있습니다. 분류기가 매번 다른 집합을 만들면 RS(회수율)의 분모가 흔들려서 시계열 비교가 무너집니다. 판정은 LLM에게, 룩업은 표에게 — 책임 분리입니다.

3-3. 상태 스키마 — 노드 간 계약

v1.0에서 "도움 필요"로 남겼던 노드 간 상태 스키마 버전 관리를 이번에 해결했습니다. 답은 단순했습니다 — 상태에 버전 필드를 넣고, 각 노드가 진입 시 검사합니다.

python

from typing import TypedDict, Literal, Annotated

STATE_VER = "hermes-state/1.2"

class HermesState(TypedDict):
    # ── 계약 ──
    state_ver: str                  # 진입 시 검사, 불일치 → blocked
    # ── Trigger 산출 ──
    qtype: str
    required_ts: list[int]
    domain: str
    # ── N1 Context ──
    pillars: dict                   # {時,日,月,年} 8글자
    absent_targets: list[str]       # 천간·지지 8자 한정 부재 후보
    # ── N2 Context ──
    lineage_plan: dict[int, str]    # {TS: 계통} — 단계 내 단일
    # ── N3 Skill ──
    evidence: list[dict]            # [{source, slide, ts, ts_role, lineage, text}]
    recovered_slides: set[str]
    # ── N5 Skill ──
    draft: str
    cited_slides: set[str]
    # ── N4 Eval ──
    guardrail_flag: bool
    guardrail_reason: str
    # ── N6 Approval/Repair ──
    verify_status: Literal["pass", "fail", "not_checked", "blocked"]
    rtype: Literal["FULL", "PARTIAL", "ABSENT", "HELD", "BLOCKED"]
    held_ts: list[int]
    retry_count: int
    # ── 품질 지표 ──
    rs: float                       # Recall Sufficiency
    eu: float                       # Evidence Utilization


def guard_state(fn):
    """모든 노드 진입 시 스키마 버전 검사 — 계약 위반은 즉시 차단"""
    def wrapper(state: HermesState):
        if state.get("state_ver") != STATE_VER:
            state["verify_status"] = "blocked"
            state["rtype"] = "BLOCKED"
            state["guardrail_reason"] = (
                f"상태 스키마 불일치: {state.get('state_ver')} ≠ {STATE_VER}"
            )
            return state
        return fn(state)
    return wrapper

@guard_state 데코레이터 한 줄이면 여섯 노드 전부가 계약을 검사합니다. 노드를 고칠 필요가 없다는 것이 핵심입니다 — 조립층은 하위 스킬을 건드리지 않는다는 원칙이 여기서도 지켜집니다.

3-4. 판정 어휘 4어 고정 — v1.0의 오류 교정

v1.0 사례글에서 검증 상태를 서술할 때 partial이라는 단어를 비공식적으로 썼습니다. 이것은 오류입니다.

공식 판정 어휘는 네 개뿐입니다.

어휘

의미

후속

pass

검사 통과

Approval → 출력

fail

검사 불통과

Repair 루프

not_checked

검사 자체를 수행하지 않음

보류 기록

blocked

검사 이전 단계에서 차단

즉시 정지

가위바위보에 없는 손동작을 내면 심판이 판정할 수 없듯이, 네 개 밖의 단어를 쓰면 라우터가 분기할 수 없습니다.

중요한 구분: 여기서 폐기한 partial은 검증 상태 어휘입니다. 통변 고급화 전략 v2.0에 정의된 PARTIAL rtype(리포트 유형)은 별개이며, 계산 규칙(RS ≥ 0.5)과 DB 제약(brief_gate)까지 갖춘 정식 개념입니다. 소문자 partial은 금지, 대문자 PARTIAL rtype은 유효 — 혼동하면 안 됩니다.

3-5. 조립 코드

python

# hermes_harness.py — 6노드 조립 (layer: 조립)
# 원칙: 하위 스킬 복제 금지, 노드 호출만

from langgraph.graph import StateGraph, END

g = StateGraph(HermesState)

# ── 판단층 (Context · Skill) ──
g.add_node("N1_parse",  guard_state(n1_parse_saju))      # Context
g.add_node("N2_route",  guard_state(n2_route_lineage))   # Context
g.add_node("N3_rag",    guard_state(n3_rag_search))      # Skill
g.add_node("N5_synth",  guard_state(n5_synthesize))      # Skill

# ── 규율층 (Eval · Approval · Repair) ──
g.add_node("N4_guard",  guard_state(n4_guardrail))       # Eval
g.add_node("N6_verify", guard_state(n6_verify))          # Approval / Repair

# ── 실행 순서 ──
g.set_entry_point("N1_parse")
g.add_edge("N1_parse", "N2_route")
g.add_edge("N2_route", "N3_rag")
g.add_edge("N3_rag",   "N5_synth")     # ★ 합성 먼저
g.add_edge("N5_synth", "N4_guard")     # ★ 합성문에 가드레일
g.add_edge("N4_guard", "N6_verify")

g.add_conditional_edges("N6_verify", route_after_verify, {
    "retry":  "N3_rag",                # Repair: 재검색 (상한 3회)
    "output": END,                     # Approval
})

app = g.compile()

3-6. 정의 순서 ≠ 실행 순서

노드 이름은 N1→N2→N3→N4→N5→N6이지만, 실제 실행은 N1→N2→N3→N5→N4→N6 입니다. 번호가 뒤집힌 구간이 있습니다.

정의 순서 (이름)     N1 → N2 → N3 → N4 → N5 → N6
실행 순서 (실제)     N1 → N2 → N3 → N5 → N4 → N6
                                    └──┬──┘
                                   여기가 뒤집힘

이유: 가드레일(N4)은 문장을 검사하는 규율 스킬입니다. 검색 결과(N3)는 아직 문장이 아니라 근거 조각입니다. 검사할 대상이 존재하지 않는 시점에 검사기를 두면, 그 검사기는 항상 통과합니다 — 통과하는 것처럼 보이지만 실은 아무것도 안 하는 상태입니다.

이 문제는 §4의 시행착오에서 실제로 겪었습니다.

3-7. Skill Interface Card — 누락 항목 보완

WEEK2 산출물 점검에서 Skill Interface Card가 빠져 있었습니다. 스킬은 만들었는데 "이 스킬이 무엇을 안 하는지"를 명시한 카드가 없었던 것입니다. 채용 공고에 업무 내용은 있는데 "이 일은 하지 않습니다" 조항이 빠진 것과 같습니다.

Harness에 편입되는 노드는 전원 카드를 갖추도록 했습니다. N4 예시입니다.

yaml

# skill_card_N4_guardrail.yaml
name:        N4_GuardrailAgent
layer:       규율                          # 판단 / 규율 / 조립
purpose:     합성된 통변 초안에서 처방형 단정을 차단한다
input:       state.draft (str) · state.evidence (list)
output:      state.guardrail_flag (bool) · state.guardrail_reason (str)
trigger:     N5_synth 완료 직후에만 — draft가 비어 있으면 not_checked
must_not:
  - 검색 결과(evidence)만 보고 판정하지 않는다 — 검사 대상은 문장이다
  - 금기어 존재만으로 차단하지 않는다 — 처방형 단정일 때만 차단
  - 희기동소·격청격탁·재정립 맥락은 통과시킨다
  - 초안을 직접 수정하지 않는다 — 판정만 하고 수정은 Repair가 한다
on_failure:  guardrail_flag=True → N6에서 rtype=BLOCKED 확정

must_not 네 줄이 이 카드의 핵심입니다. 특히 "초안을 직접 수정하지 않는다" — 검사자가 수정까지 하면 검사와 수정의 경계가 무너지고, 무엇을 왜 고쳤는지 로그에 남지 않습니다.

❓ 카드의 8필드 정식 명칭은 WEEK3 덱 v1.5 원문 대조가 필요합니다. 위 8개(name·layer·purpose·input·output·trigger·must_not·on_failure)는 자체 정리안입니다.

3-8. Eval 기준 — 무엇을 통과로 볼 것인가

Harness의 Eval 단계가 판정 기준 없이 돌면 의미가 없습니다. 단일 지표(ED)를 폐기하고 2지표로 분리했습니다.

RS = 근거 1건 이상 확보한 요구 TS 수 / 요구 TS 수      ← 검색(RAG) 성능
EU = draft에 인용된 고유 slide 수 / 회수된 고유 slide 수  ← 합성 성능

두 지표를 나눈 이유가 조립 관점에서 중요합니다. 하나로 합치면 "어느 노드를 고쳐야 하는지"를 알 수 없습니다.

지표 낮음 ─┬─ 검색이 못 찾음   → N3 문제 (RAG·청크·쿼리)
           └─ 찾았는데 안 씀   → N5 문제 (프롬프트·근거 순위)

지표

현 목표 (유사도 0.5395 구간)

유사도 0.80 달성 후

RS

≥ 0.6

≥ 0.9

EU

≥ 0.7

≥ 0.7 (유지)

ED (참고값)

기록만, 판정 제외

2.0~3.5

보류(HELD)를 실패로 세지 않습니다. 근거를 못 찾았는데 억지로 채우면 그것이 환각입니다. 보류는 정상 결과이고, 보류 기록이 곧 개선 지도가 됩니다.

sql

-- 어느 TS에서 가장 자주 막히는가 = 다음에 보강할 자료가 무엇인가
SELECT unnest(held_sections) AS ts, COUNT(*) AS held_cnt
FROM hermes.tongbyun_quality
GROUP BY 1 ORDER BY 2 DESC;

3-9. 계통 단일성 검사 — 조립 시 반드시 걸어야 할 게이트

3대 계통(탈XX 4관법 / 박청화 강의 / 상리철학)을 섞으면 안 된다는 원칙은 유지하되, 적용 단위를 바꿨습니다.

단위

규칙

성격

문장 내

두 계통 논리 혼재 금지

🔒 불변

TS 단계 내

단일 계통 원칙, 결론 일치 시 병기 허용

⚠️ 조건부

TS 단계 간

자유 결합

✅ 허용

python

def check_lineage(evidence: list) -> tuple[bool, str]:
    """단계 내 단일성만 검사. 단계 간 결합은 전면 허용."""
    from collections import defaultdict
    by_ts = defaultdict(list)
    for e in evidence:
        by_ts[e["ts"]].append(e)
    for ts, evs in by_ts.items():
        lins = {e["lineage"] for e in evs}
        if len(lins) > 1:
            if any(e.get("conflict_flag") for e in evs):
                return False, f"TS{ts} 계통 결론 상충 — 보류"
            for e in evs:
                e["co_cited"] = True
    return True, ""

이 게이트는 N3 직후·N5 직전에 걸립니다. 합성 노드가 이미 섞인 근거를 받으면, 문장 안에서 계통이 뒤엉킨 뒤라 되돌릴 수 없기 때문입니다.

3-10. 사이드카 원칙 — 기존 파이프라인 무수정

조립 작업에서 가장 위험한 유혹은 "기존 것도 이참에 같이 고치자" 입니다. 반성문 총괄표에서 가장 자주 반복된 실수 패턴이 정확히 "기능 추가 시 기존 기능 파괴" 였습니다.

따라서 못 박았습니다.

  • 헤르메스 6노드 Harness는 기존 LangGraph 11노드 프로덕션 파이프라인의 사이드카로만 동작합니다.

  • 11노드 파이프라인은 한 줄도 수정하지 않습니다.

  • Harness는 읽기 전용 + 리포트 생성만 합니다. gwanbeop_ppt나 Dify RAG 문서를 직접 수정하지 않습니다.

  • 메타데이터는 별도 테이블(hermes.section_stage 등)에 저장하고, 기존 스키마는 건드리지 않습니다.

(이미지 자리 — LangGraph 컴파일 그래프 시각화: N1→N2→N3→N5→N4→N6 + retry 루프)

결과와 배운 점

꿀팁 셋

① 검사기는 검사 대상이 생긴 뒤에 배치한다. 합성(N5)을 가드레일(N4)보다 앞에 둔 것이 이번 주 가장 정확한 판단이었습니다. 규율 스킬의 배치 위치는 번호 순서가 아니라 "검사 대상이 언제 존재하는가" 로 정해야 합니다.

② 6요소마다 "시작 조건"과 "실패 시 행동" 두 칸을 강제로 채운다. 빈 칸이 남으면 그 요소는 조립된 것이 아니라 그냥 놓여 있는 것입니다. 표를 채우는 과정에서 N4의 시작 조건이 정의되지 않았다는 것 — 즉 N4가 죽은 노드였다는 것 — 이 드러났습니다.

③ 상태 스키마 버전은 데코레이터 한 줄로 해결된다. @guard_state 하나로 여섯 노드 전부가 계약을 검사합니다. 하위 스킬을 수정하지 않고 조립층에서만 해결했다는 점이 원칙에 부합합니다.

시행착오 셋

① 검색 직후 가드레일 → 검사 대상이 없었음. 초기 조립은 N3→N4 순서였습니다. 테스트에서 가드레일이 100% 통과하길래 "잘 되는구나" 했는데, 실은 검사할 문장 자체가 없어서 통과한 것이었습니다. 통과율이 지나치게 높으면 성능이 아니라 결함을 의심해야 한다는 교훈입니다.

② 판정 어휘에 partial을 임의로 만들어 씀. 공식 4어(pass/fail/not_checked/blocked) 밖의 단어를 쓰자 라우터의 분기 조건이 그 값을 처리하지 못하고 조용히 else로 빠졌습니다. 어휘는 취향이 아니라 인터페이스입니다.

③ 계통 검사를 N5 이후에 걸었다가 되돌릴 수 없었음. 합성이 끝난 문장에서 "이 문장의 어느 부분이 어느 계통인지"를 다시 분리하는 것은 불가능했습니다. 게이트는 되돌릴 수 있는 지점에 걸어야 합니다.

도움 필요

  • retry 루프의 쿼리 변형 전략: 3회 재검색 상한은 정했는데, 매번 같은 쿼리로 재검색하면 같은 결과가 나옵니다. 회차별로 쿼리를 어떻게 변형해야 회수율이 실제로 올라가는지(키워드 확장 → 맥락 추가 → 계통 필터 해제 순?) 사례를 듣고 싶습니다.

  • Eval 임계값의 근거: RS ≥ 0.6, EU ≥ 0.7은 현재 유사도 0.5395 구간에서 경험적으로 정한 값입니다. 다른 분들은 Eval 통과 기준을 어떤 방식으로 정하셨는지 궁금합니다.


< 앞으로의 계획 >

사례글 8 (WEEK3 후속) — 승인 지점과 실패 수정 규칙의 정밀화

  • fail-closed 원칙: 근거가 없으면 통과가 아니라 차단. 애매하면 막는 쪽으로.

  • 3회 멈춤: 반성문 원칙("모르면 아는 척 금지, 3회 실패 시 멈추기")을 코드로 못 박기.

  • 되돌릴 수 없는 액션의 승인 게이트: 삭제·출판·등재·production DB 쓰기는 교수님 확인 없이 자동 실행 금지.

  • 출력 2종 렌더 게이트: 축약본은 rtype과 RS ≥ 0.5를 동시에 만족할 때만 생성. TS1(구조 판정)만 있는 축약본은 빈 종이이므로 차단.

그 이후 — WEEK4 Growth Loop에서 이 Harness에 자기 점검 루프(N7)를 붙입니다.

❓ WEEK3 덱 v1.5 도착 후 반영할 항목: Harness 6요소의 공식 정의 문구, Skill Interface Card 8필드 정식 명칭, 승인 게이트 유형 분류 체계.

도움 받은 글 (옵션)

  • 지피터스 23기 커리큘럼 WEEK3 — Agent Harness (덱 v1.5)

  • 지피터스 23기 커리큘럼 WEEK2 — Skill·Workflow·Umbrella 3층 구조, Router·Trigger (덱 v0.4)

  • Anthropic — Harness design 문서

  • 자체 문서 「韓바둑 통변 고급화 전략 v2.0 누적통합본」 §2 5계층 구조, §5 RS·EU 2지표, §7 qtype 고정표, §8 rtype 5종

  • 자체 문서 「박청화 옴니버스 완성도 소감 v3.0」 §16-6 기존 파이프라인 보호 원칙

  • 자체 문서 「Claude 반성문 총괄표 v3.7」 — 3회 실패 시 멈춤, 기능 추가 시 기존 기능 유지

6

함께 이야기해요 6

로그인하고 댓글을 남겨 주세요

이생강 프로필 이미지
이생강2026.08.07

정의 순서와 실행 순서를 분리해서 N4를 N5 뒤로 옮긴 대목이 좋네요. 검사 대상이 없는 시점에 검사기를 두면 항상 통과한다는 문장이 사실상 제가 자동화 짤 때 종종 하는 실수더라고요. 스킬 카드 must_not 네 줄로 못박는 방식도 저도 이번 주에 하나 만들어봐야겠어요.

한바둑 프로필 이미지
한바둑2026.08.08

같은 지점을 짚어주셔서 반가웠습니다. 🙏

사실 저도 처음엔 번호순대로 배치해두고 안심하고 있었습니다. 이상하다고 느낀 건 차단 로그가 계속 0건이었는데, 처음엔 그걸 좋은 신호로 읽었다는 겁니다. 0건은 깨끗하다는 뜻이 아니라 검사기가 미심착을 돌고 있다는 뜻일 수 있더군요. 그 이후로는 지표가 너무 깨끗하면 일단 의심합니다.

must_not 만드실 때 제가 시행착오로 얻은 거 두 가지만 말씀드리면,

첫째, 네 줄을 기계가 대조할 수 있는 형태로 적는 게 중요했습니다. "신중하게 판단할 것" 같은 줄은 아무것도 걸러내지 못합니다. 검사기 입장에서는 빈칸과 같아서요. 저는 특정 단어나 문장 형태처럼 보이는 것으로만 적었습니다.

둘째, 네 줄을 썼 다음에 일부러 위반하는 입력을 하나 넣어보는 것을 권해드립니다. 안 걸리면 그 줄은 아직 규칙이 아니라 메모입니다. 통과만 하는 테스트는 안전망이 아니라 장식이더라고요.

Giacomo 프로필 이미지
Giacomo2026.08.06

한바둑님, 여섯 스킬이 모두 존재하는데도 순서와 시작 조건이 없어서 N4가 사실상 죽어 있었다는 진단이 아주 구체적이었어요. 각 요소에 시작 조건과 실패 시 행동을 채우면서 N4가 실질적으로 죽은 노드였다는 사실을 찾아낸 장면 덕분에, 조립은 기능을 더 쓰는 일이 아니라 노드 사이의 계약과 실패 경로를 명시하는 일이라는 게 선명해졌습니다.

번호 순서 대신 검사 대상이 생기는 시점을 기준으로 N5 합성 뒤에 N4 가드레일을 옮긴 수정은 이 글의 중심 변화로 읽혔어요. 자동 통과가 성능이 아니라 검사 대상 부재였음을 확인하고, 상태 버전은 조립층 데코레이터로 막고, RS와 EU를 나눠 어느 노드를 고칠지 보이게 했습니다. 뒤이은 사례글 8의 종료·수리 규칙도 이 조립에서 드러난 공백을 이어받았다는 연결이 자연스럽습니다.

재검색 쿼리는 ‘세 번 다르게 쓰기’보다 매 회차에 새로운 근거가 생겼는지를 기준으로 바꾸는 편이 좋겠습니다. 첫 회차는 같은 TS·계통 안에서 동의어와 전문용어를 확장하고, 다음 회차는 빠진 TS와 qtype·domain·role 맥락을 붙이며, 마지막에는 검색 단위나 청크 표현을 바꾸되 계통 필터는 유지하는 방식입니다. 계통 필터 해제는 검색 기법이 아니라 의미 결정이므로 자동 재시도의 마지막 카드로 두지 않고 ASK로 넘기는 편이 현재 원칙과 맞아요. 각 회차에 빠진 TS, 사용 쿼리, 새로 추가된 slide ID를 남기고 새 근거가 없으면 상한 전이라도 멈추면 같은 결과를 반복하는 루프를 줄일 수 있습니다.

RS와 EU 임계값은 현재 유사도 숫자만으로 정하기보다, 고정한 대표·실패 사례에서 거짓 통과와 거짓 보류의 비용을 비교해 잡는 편이 재현 가능합니다. RS는 필수 TS의 회수 여부를, EU는 찾은 근거를 실제 주장에 썼는지를 보되, 적게 찾은 근거를 모두 쓰면 EU가 높아질 수 있으니 인용 정확성과 함께 봐야 해요. 테스트 묶음·정답 라벨·임계값 버전을 고정하고 검색 모델이나 청크 방식이 바뀔 때만 다시 보정하면, 0.6과 0.7도 경험값에서 설명 가능한 운영 기준으로 바뀝니다.

가장 작은 첫 실행 확인은 HELD로 끝나도록 고정한 대표 실패 사례 하나에 세 변형 규칙을 순서대로 적용해, 매 회차 새롭고 유효한 slide가 추가되는지 아니면 조기에 멈추는지 영수증으로 보는 것입니다. 빠진 TS, 쿼리 변화, 신규 근거 ID, 마지막 판정이 한 줄로 이어지면 쿼리 전략과 Eval 기준을 같은 실행에서 비교할 수 있어요.

하위 스킬을 복제하지 않고 state 버전 계약을 조립층에 둔 선택이 좋았어요. 기존 자산을 흔들지 않고 실행 계약만 덧댄 이 조립 방식에는 재현성을 우선한 설계 판단이 고스란히 담겨 있습니다.

한바둑 프로필 이미지
한바둑2026.08.06

읽어주신 각도가 매번 제가 다음에 부딪힐 자리를 먼저 짚어주셔서, 답글을 쓰는 일이 곧 다음 설계가 되고 있습니다.

N4가 죽어 있었다는 걸 알아차린 건 사실 우연에 가까웠습니다. 통과율이 좋아서 잘 돌아가는 줄 알았는데, 시작 조건을 채워 넣으려니 검사할 대상이 아직 만들어지지 않은 시점에 검사가 걸려 있더군요. 자동 통과는 성능이 아니라 대상 부재였습니다. 그래서 이번 조립에서 배운 건, 기능을 더 붙이는 일보다 노드 사이의 계약과 실패 경로를 적어두는 일이 먼저라는 것이었습니다. 번호 순서 대신 검사 대상이 생기는 시점을 기준으로 N5 뒤로 옮긴 것도 그 연장이었고요. 사례글 8의 종료·수리 규칙이 여기서 드러난 공백을 이어받았다는 연결도 정확합니다. 순서가 반대였다면 종료 규칙은 계속 관념으로 남았을 겁니다.

재검색 쿼리를 '세 번 다르게'가 아니라 새 근거가 생겼는지로 바꾸자는 제안, 그대로 받겠습니다. 지금 규칙은 다르게 쓰기만 하면 회차를 소모하게 되어 있어서, 세 번 돌고도 같은 slide만 다시 담아오는 경우가 있었습니다. 회차별로 ① 같은 TS·계통 안 동의어·전문용어 확장 ② 빠진 TS와 qtype·domain·role 맥락 부가 ③ 검색 단위·청크 표현 변경(계통 필터 유지)로 잡고, 회차마다 빠진 TS·사용 쿼리·신규 slide ID를 남겨 새 근거가 없으면 상한 전에 멈추도록 하겠습니다.

계통 필터 해제를 검색 기법이 아니라 의미 결정으로 보신 대목이 특히 그렇습니다. 그건 '더 넓게 찾자'가 아니라 '다른 계통의 말을 같은 자리에 놓아도 되는가'라는 판단이고, 명리에서는 그 판단이 결론을 바꿉니다. 자동 재시도의 마지막 카드로 두지 않고 ASK로 넘기겠습니다. 앞선 사례에서 정한 재개 원칙과도 그대로 맞물립니다.

RS·EU 임계값은 지금 0.6과 0.7이 사실상 근거 없는 숫자입니다. 처음 잡을 때 그럴듯해 보여서 잡았고, 이후로 아무도 묻지 않아 그대로 남았습니다. 말씀대로 고정한 대표·실패 묶음에서 거짓 통과와 거짓 보류의 비용을 비교해 잡겠습니다. EU는 지적하신 함정이 실제로 있었습니다 — 적게 찾은 근거를 전부 쓰면 EU가 올라가서, 회수 실패가 활용 성공으로 위장되더군요. 그래서 EU는 인용 정확성과 반드시 같이 보고, RS가 낮은데 EU가 높은 조합은 통과가 아니라 경고로 읽으려 합니다. 테스트 묶음·정답 라벨·임계값 버전을 고정하고, 검색 모델이나 청크 방식이 바뀔 때만 재보정하겠습니다.

첫 실행 확인도 그대로 가겠습니다. HELD로 끝나도록 고정한 실패 사례 하나에 세 변형 규칙을 순서대로 걸고, 회차마다 새롭고 유효한 slide가 붙는지 아니면 조기에 멈추는지를 영수증으로 봅니다. 빠진 TS → 쿼리 변화 → 신규 근거 ID → 최종 판정이 한 줄로 이어지면 쿼리 전략과 Eval 기준을 같은 실행에서 볼 수 있다는 말씀이 맞습니다. 여기에 음성 조건 하나만 더 두려 합니다. 계통 필터가 어느 회차에서도 자동으로 풀리지 않았는지. 새 근거가 늘어난 게 필터가 조용히 느슨해진 결과일 수 있어서요.

하위 스킬을 복제하지 않고 state 버전 계약을 조립층에 둔 선택을 짚어주셔서 감사합니다. 사실 복제가 훨씬 빨랐고 한동안 그쪽으로 기울었습니다. 참은 이유는 복제하는 순간 여섯 개가 열두 개가 되고, 그다음부터는 무엇이 원본인지 아무도 말할 수 없게 되기 때문이었습니다. 기존 자산은 그대로 두고 실행 계약만 덧대는 쪽이 느려도 되돌릴 수 있는 길이었습니다.

첫 실행 확인은 다음 주에 돌리고, 회차별 영수증과 함께 임계값 재보정 결과도 같이 올리겠습니다. 고맙습니다.

자연어회계처리 프로필 이미지

제각각 놀던 6개 노드를 조립하면서 '시작 조건'과 '실패 시 행동'을 명확히 매핑해 파이프라인을 완성하신 부분이 연결을통한 재현을 잘구현하신거 같습니다.

한바둑 프로필 이미지
한바둑2026.08.06

읽어주셔서 고맙습니다.

돌아보면 노드 여섯 개는 이미 다 있었습니다. 각각은 잘 돌았고요. 없던 건 노드가 아니라 노드 사이였습니다. 무엇이 갖춰져야 이 노드가 시작되는지, 실패하면 어디로 가는지를 적어두지 않으니 개별 실행은 성공해도 같은 결과가 두 번 나오지 않더군요.

그래서 이번에 한 일은 새로 만든 것보다 적어둔 것에 가깝습니다. 시작 조건과 실패 시 행동을 노드마다 명시하고 나서야, 파이프라인이 '되는 날'과 '안 되는 날'의 차이를 설명할 수 있게 됐습니다. 재현은 결국 연결에서 나온다는 걸 늦게 배웠습니다.

앞으로도 계속 지켜봐 주시면 고맙겠습니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기