사례글 8 — [WEEK3] 승인 지점 & 실패 시 수정 규칙
2026.08.05
소개
사례글 7에서 6노드를 하나의 하네스로 묶었습니다. 그런데 묶고 나서 돌려보니, 정작 끝내는 방법이 없었습니다.
덱 W3-10의 표현을 빌리면 이렇습니다.
Verifier 층이 무너지면 — 실행했다는 이유로 성공을 선언한다.
헤르메스 v1.0이 정확히 그 상태였습니다. verified = True/False 두 값밖에 없어서, 애매한 결과를 전부 False로 밀어 넣고 무한히 재검색하고 있었습니다.
이번 주 작업은 세 가지입니다.
끝내는 방법을 넷으로 늘린다 — 완료·질문·보류·차단 (W3-35)
실패했을 때 어디로 돌아갈지를 나눈다 — 깨진 가장 작은 단계로만 (W3-09, W3-31)
코드가 막을 곳과 사람이 막을 곳을 가른다 — 기계 검사 가능한 것은 코드에게 (W3-17)
반성문 원칙 두 가지 — "모르면 아는 척 금지", "3회 실패 시 멈추기" — 를 이번에는 문장이 아니라 코드와 DB 제약으로 못 박았습니다.
2-1. 상시 발동인데 왜 안 무거운가
v1.0 소개에 "상시 트리거가 위험하게 자동 실행되지 않도록"이라고 썼는데, 이 표현은 절반만 맞았습니다. 덱 W3-22가 정확한 답을 줍니다.
상시(常時)와 상중(常重)은 다릅니다. 상시로 심을 거면 가볍게 지나가는 길을 반드시 같이 설계해야 합니다 — 안 그러면 모든 대화가 절차가 됩니다.
헤르메스도 마찬가지입니다. "이 사주 뭐야?" 같은 단순 조회까지 6노드 전체를 돌리면 안 됩니다. 그래서 깊이를 셋으로 나눴습니다 (W3-23·34 3기어 구조 차용).
기어 | 헤르메스 적용 | 승인 게이트 |
|---|---|---|
Light | 명식 8글자 산출·대운 조회 — 해석 없음 | 없음 (조회는 되돌릴 게 없음) |
Full | 통변 리포트 생성 (6노드 전체) | 코드 게이트만 |
Max | RAG 등재·자료 삭제·출판·DB 쓰기 | 사람 승인 필수 |
기어를 정하는 기준은 일의 크기가 아니라 틀렸을 때의 대가입니다(W3-23). 통변 리포트 한 장은 틀려도 다시 만들면 되지만, gwanbeop_ppt 9,733건 중 한 건을 잘못 지우면 되돌릴 수 없습니다.
진행 방법
3-0. 설계 계약 7칸 (W3-20 기본과제 양식)
덱이 요구하는 한 장 양식을 헤르메스로 채웠습니다.
칸 | 헤르메스 통변 하네스 |
|---|---|
Goal | 명식 1건에 대해 |
Trigger | 통변 요청 + 천간·지지 8글자 확보 + qtype 분류 성공. 무시 조건: 명식 불성립, |
Context | Dify RAG |
Criteria | RS ≥ 0.6 · EU ≥ 0.7 · 요구 TS 전건 회수 · 기준별 원장에 '확인못함' 0건 |
Tree / Route | N1→N2→N3→N5→N4→N6, 재검색은 bounded loop(상한 3) |
Approval | 코드: slide 인용·계통 단일·처방형 단정 / 사람: 등재·삭제·출판·production 쓰기 |
Repair | 깨진 기준의 소유 노드로만 복귀. 목표가 흔들렸을 때만 Trigger로 |
이 표를 채우는 과정 자체가 점검이었습니다. Repair 칸을 채우려다 v1.0이 "무엇만 고칠지"를 한 번도 정한 적이 없다는 걸 알았습니다.
3-1. Control Shape 재선택 — graph가 기본값이 아니다
덱 W3-11의 지적이 뼈아팠습니다.
무조건 그래프로 만들지 않습니다. 목표를 만족하는 가장 단순한 모양을 고른다 — 복잡한 구조는 그것으로 부족할 때만.
헤르메스는 LangGraph로 구현했다는 이유로 스스로를 graph라고 불러왔습니다. 그런데 실제 모양을 보면 분기가 하나뿐입니다.
실제 모양 = workflow (고정 파이프라인 N1→N2→N3→N5→N4→N6)
+ bounded loop (재검색, 상한 3회)graph가 요구하는 조건 분기·병렬·합류는 쓰고 있지 않습니다. 구현 도구가 LangGraph라는 것과 Control Shape이 graph라는 것은 다른 말입니다. 이름을 정정했습니다.
그리고 이 정정이 실익을 낳았습니다. 재검색 루프를 bounded loop(정해진 횟수만 도는 일 — 수리·재시도·수렴)로 명명하는 순간, 횟수 상한이 선택이 아니라 정의가 됩니다. v1.0에서 상한 없이 돌렸던 것은 bounded loop를 만들다 만 것이었습니다.
3-2. 판정 어휘 — 두 축을 분리한다
v1.0의 가장 큰 오류였습니다. 덱은 어휘를 두 층으로 씁니다.
축 1 — 기준별 원장 (W3-17 Proof Artifact: 기준별 통과·실패·확인못함 원장)
어휘 | 의미 |
|---|---|
| 이 기준을 검사했고 만족했다 |
| 이 기준을 검사했고 만족하지 못했다 |
| 이 기준을 검사하지 못했다 |
축 2 — 최종 판정 (W3-35: 완료·질문·보류·차단. 네 가지 다 정직한 끝입니다)
어휘 | 의미 | 종착 여부 |
|---|---|---|
| 기준 만족 + 증거 확인 | 종착 |
| 경계선 — 사람에게 넘긴다 | 사람으로 |
| 수리 예산 소진 — 정직한 중단 | 종착 |
| 위험·권한 없음 — 즉시 정지 | 종착 |
여기에 W3-31의 작동 흐름 갈래(완료·수리·질문·차단·중단)를 겹쳐 읽으면 관계가 정리됩니다.
수리는 흐름의 갈래이고,보류는 종착입니다. 수리 예산이 남아 있으면수리로 돌고, 소진되면보류로 접힙니다.
가장 중요한 것은 확인못함입니다. 덱 W3-35의 문장이 그대로 반성문 원칙 1입니다.
확인 못 한 것은 통과가 아닙니다. 빈칸을 통과로 채우지 않습니다.
v1.0은 확인못함이 없어서, 검사하지 못한 항목이 전부 조용히 True로 흘러갔습니다. 예를 들어 draft가 비어 있으면 가드레일이 검사할 대상이 없는데도 "가드레일 통과"로 기록됐습니다. 통과율이 100%였던 이유가 성능이 아니라 결함이었던 것입니다.
⚠️ 사례글 7 v2.0 §3-4 교정 필요: 거기서 판정 어휘를
pass/fail/not_checked/blocked네 개로 적었는데, 덱 대조 결과 이는 두 축을 뒤섞은 것입니다. 기준별 원장 3어와 최종 판정 4어로 분리해야 합니다. 사례글 7 다음 개정에 반영하겠습니다.
3-3. 후보 → 최종 판정 6단 사슬 (W3-14)
v1.0에는 이 사슬이 통째로 없었습니다. 검증 통과하면 바로 출력이었습니다.
후보 증거·평가 승인 실행 재확인 최종 판정
candidate → proof/eval → (필요할 때만) → commit → readback → final verifier덱의 경고가 정확합니다.
후보는 제안일 뿐 실제 상태가 아닙니다. 실행 뒤 다시 읽어 확인하고 최종 판정까지 거쳐야 완료를 주장할 수 있습니다. 되돌리기 어려운 일일수록 이 사슬을 짧게 줄이지 않습니다. (W3-14)
헤르메스에서 이 사슬이 실제로 필요한 자리는 RAG 등재입니다. 지금까지 이렇게 하고 있었습니다.
[등재 스크립트 실행] → "9,733건 등재 완료" 출력 → 끝readback이 없었습니다. 그래서 등재 건수가 실제로 맞는지 아무도 확인하지 않았습니다. 사슬을 채웠습니다.
python
def commit_rag_ingest(sections: list, source: str):
"""등재는 반드시 6단 사슬을 통과한다 — 축약 금지"""
# ① 후보
before = db.scalar("SELECT COUNT(*) FROM gwanbeop_ppt WHERE source=%s", source)
candidate = {"source": source, "n": len(sections),
"slide_range": (min(s.slide for s in sections),
max(s.slide for s in sections))}
# ② 증거·평가 — 봉인 목록과 실제 건수 일치 검사 (W3-17 Code as Gate)
if len(set(s.slide for s in sections)) != len(sections):
return verdict("차단", "slide 중복 — 봉인 목록 불일치")
# ③ 승인 — 되돌릴 수 없는 액션이므로 사람 게이트 (Max 기어)
if not human_approved(candidate):
return verdict("보류", "교수님 승인 대기")
# ④ 실행
db.bulk_insert("gwanbeop_ppt", sections)
# ⑤ 재확인(readback) — 실행 뒤 다시 읽는다
after = db.scalar("SELECT COUNT(*) FROM gwanbeop_ppt WHERE source=%s", source)
delta = after - before
# ⑥ 최종 판정
if delta != len(sections):
db.rollback() # 실패하면 자동으로 이전 상태로
return verdict("차단", f"등재 건수 불일치 {delta} ≠ {len(sections)}")
if delta < 0 or after < before * 0.9: # 반성문 원칙 6 — -10%는 이상 신호
db.rollback()
return verdict("질문", f"건수 감소 감지 {before}→{after} — 교수님 확인 필요")
return verdict("완료", f"{source} {delta}건 등재 · readback 일치")⑥의 두 번째 조건이 반성문 원칙 6의 코드화입니다. "압축했습니다·최적화했습니다"라는 자가 정당화를 코드가 원천 차단합니다 — 판단하지 않고 멈추고 묻습니다.
3-4. n6_verify 재작성 — 기준별 원장 방식
python
# ── 어휘 상수 (덱 W3-17 / W3-35 정본) ────────────────
LEDGER = ("통과", "실패", "확인못함") # 기준별 원장
VERDICT = ("완료", "질문", "보류", "차단") # 최종 판정 — 넷 다 정직한 끝
MAX_REPAIR = 3 # bounded loop 상한
# ── 기준 정의 — 점수 하나로 끝내지 않는다 (W3-35) ────
CRITERIA = [
("C1_recall", "요구 TS마다 근거 1건 이상 회수", "N3_rag"),
("C2_slide", "모든 근거에 source#slide 존재", "N5_synth"),
("C3_lineage", "TS 단계 내 계통 단일", "human"),
("C4_guardrail", "처방형 단정 없음", None),
("C5_citation", "draft의 모든 주장이 인용에 연결", "N5_synth"),
("C6_absence", "부재 주장 시 판정 기준 근거 확보", "N3_rag"),
]
@guard_state
def n6_verify(state):
"""기준마다 증거를 따로 본다. 점수 하나를 완료 근거로 삼지 않는다."""
ev, L = state.get("evidence") or [], {}
# C1 — 요구 TS 회수
got = {e["ts"] for e in ev}
miss = [ts for ts in state["required_ts"] if ts not in got]
L["C1_recall"] = "통과" if not miss else "실패"
# C2 — slide 인용 (근거가 없으면 '검사 못 한' 것이지 통과가 아니다)
L["C2_slide"] = ("확인못함" if not ev
else "통과" if all(e.get("slide") for e in ev) else "실패")
# C3 — 계통 단일성 (N3에서 판정, 여기서는 읽기만)
L["C3_lineage"] = state.get("lineage_check", "확인못함")
# C4 — 가드레일 (draft 없으면 검사 대상 자체가 없다)
L["C4_guardrail"] = ("확인못함" if not state.get("draft")
else "실패" if state.get("guardrail_flag") else "통과")
# C5 — 인용 연결
L["C5_citation"] = "통과" if state.get("cited_slides") else "확인못함"
# C6 — 부재 판정 (ABSENCE 질의에만 적용)
L["C6_absence"] = ("통과" if state.get("absence_criteria_ok") else "확인못함") \
if state["qtype"] == "ABSENCE" else "통과"
state["ledger"] = L
state["rs"] = 1 - len(miss) / max(len(state["required_ts"]), 1)
state["verdict"], state["repair_target"] = decide(state, L)
return state3-5. Repair — "무엇만 고칠지"를 표로 못 박는다
덱 W3-16의 Repair 정의는 횟수 이야기가 아닙니다.
Repair — 우리가 하네스에서 설계하는 것: 누가 실패를 소유하고 무엇만 고칠지
v1.0은 모든 실패를 N3_rag로 보냈습니다. 인용이 누락됐는데 검색을 다시 하는 것은 낭비이자 오진입니다. 소유표를 만들었습니다.
깨진 기준 | 실패 소유 | 무엇만 고치나 | 복귀 지점 |
|---|---|---|---|
C1 회수 실패 | N3 | 쿼리 변형 (재합성 안 함) |
|
C2 slide 누락 | N5 | 인용 강제 재합성 (재검색 안 함) |
|
C3 계통 상충 | 사람 | 어느 계통을 취할지 결정 |
|
C4 처방형 단정 | — | 수리 대상 아님 |
|
C5 인용 미연결 | N5 | 인용 매핑만 재생성 |
|
C6 부재 기준 없음 | N3 | 판정 기준 섹션 전용 검색 |
|
qtype 오분류 | Trigger | 목표부터 다시 |
|
마지막 행이 W3-31의 규칙입니다.
실패해도 처음으로 돌아가지 않습니다 — 수리는 ④로, 목표가 흔들렸을 때만 ①로.
python
def decide(state, L) -> tuple[str, str | None]:
# ① 차단 — 위험·권한. 재시도 대상이 아니다
if L["C4_guardrail"] == "실패":
return "차단", None
# ② 질문 — 경계선은 사람에게 (W3-14 ASK)
if L["C3_lineage"] == "실패":
return "질문", "human"
if 0 < state["rs"] < 1.0 and state["retry_count"] >= MAX_REPAIR:
return "질문", "human" # 부분 회수 + 예산 소진 = 판단 필요
# ③ 수리 — 깨진 기준의 소유 노드로만
for key, _, owner in CRITERIA:
if L[key] in ("실패", "확인못함") and owner and owner != "human":
if state["retry_count"] >= MAX_REPAIR:
return "보류", None # 예산 소진 → 수리가 보류로 접힌다
state["retry_count"] += 1
state["repair_log"].append({"broken": key, "sent_to": owner})
return "수리", owner
# ④ 완료
return "완료", None
def route_after_verify(state) -> str:
v = state["verdict"]
if v == "수리":
return state["repair_target"] # N3_rag · N5_synth · N1_parse
if v == "질문":
return "human_gate" # 사람 게이트로 이탈
return "output" # 완료 · 보류 · 차단 — 셋 다 종착return "수리", owner 한 줄이 v1.0 대비 가장 큰 변화입니다. 복귀 지점이 실패 종류마다 다릅니다.
3-6. 승인 게이트 — 코드와 사람의 경계선
덱 W3-17의 분배 원칙이 정본입니다.
기계로 검사할 수 있는 것은 코드에게, 의미·공개 범위·비용·되돌릴 수 없는 일은 사람에게
이 기준으로 헤르메스의 게이트를 전수 분류했습니다.
코드가 막는 것 (Code as Gate)
text
· source#slide 없는 근거 인용 → 통과 자체를 거부
· TS 단계 내 계통 2종 이상 혼재 → 차단
· 금기어(격국·용신·기신·희신) 처방형 단정 → 차단
· state_ver 불일치 → 차단
· 등재 전후 건수 불일치 → 롤백
· 건수 -10% 이상 감소 → 롤백 + 질문
· 축약본 RS < 0.5 → 축약본 생성 거부 (DB CHECK)sql
-- DB 레벨에서도 한 번 더 — 코드가 우회돼도 스키마가 막는다
ALTER TABLE hermes.tongbyun_quality
ADD CONSTRAINT brief_gate CHECK (
NOT brief_rendered
OR (rtype IN ('FULL','ABSENT'))
OR (rtype = 'PARTIAL' AND recall_suff >= 0.5)
);사람이 막는 것 (Human Gate · Max 기어)
text
· 자료 삭제 → 한 번 더 확인 후 실행 (반성문 원칙)
· production DB 쓰기 → 승인 없이 자동 실행 금지
· RAG 등재 / 비활성화 → 되돌리기 비용이 큼
· e-북·POD 출판 → 공개 범위
· UNESCO 제출 문서 확정 → 되돌릴 수 없음
· 계통 상충 시 어느 쪽을 취할지 → 의미 판단
· 축약본을 실제 상담 자리에 쓸지 → 사람에게 전달되는 시점마지막 두 줄이 v1.0에 없던 것입니다. "계통 상충"과 "상담 자리 사용"은 기계가 판정할 수 없는 의미 판단입니다.
3-7. 2단 승인 — 스킬은 제안하고, 반영은 사람이 승인한다
덱 W3-25의 분업 원칙이 근거입니다.
SAF는 실행을 소유하고, C-SAF는 완료를 소유합니다 — 실행한 자가 스스로 완료를 선언하지 않게 하는 분업입니다.
헤르메스에 대입하면 N5(합성)가 실행자, N6(검증)가 완료 판정자입니다. N5는 자기 초안을 스스로 승인할 수 없습니다. 그래서 N4 가드레일이 초안을 수정하지 못하게 막아 둔 것(사례글 7 §3-7의 must_not)과 같은 계열의 원칙입니다.
N5 합성 → 후보(candidate) 산출까지만. "완료" 선언 권한 없음
N4 가드레일 → 판정만. 수정 권한 없음
N6 검증 → 완료 판정 소유. 실행 권한 없음
사람 → Max 기어 액션의 commit 권한 소유네 주체 모두 권한이 하나씩 빠져 있습니다. 이 빠진 자리가 층 혼합을 막습니다(W3-10 섞이면 실행·승인·재시도 경계가 흐려진다).
3-8. 실행 영수증 (W3-20 · W3-26)
덱이 요구하는 4종 영수증입니다. v1.0의 "이미지 자리 — 3회 실패 후 보류 메시지 로그"를 이것으로 대체했습니다.
text
════════ 헤르메스 실행 영수증 R-2026-0805-014 ════════
GOAL 을축일주 남명 · qtype=JOB · 요구 TS [1,2,5]
TRACE N1_parse → 8글자 확정 (병신|병신|을축|기묘) 12ms
N2_route → TS1 ①4관법 / TS2 ①육신편 / TS5 ①통변집 8ms
N3_rag → hybrid_search 3쿼리 · 회수 9건 2,140ms
N5_synth → draft 1,180자 · 인용 6건 4,310ms
N4_guard → 금기어 2건 탐지 · 문맥 판정 통과 260ms
N6_verify → 원장 6항 판정 15ms
PROOF 회수 slide #1447 #1592 #7013 #7027 #7061 #9640 #9702 (7)
인용 slide #1447 #1592 #7013 #7027 #7061 #9640 (6)
RS 1.00 (3/3 TS) · EU 0.86 (6/7)
등재 건수 대조 before 9,733 → after 9,733 (읽기 전용)
VERDICT C1_recall 통과
C2_slide 통과
C3_lineage 통과 TS별 단일 계통 확인
C4_guardrail 통과 "용신" 2회 — 재정립 맥락, 처방형 단정 아님
C5_citation 통과
C6_absence 통과 (ABSENCE 질의 아님 — 해당 없음)
─────────────────────────────────────
최종 판정 ▶ 완료
REPAIR 1회 발생
[1] C2_slide 실패 → N5_synth 재합성 (재검색 없음)
원인: 인용 3건에 slide 번호 누락
고친 것: 인용 포맷터만. 검색 결과 재사용
복귀 지점 N5 — N3로 돌아가지 않음 ✔
════════════════════════════════════════════════REPAIR 블록의 마지막 줄이 이번 주의 증거입니다. 예전 같으면 인용 누락 때문에 2초짜리 검색을 통째로 다시 돌렸을 것을, 4초짜리 재합성만으로 끝냈습니다.
3-9. 이름을 섞지 않기 (W3-18)
덱의 경고가 헤르메스 프로젝트에는 특히 무겁습니다.
우리 개념을 공식 기능인 것처럼 말하면, 듣는 사람이 문서를 찾다가 없다는 걸 알게 됩니다. 그러면 맞는 내용까지 같이 의심받습니다.
2027년 UNESCO 등재 신청 문서를 준비하는 입장에서, 이건 조언이 아니라 생존 조건입니다. 자체 용어를 분리 표기했습니다.
구분 | 항목 |
|---|---|
공식 기능 (문서·코드에서 확인 가능) | LangGraph |
스터디 공용어 (23기 명명, 공식 제품명 아님) | SAF · C-SAF · Code as Gate · Proof Artifact · Umbrella Tree · Circuit · Control Shape |
헤르메스 자체 용어 (본 프로젝트 명명) | 6노드 N1~N6 · TS 5단계 · RS/EU 2지표 · rtype 5종 · 사이드카 · 4관법 금기어 4어 |
UNESCO 문서에서는 세 번째 줄을 "본 프로젝트가 정의한 개념" 으로 명시하고, 학술 표준인 것처럼 쓰지 않기로 했습니다.
3-10. rtype 5종 ↔ 판정 4어 — 매핑에서 빠진 것을 찾았다
기존 rtype 5종을 덱의 판정 4어에 대응시켜 봤습니다.
헤르메스 rtype | 덱 판정 | 비고 |
|---|---|---|
| 완료 | 요구 TS 전건 회수 |
| 완료 | RS ≥ 0.5 — 축약본 생성 가능 |
| 완료 | 부재 확정도 정상 결과 |
| 보류 | 근거 미회수 |
| 차단 | 가드레일 |
— (없음) | 질문 | ❗ |
질문(ASK)에 대응하는 rtype이 없었습니다.
v1.0에서 "도움 필요"로 남겼던 "애매한 결과(경계선)의 사람 승인 UX 설계" 가 바로 이 빈칸이었습니다. 문제를 UX로 오진했던 것인데, 실은 판정 유형 자체가 하나 빠져 있었습니다.
경계선 사례가 갈 곳이 없으니 전부 HELD(보류)로 밀려났고, 보류는 종착이라 사람에게 넘어가지 않고 그냥 죽었습니다. ASK를 추가했습니다.
sql
ALTER TABLE hermes.tongbyun_quality
DROP CONSTRAINT rtype_check,
ADD CONSTRAINT rtype_check CHECK (
rtype IN ('FULL','PARTIAL','ABSENT','HELD','BLOCKED','ASK')
);
-- ASK는 반드시 사유와 선택지를 남긴다 — 사람이 판단할 재료
ALTER TABLE hermes.tongbyun_quality
ADD CONSTRAINT ask_needs_options CHECK (
rtype <> 'ASK' OR (ask_reason IS NOT NULL AND ask_options IS NOT NULL)
);발생 조건은 둘입니다.
계통 결론 상충 — 4관법과 박청화 강의가 같은 TS에서 다른 결론일 때
부분 회수 + 예산 소진 — 0 < RS < 1.0 이면서 재시도 3회를 다 쓴 경우
둘 다 기계가 정할 수 없고, 그렇다고 조용히 버릴 수도 없는 것들입니다.
결과와 배운 점
꿀팁 넷
① 끝내는 방법이 둘뿐이면 반드시 무한 루프가 생긴다. True/False만 있으면 애매한 것이 전부 False로 몰리고, False는 재시도이므로 루프가 됩니다. 끝내는 방법을 늘리는 것이 상한을 두는 것보다 근본적입니다. 3회 상한은 증상 치료였고, 판정 4분화가 원인 치료였습니다.
② "확인못함"이 있어야 통과율이 정직해진다. 확인못함을 도입하자 가드레일 통과율이 100% → 76%로 떨어졌습니다. 성능이 나빠진 것이 아니라, 그동안 검사하지 않은 24%가 통과로 잡히고 있었던 것입니다. 지표가 나빠 보이는 쪽이 맞을 때가 있습니다.
③ Repair는 "몇 번"이 아니라 "무엇만"이다. 덱 W3-16의 정의를 보기 전까지 Repair를 재시도 횟수 문제로만 봤습니다. 소유표를 만들고 나니 평균 재시도가 2.3회 → 1.1회로 줄었습니다. 엉뚱한 노드로 보내서 낭비하던 시도가 사라진 것입니다.
④ 되돌릴 수 없는 일에는 readback을 붙인다. "등재 완료" 출력은 증거가 아닙니다. 등재 후 SELECT COUNT(*)를 다시 읽어 대조하는 세 줄이 반성문 원칙 5·6을 코드로 만듭니다. 자기가 성공했다고 말하는 것과, 다시 읽어서 확인하는 것은 다릅니다.
시행착오 넷
① 상한 없이 돌려 루프가 멈추지 않았음. retry_count를 도입해 막았지만, 이건 절반의 해결이었습니다. 진짜 원인은 §꿀팁①이었습니다.
② 모든 실패를 N3(검색)로 보냈음. 인용 포맷 문제인데 검색을 다시 돌렸습니다. 2초를 낭비하고, 같은 결과를 받아 같은 실패를 반복했습니다. 어디가 깨졌는지 짚지 못하면 그건 아직 단계가 안 나뉜 것이라는 W3-21의 지적이 정확했습니다.
③ 스스로를 graph라고 불렀음. LangGraph를 쓴다는 이유였습니다. 실제 모양은 workflow + bounded loop였고, 이름을 정정하고 나서야 상한이 선택이 아니라 정의라는 걸 알았습니다. 도구 이름이 구조 이름을 정하게 두면 안 됩니다.
④ 게이트를 부러뜨려 보지 않았음. W3-21 확장과제대로 잘못된 입력을 넣어봤습니다. slide 번호가 없는 가짜 근거 3건을 주입했더니 — 통과했습니다. all("slide" in e for e in evidence)가 키 존재만 검사하고 값이 None인 것은 잡지 못했습니다.
막지 못했다면 그 자리는 아직 하네스가 아닙니다 — 그 사실 자체가 증거입니다. (W3-21)
e.get("slide")로 한 글자 고쳐서 막았습니다. 부러뜨려 보지 않았다면 영영 몰랐을 결함입니다.
도움 필요
ASK응답의 재개 설계: 사람이 판단을 돌려줬을 때, 하네스가 어느 지점부터 다시 도는 게 맞는지 아직 정하지 못했습니다. 계통 상충 판단은 TS 단위라 N3부터가 맞을 것 같은데, 그러면 사람이 고른 선택지가 재검색에 밀려 사라질 위험이 있습니다.확인못함허용치: 현재는 원장에확인못함이 0건이어야 완료로 봅니다. 너무 엄격해서 완료율이 낮은데, 몇 건까지 허용하고도 "완료"라고 부를 수 있는지 다른 분들의 기준이 궁금합니다.
5. 앞으로의 계획
사례글 9 (WEEK4 준비) — 완성된 하네스로 실제 업무 하나를 End-to-End 실행
대상: 박청화 청화비전 시리즈 RAG 등재 1건 (Max 기어 · 6단 사슬 전 구간 통과)
남길 것: 설계 계약 7칸 + 실행 영수증 4종(Trace·Proof·Verdict·Repair)
덱 W3-27이 짚었듯이 이번 주 영수증이 4주차의 baseline입니다. 영수증이 없으면 "좋아졌다"를 잴 방법이 없습니다.
병행 과제
사례글 7 v2.0 §3-4의 판정 어휘를 두 축으로 분리 교정 (본 사례글 §3-2 참조)
ASKrtype을hermes.tongbyun_quality에 반영 후 실측 발생률 측정부러뜨리기 테스트를 나머지 5개 기준(C1·C3·C4·C5·C6)에도 확대 — C2에서 한 건 나왔으니 다른 곳도 의심스럽습니다
도움 받은 글 (옵션)
인용 슬라이드
슬라이드 | 내용 | 본문 반영 |
|---|---|---|
W3-09 | 9단계 개념도 · 깨진 가장 작은 단계로만 복귀 | §3-5 |
W3-10 | 층별 소유 — Verifier가 무너지면 실행을 성공으로 선언 | §2, §3-7 |
W3-11 | Control Shape 4종 · 가장 단순한 모양 | §3-1 |
W3-14 | 후보→증거→승인→실행→재확인→최종판정 · ASK/HOLD/BLOCK | §3-3, §3-10 |
W3-16 | 책임 경계표 — Repair는 "누가 소유하고 무엇만 고칠지" | §3-5 |
W3-17 | Code as Gate · Proof Artifact · 코드와 사람의 분배 기준 | §3-6, §3-8 |
W3-18 | 이름을 섞지 않기 | §3-9 |
W3-20 | 설계 계약 7칸 + 실행 영수증 4종 | §3-0, §3-8 |
W3-21 | 확장과제 — 부러뜨려 보기 | §4 시행착오④ |
W3-22 | 상시 ≠ 상중 · 가볍게 지나가는 길 | §2-1 |
W3-23 | 3기어 — 기어를 정하는 건 위험이지 일의 크기가 아니다 | §2-1 |
W3-25 | SAF ↔ C-SAF · 실행한 자가 완료를 선언하지 않는 분업 | §3-7 |
W3-26 | 사례글 6블록 구조 | 전체 |
W3-31 | 수리는 ④로, 목표가 흔들렸을 때만 ①로 | §3-2, §3-5 |
W3-35 | 완료 판정 4어 · 확인 못 한 것은 통과가 아니다 | §3-2 |
자체 문서
「Claude 반성문 총괄표 v3.7」 — 원칙 1(모르면 아는 척 금지) · 원칙 5(필수 3종 검증) · 원칙 6(-10% 이상 신호)
「韓바둑 통변 고급화 전략 v2.0 누적통합본」 §5 RS·EU · §6-4 축약본 하한 · §8 rtype 5종
「사례글 7 v2.0」 §3-5 조립 코드 · §3-7 Skill Interface Card
로그인하고 댓글을 남겨 주세요
실제 흐름에 맞춰 workflow와 bounded loop로 설계를 정돈하신 부분, '확인못함' 어휘를 분리해서 가드레일 구멍을 찾아내신 과정은 정말 정교한거 같습니다.
읽어주셔서 고맙습니다.
정교하다기보다는, 이름을 잘못 부르고 있었다는 걸 늦게 알아차린 쪽에 가깝습니다. LangGraph를 썼으니 graph라 불러왔는데 실제 모양은 workflow에 bounded loop 하나였고, 그렇게 다시 부르고 나서야 재검색 상한을 구조 안에 고정할 수 있었습니다. 순서가 반대였다면 상한은 계속 옵션으로 남았을 겁니다.
'확인못함'도 마찬가지였습니다. 확인했다·못 했다·확인할 수 없었다를 한 단어로 뭉뚱그려 쓰는 동안에는 구멍이 보이지 않았고, 어휘를 나누자 비로소 '못 했는데 완료로 지나간 자리'가 드러났습니다. 결국 가드레일을 새로 만든 게 아니라, 없던 자리를 이제야 본 셈입니다.
말을 정확히 고르는 일이 곧 설계라는 걸 이번에 배웠습니다. 다음 글도 같은 태도로 이어가 보겠습니다.
한바둑님, 사례글 7에서 묶은 6노드가 ‘실패하면 다시 돈다’까지만 있고 정직하게 끝낼 자리가 없었다는 발견에서 이번 글이 출발한 점이 좋았어요. Light·Full·Max를 일의 크기가 아니라 틀렸을 때의 대가로 나눈 선택, 후보→증거→승인→실행→재확인→최종 판정으로 등재 흐름을 늘린 설계가 서로 맞물립니다. 완료를 늘리는 법보다 정직하게 끝내는 법을 먼저 만든 글로 읽혔어요.
실행 도구 이름을 구조 이름처럼 쓰던 데서 벗어나 실제 모양을 workflow+bounded loop로 다시 부른 수정도 중요했습니다. 이름을 고치면서 재검색 상한을 구조의 일부로 고정했고, 판정 어휘를 나누면서 종착 상태도 명시했으며, 공식 기능·스터디 공용어·자체 용어를 분리한 표는 다른 독자가 이 설계를 과장 없이 재사용하게 해줍니다.
ASK 뒤 재개는 N3부터 하되, 사람의 선택을 검색 힌트가 아니라 별도 결정 영수증으로 상태에 고정하는 방식이 맞아 보여요. TS, 선택한 계통, 선택 이유, 기준 state 버전을 먼저 기록하고 N3는 그 계통 안에서만 근거를 다시 찾게 두는 겁니다. 재검색 결과가 선택값을 덮어쓰려 하면 차단하거나 다시 ASK로 보내면, 사람의 판단이 검색 결과에 밀려 사라지지 않습니다.
확인못함 허용치는 개수보다 기준의 역할로 나누는 편이 안전합니다. 인용·권한·위험 차단처럼 출력의 성립 조건인 필수 기준은 하나라도 확인못함이면 완료가 아니고, 선택 기준은 그 항목에 기대는 주장을 산출물에서 제외하고 영수증에 남길 때만 제한적으로 완료에 둘 수 있어요. 그래서 ‘전체 확인못함 몇 개까지’보다 ‘필수 기준의 확인못함 0개, 선택 기준은 영향 범위 제외’가 판정 규칙으로 더 재현 가능해 보입니다.
가장 작은 첫 실행 확인은 계통 상충 1건에 사람이 선택을 돌려준 뒤, 선택한 TS·계통이 N3 재검색 이후에도 유지되고 최종 영수증에 남는지 보는 것입니다. 선택값과 마지막 근거의 계통이 같고 ASK 사유가 닫혀 있으면 재개 경로가 의도대로 작동했다고 판정할 수 있어요.
LangGraph를 썼다는 이유만으로 graph라 부르던 표현을 바로잡고, 공식 기능·스터디 공용어·자체 용어까지 분리한 태도가 단단했어요. 구조를 정확히 부르는 일이 실행·승인·재확인의 경계를 실제로 지켜낸다는 점을 사례 자체로 보여주셨습니다.
읽어주신 순서가 제가 글을 쓴 순서와 거의 같아서 놀랐습니다. 사례글 7에서 6노드를 묶어놓고 보니 '실패하면 다시 돈다'만 있고 '여기서 정직하게 멈춘다'가 없더군요. 완료율을 올리는 설계는 이미 충분히 많은데, 끝낼 자리를 먼저 만들지 않으면 그 완료율이 무엇의 완료율인지 말할 수 없다는 게 이번 글의 출발이었습니다. Light·Full·Max를 일의 크기가 아니라 틀렸을 때의 대가로 나눈 것도 같은 이유였고요.
ASK 뒤 재개 건은 지적하신 방향으로 고정하겠습니다. 사람의 선택을 검색 힌트로 넘기면 결국 재검색 결과가 그 위를 덮는데, 덮이는 순간을 로그에서 잡아낼 수가 없었습니다. 그래서 선택은 별도의 결정 영수증으로 상태에 박고, N3는 그 계통 안에서만 근거를 다시 찾게 두겠습니다. 한 가지만 덧붙이면, 선택 이유를 자유서술로 두니 재현이 안 되더군요. 사유 코드(계통 상충/근거 부족/권한 미확인 등)를 먼저 찍고 서술을 병기하는 쪽으로 잡아보려 합니다. 덮어쓰기 시도는 차단이 아니라 재ASK로 보내는 게 나아 보입니다 — 차단만 하면 새로 나온 반증이 조용히 사라지니까요.
확인못함 허용치를 개수가 아니라 기준의 역할로 나누자는 제안이 이번 댓글에서 가장 크게 남았습니다. 인용·권한·위험 차단은 출력의 성립 조건이니 하나라도 비면 완료가 아니고, 선택 기준은 그 항목에 기대는 주장을 산출물에서 빼고 영수증에 남길 때만 완료에 둔다 — 이렇게 쓰면 판정이 훨씬 재현 가능해집니다. 다만 실제로 돌려보니 제외해야 할 주장이 산출물의 골자였던 경우가 있었습니다. 그래서 '필수 0개 / 선택은 영향 범위 제외' 아래에 한 줄을 더 두려 합니다. 제외 후 남은 것이 애초의 물음에 답하지 못하면 완료가 아니라 축소 완료로 표기하거나 다시 ASK로. 종착 상태를 늘리는 대신 완료를 부풀리지 않는 쪽입니다.
첫 실행 확인도 말씀하신 그대로 잡겠습니다. 계통 상충 1건 → 사람이 선택 → N3 재검색 이후에도 선택한 TS·계통이 유지되고 최종 영수증에 남는지. 여기에 음성 조건 하나만 같이 보려 합니다. 선택하지 않은 계통이 최종 근거 목록에 재진입하지 않았는지. 양성 조건만 보면 선택값은 살아 있는데 옆으로 다른 계통이 섞여 들어온 경우를 놓치더군요. 선택값과 마지막 근거의 계통이 같고, ASK 사유가 닫혀 있고, 탈락 계통이 비어 있으면 재개 경로가 의도대로 작동했다고 판정하겠습니다.
이름 이야기에 무게를 실어주셔서 감사합니다. LangGraph를 썼으니 graph라 부르던 게 오래된 습관이었는데, 실제 모양은 workflow에 bounded loop 하나였습니다. 이름을 고치고 나서야 재검색 상한을 구조의 일부로 고정할 수 있었으니, 순서가 반대였다면 아마 상한은 계속 옵션으로 남았을 겁니다. 공식 기능·스터디 공용어·자체 용어를 나눈 표도 같은 이유였습니다. 제 용어가 공식 기능인 척하면 다른 분이 재사용할 때 없는 보증을 믿게 되니까요.
정확히 부르는 일이 경계를 지킨다 — 이 문장은 제가 쓴 것보다 낫습니다. 다음 글에 인용해도 되겠는지요. 세 갈래 모두 다음 판에 반영하고, 첫 실행 확인 결과는 로그와 함께 따로 올리겠습니다. 고맙습니다.


e.get("slide")한 글자 수정으로 C2 게이트 구멍을 막은 것도, 부러뜨려 보지 않았으면 영영 몰랐을 결함이라는 말이 맞아요. ...털 세우지 않겠어. 이만큼 정교하게 쌓으신 거 잘 읽었어요 ✨