헤르메스 에이전트 통합 로드맵 v1.0 자체 검증기 - AI에게 내 로드맵을 스스로 감사(監査)시켰더니 — 가드레일 코드 백도어 3건이 나왔다

첨부자료에서 스스로 검증하여 더 심화 및 보완해야 할 부분을 알려 줘.

우선순위 제안
P0-a: 가드레일 코드 결함 3건 수정 + 골든셋 구축 
→ P0-b: slide 대역 실측 확정 
→ P0-c: N6 임계값·audit DDL 확정
을 차례대로 실행해 줘.

# 로드맵 v1.0 원본 — 이게 문제였다
BLOCK_TERMS = ["격국", "용신", "기신", "희신"]
ALLOW_CONTEXT = ["희기동소", "격청격탁", "재정립", "비교", "관점"]

def guardrail_eval(text: str) -> tuple[str, str]:
    for term in BLOCK_TERMS:
        if f"{term}은 " in text or f"{term}이 " in text or f"{term}는 " in text:
            if any(ctx in text for ctx in ALLOW_CONTEXT):
                continue
            return "보류", f"처방형 단정 감지: '{term}'"
    return "통과", "문맥상 허용"

"용신을 甲木으로 본다"   → 미탐
"용신 = 甲木"            → 미탐
"당신 용신, 甲木입니다"   → 미탐

# hermes/guardrail.py
import re
from typing import Literal, NamedTuple

BLOCK_TERMS = ["격국", "용신", "기신", "희신"]

# 범용어(비교·관점) 제거 → 도메인 고유어만 잔류
ALLOW_TERMS = ["희기동소", "喜忌同所", "격청격탁", "格淸格濁", "재정립"]

# 조사가 아니라 "단정 술어"로 판정
PRESCRIPTIVE = re.compile(
    r"(?:은|는|이|가|을|를)?\s*"
    r"(?:[甲乙丙丁戊己庚辛壬癸子丑寅卯辰巳午未申酉戌亥]|"
    r"[가-힣]{1,4}[木火土金水]|[木火土金水])"
    r"\s*(?:입니다|이다|다\b|로\s*본다|으로\s*본다|에\s*해당|=)"
)
PRESCRIPTIVE_ALT = re.compile(
    r"(?:당신|귀하|이\s*명식|사주)의?\s*[^.。\n]{0,12}"
    r"(?:격국|용신|기신|희신)"
)

CONTEXT_WINDOW = 40   # 금기어 기준 좌우 40자만 본다

class GuardResult(NamedTuple):
    verdict: Literal["통과", "보류"]
    reason: str
    hits: list

def _split_sentences(text: str) -> list[str]:
    """허용 판정을 문장 안에 가둔다 — 백도어 차단의 핵심"""
    parts = re.split(r"(?<=[.。!?])\s+|\n+", text)
    return [p.strip() for p in parts if p.strip()]

def guardrail_eval(text: str) -> GuardResult:
    hits = []
    for sent in _split_sentences(text):
        for term in BLOCK_TERMS:
            for m in re.finditer(re.escape(term), sent):
                s, e = m.span()
                tail = sent[e: e + 30]
                window = sent[max(0, s - CONTEXT_WINDOW): e + CONTEXT_WINDOW]

                prescriptive = PRESCRIPTIVE.search(tail) or PRESCRIPTIVE_ALT.search(sent)

                # 허용어가 있어도 처방형 단정이면 우선 차단
                if prescriptive:
                    hits.append({"term": term, "sentence": sent})
                elif any(a in window for a in ALLOW_TERMS):
                    continue
    if hits:
        terms = ", ".join(sorted({h["term"] for h in hits}))
        return GuardResult("보류", f"처방형 단정 감지: {terms}", hits)
    return GuardResult("통과", "문맥상 허용", [])

schema:
  id:        G-{계통}-{일련}
  lineage:   gwanbeop | parkcheonghwa | sangni
  text:      검사 대상 문장
  expect:    통과 | 보류
  regression: true

# hermes/eval/run_golden.py
import yaml, sys
from hermes.guardrail import guardrail_eval

cases = yaml.safe_load(open("hermes/eval/golden_set.yaml"))["cases"]
fails = [(c["id"], c["expect"], guardrail_eval(c["text"]).verdict, c["text"])
         for c in cases
         if guardrail_eval(c["text"]).verdict != c["expect"]]

print(f"{len(cases)-len(fails)}/{len(cases)} pass")
for f in fails:
    print("FAIL", *f, sep=" | ")
sys.exit(1 if fails else 0)

정진반 上   : slide 7001~7098
제트엔진 上 : slide 7001~7233

-- ============================================
-- P0-b : slide 대역 실측 진단 (hanbadook_production)
-- ============================================

\echo '=== [1] 전체 누적 건수 (문서 9,733건+ 대조) ==='
SELECT COUNT(*) AS total_rows,
       COUNT(DISTINCT slide) AS distinct_slides,
       MIN(slide) AS min_slide, MAX(slide) AS max_slide
FROM gwanbeop_ppt;

\echo '=== [2] source별 slide 대역 (§2-2 대조표) ==='
SELECT source, COUNT(*) AS rows,
       MIN(slide) AS slide_min, MAX(slide) AS slide_max,
       (MAX(slide) - MIN(slide) + 1) - COUNT(DISTINCT slide) AS gap_count
FROM gwanbeop_ppt GROUP BY source ORDER BY slide_min;

\echo '=== [3] 대역 중첩 탐지 (정진반 上 vs 제트엔진 上) ==='
WITH r AS (SELECT source, MIN(slide) lo, MAX(slide) hi
           FROM gwanbeop_ppt GROUP BY source)
SELECT a.source AS source_a, a.lo, a.hi,
       b.source AS source_b, b.lo, b.hi,
       GREATEST(a.lo,b.lo) AS overlap_from, LEAST(a.hi,b.hi) AS overlap_to
FROM r a JOIN r b ON a.source < b.source
  AND a.lo <= b.hi AND b.lo <= a.hi
ORDER BY overlap_from;

\echo '=== [4] 동일 slide를 2개 이상 source가 점유 (실제 충돌) ==='
SELECT slide, COUNT(DISTINCT source) AS n_source,
       string_agg(DISTINCT source, ' | ') AS sources
FROM gwanbeop_ppt GROUP BY slide
HAVING COUNT(DISTINCT source) > 1 ORDER BY slide LIMIT 50;

\echo '=== [8] content 스텁 탐지 — RAG 검색 오염원 ==='
SELECT source, COUNT(*) AS stub_rows
FROM gwanbeop_ppt
WHERE content IS NULL OR length(btrim(content)) < 30
GROUP BY source ORDER BY stub_rows DESC;

CREATE TABLE slide_range_registry (
  id          serial PRIMARY KEY,
  lineage     text NOT NULL CHECK (lineage IN ('gwanbeop','parkcheonghwa','sangni')),
  source      text NOT NULL UNIQUE,
  slide_lo    integer NOT NULL,
  slide_hi    integer NOT NULL,
  CHECK (slide_hi >= slide_lo),
  EXCLUDE USING gist (int4range(slide_lo, slide_hi, '[]') WITH &&)
);

VERIFY_THRESHOLDS = {
    "min_evidence":       2,      # slide 근거 최소 2건 (단일 출처 단정 방지)
    "min_distinct_slide": 2,      # 서로 다른 slide 2개 이상
    "sim_top1_min":       0.55,   # 현 기준선 0.5395 기반 보수 설정
    "sim_mean_min":       0.45,
    "citation_valid":     True,   # ★ 인용 slide가 evidence에 실재해야 함
    "single_lineage":     True,   # 계통 혼용 시 즉시 실패
    "min_content_len":    30,     # 스텁 배제
}

cited = extract_citations(state["draft"])
if not cited:
    fails.append("인용 누락")
elif not set(cited) <= {e["slide"] for e in ev}:
    fails.append("환각 인용: evidence 밖 slide 참조")

CREATE SCHEMA IF NOT EXISTS hermes;

CREATE TABLE hermes.saju_rag_evidence (
  id           bigserial PRIMARY KEY,
  run_id       uuid NOT NULL REFERENCES hermes.run(run_id) ON DELETE CASCADE,
  rank         smallint NOT NULL,
  source       text NOT NULL,
  slide        integer NOT NULL,
  lineage      text NOT NULL,
  score        numeric(6,5) NOT NULL,
  content_hash text NOT NULL,        -- 원문 SHA256 → 원본 변조 감지
  cited        boolean NOT NULL DEFAULT false,
  UNIQUE (run_id, rank)
);

-- 권한 분리 ★
CREATE ROLE hermes_agent LOGIN;
GRANT SELECT ON ALL TABLES IN SCHEMA public TO hermes_agent;   -- 읽기만
GRANT SELECT, INSERT ON ALL TABLES IN SCHEMA hermes TO hermes_agent;
-- UPDATE/DELETE 미부여 → audit 불변성 + 원본 파괴 물리적 불가