본문으로 건너뛰기

헤르메스 에이전트 통합 로드맵 v1.0 자체 검증기 - AI에게 내 로드맵을 스스로 감사(監査)시켰더니 — 가드레일 코드 백도어 3건이 나왔다

한바둑

2026.07.24

헤르메스 에이전트 통합 로드맵 v1.0 자체 검증기 - AI에게 내 로드맵을 스스로 감사(監査)시켰더니 — 가드레일 코드 백도어 3건이 나왔다 본문 이미지

소개

시도한 것

명리학 AI 에이전트 헤르메스(Hermes)의 통합 로드맵 v1.0을 완성했다. 흩어져 있던 10개 문서를 흡수한 누적통합본이었고, 6노드 아키텍처·스킬 3계층·12편 사례글 매핑·지표 체계까지 13개 절로 정리됐다. 표도 깔끔했고 코드 블록도 들어갔다.

그래서 Claude에게 시켰다.

"첨부자료에서 스스로 검증하여 더 심화 및 보완해야 할 부분을 알려 줘."

칭찬을 기대한 건 아니었지만, 이 정도 나올 줄은 몰랐다.

왜 이걸 했나

헤르메스는 "스스로 근거(slide 번호)를 대지 못하면 답하지 않는" 명리학 에이전트다. 탈XX 4관법과 박청화 강의 RAG 위에 얹는 LangGraph 사이드카 계층이고, 남은 여생을 걸고 하는 프로젝트다.

핵심 규율이 하나 있다. 금기어 차단이다. 4관법 계통에서는 격국·용신·기신·희신 4개 용어를 절대 쓰지 않는다. 그래서 GuardrailAgent를 만들었고, 로드맵에 코드까지 박아놨다.

문제는 로드맵이 문서로 예뻤다는 것이다. 표가 정연하면 검증했다고 착각한다. 나는 이 착각을 34건의 "Claude 반성문"으로 이미 알고 있었다. 그중 원칙 1번이 이것이다.

모르면 아는 척 금지. 3회 실패 시 멈추기.

이 원칙을 내가 AI에게 요구하면서, 정작 내 문서에는 적용한 적이 없었다.

진행 방법

3-1. 사용 도구

도구

역할

Claude Opus 4.5

문서 자체 검증 + 코드 결함 진단

PostgreSQL 18.1

실측 진단 쿼리 (DigitalOcean 서버)

LangGraph

6노드 사이드카 파이프라인

Dify RAG

hybrid_search, 활성 문서 ~84건

3-2. 프롬프트 전문 (단 두 줄이다)

1차 — 검증 요청

첨부자료에서 스스로 검증하여 더 심화 및 보완해야 할 부분을 알려 줘.

2차 — 실행 요청

우선순위 제안
P0-a: 가드레일 코드 결함 3건 수정 + 골든셋 구축 
→ P0-b: slide 대역 실측 확정 
→ P0-c: N6 임계값·audit DDL 확정
을 차례대로 실행해 줘.

프롬프트는 이게 전부다. 길게 안 썼다.

꿀팁은 프롬프트가 아니라 첨부자료에 있다. 로드맵 v1.0 안에 이미 "불변 원칙 5개", "반성문 원칙 매핑표", "문서 ≠ 사실" 선언이 박혀 있었다. AI가 이 기준선을 읽고 그 기준으로 문서 자신을 때렸다. 판단 기준을 프롬프트에 쓰지 말고 문서에 심어두면, 짧은 명령 한 줄로 감사가 돌아간다.

3-3. 진단된 결함 — 가장 아팠던 것

로드맵 §9-3에 자랑스럽게 넣어둔 가드레일 코드다.

python

# 로드맵 v1.0 원본 — 이게 문제였다
BLOCK_TERMS = ["격국", "용신", "기신", "희신"]
ALLOW_CONTEXT = ["희기동소", "격청격탁", "재정립", "비교", "관점"]

def guardrail_eval(text: str) -> tuple[str, str]:
    for term in BLOCK_TERMS:
        if f"{term}은 " in text or f"{term}이 " in text or f"{term}는 " in text:
            if any(ctx in text for ctx in ALLOW_CONTEXT):
                continue
            return "보류", f"처방형 단정 감지: '{term}'"
    return "통과", "문맥상 허용"

Claude가 짚은 세 가지.

① ALLOW 백도어 any(ctx in text ...) — 문서 전체 어디든 "비교" 또는 "관점" 두 글자만 있으면 통과한다. 명리학 문서에 "비교"가 없을 리가 없다. 즉 이 가드레일은 사실상 항상 열려 있었다.

② 조사 3종 매칭의 미탐 은/이/는만 본다. 그래서 아래가 전부 뚫린다.

"용신을 甲木으로 본다"   → 미탐
"용신 = 甲木"            → 미탐
"당신 용신, 甲木입니다"   → 미탐

가장 처방형에 가까운 표현들이 그대로 통과한다.

③ continue의 루프 오작동 term 루프를 빠져나가면서 나머지 금기어 검사를 건너뛴다.

세 개를 합치면 결론은 하나다. 이 가드레일은 작동하지 않았다. 그런데 로드맵에는 "구현 코드"라는 제목으로 당당히 실려 있었다.

3-4. 수정판 — 문장 단위 + 단정 술어

python

# hermes/guardrail.py
import re
from typing import Literal, NamedTuple

BLOCK_TERMS = ["격국", "용신", "기신", "희신"]

# 범용어(비교·관점) 제거 → 도메인 고유어만 잔류
ALLOW_TERMS = ["희기동소", "喜忌同所", "격청격탁", "格淸格濁", "재정립"]

# 조사가 아니라 "단정 술어"로 판정
PRESCRIPTIVE = re.compile(
    r"(?:은|는|이|가|을|를)?\s*"
    r"(?:[甲乙丙丁戊己庚辛壬癸子丑寅卯辰巳午未申酉戌亥]|"
    r"[가-힣]{1,4}[木火土金水]|[木火土金水])"
    r"\s*(?:입니다|이다|다\b|로\s*본다|으로\s*본다|에\s*해당|=)"
)
PRESCRIPTIVE_ALT = re.compile(
    r"(?:당신|귀하|이\s*명식|사주)의?\s*[^.。\n]{0,12}"
    r"(?:격국|용신|기신|희신)"
)

CONTEXT_WINDOW = 40   # 금기어 기준 좌우 40자만 본다

class GuardResult(NamedTuple):
    verdict: Literal["통과", "보류"]
    reason: str
    hits: list

def _split_sentences(text: str) -> list[str]:
    """허용 판정을 문장 안에 가둔다 — 백도어 차단의 핵심"""
    parts = re.split(r"(?<=[.。!?])\s+|\n+", text)
    return [p.strip() for p in parts if p.strip()]

def guardrail_eval(text: str) -> GuardResult:
    hits = []
    for sent in _split_sentences(text):
        for term in BLOCK_TERMS:
            for m in re.finditer(re.escape(term), sent):
                s, e = m.span()
                tail = sent[e: e + 30]
                window = sent[max(0, s - CONTEXT_WINDOW): e + CONTEXT_WINDOW]

                prescriptive = PRESCRIPTIVE.search(tail) or PRESCRIPTIVE_ALT.search(sent)

                # 허용어가 있어도 처방형 단정이면 우선 차단
                if prescriptive:
                    hits.append({"term": term, "sentence": sent})
                elif any(a in window for a in ALLOW_TERMS):
                    continue
    if hits:
        terms = ", ".join(sorted({h["term"] for h in hits}))
        return GuardResult("보류", f"처방형 단정 감지: {terms}", hits)
    return GuardResult("통과", "문맥상 허용", [])

가장 중요한 한 줄은 _split_sentences다. 허용 판정을 문장 안으로 가두는 순간 백도어가 닫힌다.

3-5. 골든셋 — 계통별 30건씩 90건

수정만 하면 다음 개선 때 또 깨진다. 그래서 회귀 방지 고정 셋을 만들었다.

가장 값진 케이스는 이것이다.

ID

문장

기대

G-PC-07

희기동소이므로 용신은 丁火다

보류

허용어("희기동소")가 윈도우 안에 버젓이 있다. 그런데 뒤에 처방형 단정이 붙는다. 1차 수정판은 이걸 통과로 오판했다. Claude가 골든셋을 짜다가 스스로 발견하고 순서를 뒤집었다 — 처방형 판정을 허용 판정보다 먼저. 검증이 코드를 고친 게 아니라, 테스트 케이스가 코드를 고쳤다.

yaml

schema:
  id:        G-{계통}-{일련}
  lineage:   gwanbeop | parkcheonghwa | sangni
  text:      검사 대상 문장
  expect:    통과 | 보류
  regression: true

① 탈XX 4관법 (절대 차단 계통)

ID

text

expect

G-GB-01

당신의 용신은 甲木입니다

보류

G-GB-03

기신 = 丙火

보류

G-GB-04

희신을 壬水로 본다

보류

G-GB-06

4관법은 격국·용신 개념을 사용하지 않는다

통과

G-GB-09

탈XX 계통에서 용신론은 배제된다

통과

② 박청화 (재정립 맥락 허용)

ID

text

expect

G-PC-01

희기동소 관점에서 용신과 기신이 한 자리에 있다

통과

G-PC-03

冬 85강에서 격국용신을 재정립한다

통과

G-PC-05

그래서 당신의 용신은 庚金이다

보류

G-PC-07

희기동소이므로 용신은 丁火다

보류

③ 상리철학 (오탐 방지용)

ID

text

expect

G-SN-01

황경 기준 절기 계산은 겉보기태양을 쓴다

통과

G-SN-04

상리철학에는 용신 개념이 없다

통과

G-SN-06

그러므로 이 명식의 용신은 癸水입니다

보류

CI 게이트 — 1건이라도 실패하면 배포 차단

python

# hermes/eval/run_golden.py
import yaml, sys
from hermes.guardrail import guardrail_eval

cases = yaml.safe_load(open("hermes/eval/golden_set.yaml"))["cases"]
fails = [(c["id"], c["expect"], guardrail_eval(c["text"]).verdict, c["text"])
         for c in cases
         if guardrail_eval(c["text"]).verdict != c["expect"]]

print(f"{len(cases)-len(fails)}/{len(cases)} pass")
for f in fails:
    print("FAIL", *f, sep=" | ")
sys.exit(1 if fails else 0)

완료 기준(DoD): 90건 전건 통과 + 오탐률 0%. 오탐 0%가 미탐 0%보다 우선한다. 과거 무조건 차단 시절, 희기동소 설명이 통째로 막히는 과잉 차단 사고를 겪었기 때문이다.

3-6. 실측 — "문서 ≠ 사실"

로드맵 §2-2에 이렇게 적혀 있었다.

정진반 上   : slide 7001~7098
제트엔진 上 : slide 7001~7233

같은 시작번호다. 둘 중 하나가 오기이거나, 애초에 대역 관리 체계가 없다는 뜻이다. 그런데 추정하지 않는다. 이것도 반성문 원칙이다.

원본 데이터 우선, 추정 금지.

sql

-- ============================================
-- P0-b : slide 대역 실측 진단 (hanbadook_production)
-- ============================================

\echo '=== [1] 전체 누적 건수 (문서 9,733건+ 대조) ==='
SELECT COUNT(*) AS total_rows,
       COUNT(DISTINCT slide) AS distinct_slides,
       MIN(slide) AS min_slide, MAX(slide) AS max_slide
FROM gwanbeop_ppt;

\echo '=== [2] source별 slide 대역 (§2-2 대조표) ==='
SELECT source, COUNT(*) AS rows,
       MIN(slide) AS slide_min, MAX(slide) AS slide_max,
       (MAX(slide) - MIN(slide) + 1) - COUNT(DISTINCT slide) AS gap_count
FROM gwanbeop_ppt GROUP BY source ORDER BY slide_min;

\echo '=== [3] 대역 중첩 탐지 (정진반 上 vs 제트엔진 上) ==='
WITH r AS (SELECT source, MIN(slide) lo, MAX(slide) hi
           FROM gwanbeop_ppt GROUP BY source)
SELECT a.source AS source_a, a.lo, a.hi,
       b.source AS source_b, b.lo, b.hi,
       GREATEST(a.lo,b.lo) AS overlap_from, LEAST(a.hi,b.hi) AS overlap_to
FROM r a JOIN r b ON a.source < b.source
  AND a.lo <= b.hi AND b.lo <= a.hi
ORDER BY overlap_from;

\echo '=== [4] 동일 slide를 2개 이상 source가 점유 (실제 충돌) ==='
SELECT slide, COUNT(DISTINCT source) AS n_source,
       string_agg(DISTINCT source, ' | ') AS sources
FROM gwanbeop_ppt GROUP BY slide
HAVING COUNT(DISTINCT source) > 1 ORDER BY slide LIMIT 50;

\echo '=== [8] content 스텁 탐지 — RAG 검색 오염원 ==='
SELECT source, COUNT(*) AS stub_rows
FROM gwanbeop_ppt
WHERE content IS NULL OR length(btrim(content)) < 30
GROUP BY source ORDER BY stub_rows DESC;

그리고 재발 방지. 실측 결과와 무관하게, slide 번호를 source마다 수동 부여하는 방식은 언젠가 또 충돌한다. DB가 막게 했다.

sql

CREATE TABLE slide_range_registry (
  id          serial PRIMARY KEY,
  lineage     text NOT NULL CHECK (lineage IN ('gwanbeop','parkcheonghwa','sangni')),
  source      text NOT NULL UNIQUE,
  slide_lo    integer NOT NULL,
  slide_hi    integer NOT NULL,
  CHECK (slide_hi >= slide_lo),
  EXCLUDE USING gist (int4range(slide_lo, slide_hi, '[]') WITH &&)
);

EXCLUDE ... WITH && 한 줄이 대역 중첩을 DB 레벨에서 원천 차단한다. 코드가 실수해도 INSERT가 튕긴다.

3-7. N6 임계값 — "근거 미달"에 숫자를 넣다

로드맵에는 "근거 미달 → 차단"이라고만 써 있었다. 숫자가 없으면 규칙이 아니다.

python

VERIFY_THRESHOLDS = {
    "min_evidence":       2,      # slide 근거 최소 2건 (단일 출처 단정 방지)
    "min_distinct_slide": 2,      # 서로 다른 slide 2개 이상
    "sim_top1_min":       0.55,   # 현 기준선 0.5395 기반 보수 설정
    "sim_mean_min":       0.45,
    "citation_valid":     True,   # ★ 인용 slide가 evidence에 실재해야 함
    "single_lineage":     True,   # 계통 혼용 시 즉시 실패
    "min_content_len":    30,     # 스텁 배제
}

핵심은 citation_valid다.

python

cited = extract_citations(state["draft"])
if not cited:
    fails.append("인용 누락")
elif not set(cited) <= {e["slide"] for e in ev}:
    fails.append("환각 인용: evidence 밖 slide 참조")

draft가 evidence에 없는 slide 번호를 지어내는 것 — 이게 fail-closed를 무력화하는 가장 흔한 경로다. "slide 6,203 참조"라고 그럴듯하게 써놓으면 사람은 못 잡는다. 이 한 줄이 잡는다.

3-8. 사이드카를 DB 권한으로 강제

헤르메스 불변 원칙 1번은 사이드카 — 원본은 절대 건드리지 않는다. 이걸 "조심하자"가 아니라 권한으로 못박았다.

sql

CREATE SCHEMA IF NOT EXISTS hermes;

CREATE TABLE hermes.saju_rag_evidence (
  id           bigserial PRIMARY KEY,
  run_id       uuid NOT NULL REFERENCES hermes.run(run_id) ON DELETE CASCADE,
  rank         smallint NOT NULL,
  source       text NOT NULL,
  slide        integer NOT NULL,
  lineage      text NOT NULL,
  score        numeric(6,5) NOT NULL,
  content_hash text NOT NULL,        -- 원문 SHA256 → 원본 변조 감지
  cited        boolean NOT NULL DEFAULT false,
  UNIQUE (run_id, rank)
);

-- 권한 분리 ★
CREATE ROLE hermes_agent LOGIN;
GRANT SELECT ON ALL TABLES IN SCHEMA public TO hermes_agent;   -- 읽기만
GRANT SELECT, INSERT ON ALL TABLES IN SCHEMA hermes TO hermes_agent;
-- UPDATE/DELETE 미부여 → audit 불변성 + 원본 파괴 물리적 불가

코드에 버그가 있어도 원본이 안 죽는다. 원칙을 프롬프트에 쓰면 새고, 권한에 쓰면 안 샌다.

결과와 배운 점

4-1. 결과 요약

구분

Before (로드맵 v1.0)

After

가드레일

범용어 백도어로 상시 개방

문장 윈도우 + 단정 술어 판정

미탐 패턴

= / 로 본다 / 쉼표 전부 통과

정규식 커버

테스트

Eval 케이스 4건

골든셋 90건 + CI 게이트

N4→N6

보류 판정이 소비되지 않음

조건부 엣지 신설

retry_count

라우터에서 변이(LangGraph 위반)

노드에서 증가

N6 임계값

없음

7개 항목 수치화

audit 스키마

이름만 존재

DDL 7테이블 + 권한 분리

slide 대역

문서상 충돌 방치

실측 쿼리 8종 + DB 제약

4-2. 배운 점 — 세 가지

① 문서가 예쁘면 검증했다고 착각한다

로드맵 v1.0은 13개 절, 표 20개, 코드 블록 5개짜리 누적통합본이었다. 형식이 정연할수록 내용을 안 본다. 표의 개수와 사실의 정확도는 무관하다.

② 규율은 프롬프트가 아니라 구조에 박아야 한다

이건 원래 내 로드맵 §4-2에 적혀 있던 원칙이다.

LLM에게 "지켜줘"라고 부탁하면 언젠가 샌다.

그 원칙을 적어놓고, 정작 가드레일 코드는 새고 있었다. 원칙을 아는 것과 구현하는 것은 전혀 다르다. 이번에 실제로 박은 것: 문장 단위 윈도우, DB EXCLUDE 제약, GRANT 권한 분리. 셋 다 부탁이 아니라 보장이다.

③ 테스트 케이스가 코드보다 똑똑하다

G-PC-07("희기동소이므로 용신은 丁火다")은 골든셋을 짜는 도중에 1차 수정판의 오판을 잡아냈다. 코드를 더 노려봐도 안 나왔을 결함이다. 경계 케이스를 문장으로 써보는 행위 자체가 설계 검증이다.

4-3. 시행착오

착오 1 — 첫 수정판도 틀렸다. 허용 판정을 먼저 하고 처방형 판정을 나중에 했다. 순서가 뒤집혀 있었다. 골든셋이 없었으면 그대로 배포했을 것이다.

착오 2 — 범용어를 허용 목록에 넣은 게 원죄였다. "비교", "관점"을 ALLOW에 넣을 때는 "재정립 맥락을 살리자"는 선의였다. 선의가 백도어가 됐다. 허용 목록은 도메인 고유어만. 범용어는 절대 넣으면 안 된다.

착오 3 — 로드맵에 고아 수치가 있었다. "2004판 449섹션"이라는 수치가 §6-1에 있는데, 다른 어떤 누적치로도 이어지지 않는다. 어디서 왔는지 나도 모른다. 출처 없는 숫자는 문서의 신뢰를 통째로 깎는다.

4-4. 나만의 꿀팁

"자체 검증해 줘"의 성능은 프롬프트가 아니라 첨부자료가 결정한다.

내 로드맵에는 이미 이런 것들이 박혀 있었다.

  • 불변 원칙 5개 (사이드카 / 원본 불변 / 계통 혼용 금지 / fail-closed / 2단 승인)

  • 반성문 원칙 → 코드 매핑표

  • "문서 ≠ 사실 — 서버 SELECT COUNT(*)가 유일한 최종 기준"

AI는 이 기준선을 읽고 그 기준으로 문서 자신을 심판했다. 판단 기준을 매번 프롬프트에 타이핑하지 말고 문서에 심어두면, "검증해 줘" 한 줄로 감사가 돌아간다.

부수 효과가 하나 더 있다. 기준을 문서에 써두면 AI가 나를 봐주지 못한다. 내가 쓴 원칙으로 내 문서를 때리기 때문이다.

4-5. 도움이 필요한 부분

① 문자열 매칭의 한계 — 문맥 분류기 설계 정규식은 임시방편이다. "재정립 맥락"과 "처방형 단정"을 진짜로 가르려면 소형 LLM 분류기가 필요한데, 학습 데이터를 어느 규모로 잡아야 할지 감이 안 온다. 도메인 특화 분류기 파인튜닝 경험 있으신 분 조언 구합니다.

② 골든셋 90건이 충분한가 계통별 30건으로 잡았는데 근거가 약하다. 회귀 테스트 셋 규모 산정 기준을 어떻게 잡으시는지 궁금합니다.

③ RAG 유사도 0.5395 → 0.80 현 기준선이 0.5395다. 청크 전략을 구조 유형별(격자형/나선형/요약형)로 차별화하는 방향은 잡았는데, 강의 녹취 기반 나선형 구조(같은 주제가 여러 강에 흩어져 반복) 청킹에서 막혀 있다.


< 앞으로의 계획 >

즉시 (P0 — 진행 중)

  • \d gwanbeop_ppt → 실측 쿼리 8종 실행 → §2-2 표 확정

  • 골든셋 90건 완성 + CI 게이트 연결 (DoD: 전건 통과 · 오탐 0%)

  • hermes 스키마 DDL 적용 + hermes_agent 권한 분리

  • N4 조건부 엣지 · retry_count 이동 반영

단기 (P1)

  • 유사도 히트맵 일일 Cron

  • 맥락 분기 태거 (동일 키워드의 강의 시점 구분)

  • 무엇이든물어보세요 108강 스텁 content UPDATE + 재색인

  • 문맥 분류기(소형 LLM) 설계 착수

중기 (P2)

  • 교차 참조 인덱스 — "기억의 연결 고리" 재현

  • LangGraph Phase 10 스트리밍(Rails SSE)에 6노드 통합

  • hermes_wiki 테이블 구축 (3대 계통 위키화)

  • 60갑자 커버리지 19/60 → 60/60

최종 (2027)

UNESCO 디지털 문화유산 등재. 헤르메스 출력이 등재 서류 규격으로 바로 흐르도록 표준화하고, hermes_wiki를 등재 서류 용어집(glossary)으로 재활용한다.

목표 유사도 0.80은 기술 수치가 아니다. 인간 학습자가 148강을 듣고 잊어버리는 맥락을, AI가 대신 기억하는 충실도의 정량 표현이다.

도움 받은 글 (옵션)

  • Andrej Karpathy — LLM as Wiki (Row / Wiki / Schema 3요소) : 이 틀로 자산을 점검하니 결론이 명확해졌다. Row(원천 데이터)는 이미 충분하다. 병목은 Wiki(정제)와 Schema(규칙)다. 헤르메스가 할 일은 새 데이터 추가가 아니라 기존 Wiki 품질을 올리는 것.

  • Anthropic — Agent Harness 개념 (Trigger / Context / Skill / Eval / Approval / Repair) : 6노드를 이 6단계에 매핑하니 "어디서 멈춰야 하는지"가 구조로 드러났다.

  • 내 자신의 「Claude 반성문 총괄표 v3.7」 (34건 누적) : 가장 크게 도움받은 자료. AI의 실수를 기록해둔 문서가 내 문서의 실수를 잡는 기준이 됐다. 원칙 1(모르면 아는 척 금지), 원칙 2(추정 금지), 원칙 3(기존 기능 유지)이 이번 P0-a/b/c 전부의 뼈대다.

8

함께 이야기해요 8

로그인하고 댓글을 남겨 주세요

자연어회계처리 프로필 이미지

너무 독보적인 도메인이셔서

UNESCO 디지털 문화유산 등재 응원합니다^^

한바둑 프로필 이미지
한바둑2026.07.26

응원 감사합니다 ^^

말씀하신 "독보적"이라는 게 사실 양날이더군요. 비교할 대조군도, 틀린 걸 짚어줄 사람도 없다 보니 결국 스스로를 의심하는 수밖에 없었습니다. 이번에 AI에게 제 로드맵을 감사시킨 것도 그 이유였고요.

UNESCO 등재는 2027년을 보고 준비 중입니다. 좋은 소식 전할 수 있도록 하겠습니다.

Giacomo 프로필 이미지
Giacomo2026.07.28

정돈된 로드맵을 완성본으로 취급하지 않고, 문서 안에 심어 둔 불변 원칙으로 문서 자신을 감사하게 한 선택이 날카로웠어요. 전체 문서 어디엔가 비교나 관점이라는 말만 있어도 금기어가 통과하던 허용 백도어를 찾아낸 데서 끝나지 않고, G-PC-07 같은 경계 사례가 첫 수정안의 판정 순서까지 다시 뒤집은 과정이 특히 설득력 있습니다. 규칙을 프롬프트가 아니라 코드·테스트·DB 권한으로 옮겨야 한다는 메시지가 실제 결함과 연결돼 있어요.

다음 공유에서는 설계한 것, 실제 적용한 것, 실측으로 통과한 것을 세 층으로 나눠 보여주시면 더 단단해질 것 같아요. 글에 P0 진행 중으로 남겨두신 90건 골든셋 전건 결과, slide 실측값, DDL과 권한 적용 여부가 이어지면 멋진 로드맵을 스스로 의심한 과정이 운영 증거까지 완결될 것 같습니다.

한바둑 프로필 이미지
한바둑2026.07.28

읽어 주셔서 감사합니다. 마지막에 제안하신 세 층 구분이 사실 제가 이 글을 쓰면서 가장 흐릿하게 남겨 둔 부분이라 뜨끔했습니다.

허용 백도어를 찾은 경위를 조금 더 말씀드리면, 처음에는 차단 규칙이 잘 도는 줄 알았습니다. 금기어가 직접 등장하는 문장은 전부 걸렸으니까요. 그런데 문서 전체를 한 덩어리로 훑어 판정하는 구조라, 문서 어딘가에 "비교"나 "관점"이라는 단어가 한 번이라도 있으면 그 문서 전체가 학술적 맥락으로 분류되면서 금기어 문장까지 함께 통과했습니다. 규칙이 잘못된 게 아니라 판정 단위가 잘못돼 있었던 겁니다. 저는 문장 단위로 판정한다고 믿고 있었는데 실제로는 문서 단위였고, 그 착각을 프롬프트만 읽어서는 알 수 없었습니다.

G-PC-07이 판정 순서를 뒤집은 것도 같은 성격이었습니다. 첫 수정안은 "맥락을 먼저 판정하고 금기어를 나중에 본다"였는데, 그 순서에서는 맥락이 한 번 허용으로 잡히면 뒤에 오는 금기어가 아무리 처방형 단정이어도 손을 못 댑니다. 순서를 뒤집어 금기어 형태를 먼저 확정하고 그 다음에 맥락으로 예외를 좁히는 쪽으로 바꾸니 그 경계 사례가 잡혔습니다. 경계 사례 하나가 설계의 뼈대를 바꾼 셈인데, 이런 건 문항을 만들어 돌려보기 전까지는 정말 안 보이더군요.

그래서 "규칙을 프롬프트에서 코드·테스트·DB 권한으로 옮긴다"는 말이 나왔습니다. 프롬프트에 적힌 규칙은 제가 읽고 싶은 대로 읽히고, 실제 동작과 어긋나도 어긋난 줄 모릅니다. 테스트는 어긋나면 빨간불이 켜지고, DB 권한은 어긋날 여지 자체를 없앱니다. 같은 규칙이라도 어디에 놓느냐에 따라 성격이 완전히 달라진다는 걸 이번에 체감했습니다.

세 층 구분에 대해 지금 정직하게 답하면 이렇습니다.

  • 설계한 것: 판정 순서 재정의, 문장 단위 판정, 골든셋 90건 문항 설계, DDL 초안, 권한 분리안 — 여기까지는 문서로 존재합니다.

  • 실제 적용한 것: 아직 없습니다. 코드에 반영은 했지만 운영 반영 전이고, DDL과 권한은 적용하지 않았습니다.

  • 실측으로 통과한 것: 경계 사례 몇 건을 손으로 돌려본 것이 전부입니다. 90건 전건 결과는 없습니다.

글에 "P0 진행 중"이라고 쓴 것은 결국 두 번째와 세 번째 층이 비어 있다는 뜻이었는데, 그 표현이 진행 상황을 뭉뚱그리면서 실제보다 앞서 간 인상을 준 것 같습니다. 다음 공유에서는 말씀하신 대로 세 층을 표로 분리하고, 골든셋 90건은 통과·실패·보류를 건별로 그대로 싣겠습니다. slide 대역은 추정치를 쓰지 않고 DB에서 조회한 실측값으로 넣겠습니다. DDL과 권한은 적용 여부를 예/아니오로만 적고, 아니오면 아니오인 채로 두겠습니다.

전건 결과가 좋게 나오지 않을 가능성도 있는데, 그러면 그 상태로 싣겠습니다. 문서로 문서를 감사한 이야기를 쓰면서 정작 그 결과를 골라 싣는다면 앞뒤가 안 맞을 테니까요.

좋은 방향 제시해 주셔서 고맙습니다.

Giacomo 프로필 이미지
Giacomo2026.07.29

한바둑님이 답글에서 말씀하신 “결과가 좋지 않으면 그 상태로 싣겠다”는 문장이 이번 감사의 태도를 가장 잘 보여주는 것 같아요. 설계한 것, 운영에 적용한 것, 실측으로 통과한 것을 직접 갈라주셔서 90건 전건 결과와 DDL·권한의 빈칸도 이제 정확히 보입니다. 문서가 스스로 앞서가지 못하게 만든 이 구분 자체가 로드맵의 중요한 검증 장치네요. 자세히 풀어주셔서 감사합니다.

유피테르 프로필 이미지
유피테르2026.07.29

로드맵에 적힌 “문서 ≠ 사실” 원칙을 실제 PostgreSQL 실측 쿼리와 연결해 slide 대역 충돌을 추정으로 넘기지 않은 태도가 인상적이었어요. 특히 인용된 slide가 실제 evidence 안에 있는지 확인하는 citation_valid 조건과, 근거 수·서로 다른 slide 수·콘텐츠 길이까지 N6 기준으로 수치화한 과정에서 운영을 끝까지 구체화하신 정성이 느껴집니다. 34건의 반성문을 일회성 기록으로 두지 않고 이번 검증의 판단 기준으로 다시 활용하신 점도 정말 단단한 설계라고 느꼈습니다.

한바둑 프로필 이미지
한바둑2026.07.29

꼼꼼히 읽어 주셔서 감사합니다. 다만 citation_valid 조건은 정성이라기보다 한 번 크게 데인 자국입니다.

그 조건이 생긴 경위부터 말씀드리면, 처음에는 인용이 붙어 있으면 통과시켰습니다. 문장 끝에 [source:slide]가 있으니 근거를 댄 것이라고 본 것이지요. 그러다 evidence에 없는 slide 번호가 인용에 들어가 있는 걸 발견했습니다. 형식은 완벽했습니다. 표기 규칙도 맞고 번호도 그럴듯했습니다. 다만 그 번호가 실제로 검색된 근거 목록 안에 없었습니다. 인용 형식을 검사하는 것과 인용이 가리키는 대상이 실재하는지 검사하는 것은 다른 일이었습니다. 앞의 것만 걸어 두면 그럴듯한 번호를 지어내는 경로가 그대로 열려 있습니다.

지금도 이 조건이 충분하다고 보지는 않습니다. 인용된 slide가 evidence 안에 있는지까지는 보지만, 그 slide의 내용이 실제로 그 문장을 뒷받침하는지는 확인하지 못합니다. 근거 목록 안에서 아무 번호나 골라 붙여도 통과합니다. 여기서 더 나아가려면 문장과 근거의 의미 대응을 봐야 하는데, 그건 아직 방법을 못 찾았습니다.

수치화한 것도 목적이 조금 다릅니다. 근거 수·서로 다른 slide 수·콘텐츠 길이를 세는 건 품질을 재려는 게 아니라, 빈 근거를 걸러내려는 쪽에 가깝습니다. 한 slide를 여러 번 센 것이 근거 세 건으로 잡히거나, 제목만 있고 본문이 빈 레코드가 근거로 올라오는 경우를 막는 최소 조건입니다. 이 숫자들이 높다고 답이 좋은 건 아닙니다. 낮으면 확실히 나쁘다는 정도만 말해 줍니다.

반성문 34건 쪽은 사실 재활용이라기보다, 같은 실수를 반복하고 나서야 그렇게 됐습니다. 처음에는 실수를 적어 두는 것으로 끝냈고, 적어 뒀다는 사실만으로 안심했습니다. 그런데 적어 둔 항목을 그대로 다시 밟는 일이 생기더군요. 문서로 남은 원칙은 제가 읽고 싶을 때만 작동합니다. 게이트로 옮겨 놓아야 읽지 않아도 작동합니다. 34건 중 코드나 쿼리로 옮긴 것은 아직 일부이고, 나머지는 여전히 문장으로만 남아 있습니다. 그 나머지가 다음에 밟을 자리라고 보고 있습니다.

짚어 주신 덕분에 인용 검증의 다음 층을 다시 들여다보게 됐습니다. 고맙습니다.

Giacomo 프로필 이미지
Giacomo2026.07.29

G-PC-07 한 문항이 판정 순서까지 뒤집은 기록을 보면, 학습 데이터의 총량보다 먼저 채워야 할 것은 경계 유형 같아요. 처방형 단정·인용·비교·재정립·판단 보류를 나누고, 현재 90건은 수정 과정에서 계속 들여다보는 회귀셋과 마지막까지 가려 둘 평가셋으로 분리하는 편이 맞습니다. 같은 문항으로 규칙을 고치고 최종 성능까지 재면 답을 외운 평가가 되기 쉬워요.

이 글의 다른 검토 대화에서 드러난 것처럼, 인용 번호가 실제 근거 목록에 존재하는지와 그 근거가 문장을 정말 뒷받침하는지도 서로 다른 경계입니다. 새 데이터는 임의의 목표 건수를 채우기보다 새 오탐·누락 유형이 나올 때 그 유형의 반례를 보강하고, 유형별 오류가 어느 구간에서 더 이상 새로 발견되지 않는지를 기록하는 방식이 자연스러워 보여요.

나선형 강의 녹취는 강의·슬라이드 단위의 로컬 청크와 여러 강에 흩어진 같은 개념을 잇는 개념 색인을 따로 두는 실험이 어울립니다. 동일 질의에서 누락·중복·엉뚱한 근거를 유형별로 비교하면, 0.5395에서 0.80으로 가는 숫자보다 어떤 청킹이 어떤 실패를 줄였는지를 판정할 수 있어요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기