본문으로 건너뛰기

헤르메스 3단계 — 계통별 RAG 검색 Skill(N3) 부제: 스텁 배제 + slide 근거 강제 회수 (판단층 스킬)

한바둑

2026.07.27

소개

2-1. 환각을 막는 것은 더 좋은 프롬프트가 아니다

LLM 환각 대책으로 흔히 "프롬프트에 지어내지 말라고 쓰라"고 합니다. 해 봤습니다. 효과가 없었습니다. 모델은 지어내려고 지어내는 게 아니라, 줄 근거가 없으니 채워 넣는 것입니다.

근본 대책은 하나뿐입니다. 근거를 실제로 물어다 주는 것. 그리고 물어 온 근거가 어디서 왔는지를 번호로 남기는 것. N3의 일은 여기까지입니다. 해석은 하지 않습니다.

이 프로젝트에서 그 번호가 source + slide_number입니다. 예를 들어 "박청화_제트엔진_中 #7250"처럼 특정되면, 나중에 누구든 원문을 열어 대조할 수 있습니다. 재현성은 이 한 줄에서 시작합니다.

2-2. 스텁 — 있는데 없는 데이터

N3를 만들면서 만난 가장 특이한 문제입니다.

2026년 6월말~7월초 세션에서 「무엇이든물어보세요」 1~6편 108강을 등재했습니다. 다만 강 제목과 메타데이터만 채운 뼈대(스텁) 등재였습니다.

항목

값

source

박청화_무엇이든물어보세요

강 구성

1편 1 · 2편 30 · 3편 24 · 4편 28 · 5편 10 · 6편 15 = 108강

slide 대역

9950~10057 (108개 연속)

content

전부 빈 값 E''

후속 과제

content 채우기(UPDATE) — 우선순위 높

로드맵 문서에 이렇게 적어 두었습니다.

⚠️ 레코드 수는 +108이나 지식은 미추가. UPDATE 전까지 RAG 검색에 기여하지 않는다.

문제는 "검색에 기여하지 않는다"가 자동으로 보장되지 않는다는 점입니다. 레코드는 존재하고 제목도 있습니다. 검색기는 제목만 보고 이 108건을 상위로 올릴 수 있고, 그러면 N4는 본문이 빈 근거 8건을 받습니다. 결과는 "자료를 찾았으나 내용이 없어…"가 아니라, 대개 그럴듯한 일반론입니다.

스텁은 오답보다 위험합니다. 오답은 틀린 것을 보여주지만, 스텁은 아무것도 안 보여주면서 "찾았다"는 신호만 보냅니다.

2-3. 4계열 구분 — 건수와 지식은 다르다

이 문제를 겪고 나서 등재 작업을 4계열로 나눠 관리하고 있습니다.

계열

성격

DB/RAG 영향

A

RAG/gwanbeop_ppt 신규 등재

증가

B

원본 스캔·복원 / 전사본 병합

무변동

C

STT/OCR 오류 교정

무변동

D

요약본·학습자료 편집

무변동

그리고 A계열 안에서도 다시 나뉩니다. 6월말~7월초 A계열 증분은 +557건이지만 실질 지식은 +449건입니다. 차이 108이 스텁입니다.

N3는 이 구분을 알아야 합니다. "몇 건 찾았는가"가 아니라 "쓸 수 있는 근거를 몇 건 찾았는가"를 세야 하기 때문입니다.

진행 방법

3-1. 사용 도구와 역할 분담

초안에서는 Dify hybrid_search와 PostgreSQL 직접 조회가 함께 등장했는데, 둘의 역할이 명시돼 있지 않았습니다. 섞이면 어느 쪽이 근거의 정본인지 알 수 없어집니다. 다음과 같이 나눴습니다.

단계

도구

역할

1차 회수

Dify RAG (hybrid_search)

의미 기반 후보 회수 — "어디쯤 있는가"

2차 확정

PostgreSQL gwanbeop_ppt

근거 정본 확보 — 스텁 배제, source 검증, 원문 텍스트

보완

PostgreSQL 단독

1차가 0건일 때 계통 내 직접 조회

PostgreSQL을 정본으로 삼는 이유는 세 가지입니다. ①Dify 청크는 분할 결과물이라 원문 경계와 다를 수 있고 ②slide_number가 청크 메타에 확실히 실려 있는지 미확인이며 ③계통 필터를 source 컬럼으로 확정적으로 걸 수 있습니다.

DB에 데이터가 있으므로 파일 업로드 요청 없이 직접 조회합니다.

3-2. 검색 쿼리 — 초안 수정본

sql

-- N3 근거 회수: 계통 필터 + 스텁 배제 + (source, slide_number) 복합 인용
SELECT source,
       slide_number,                       -- ★ 초안 'slide' → 실제 컬럼명
       lecture_source,
       title,
       content,
       char_length(content) AS len
  FROM gwanbeop_ppt
 WHERE source = ANY(:lineage_sources)      -- N2가 넘긴 계통
   AND content IS NOT NULL
   AND char_length(btrim(content)) >= :min_len   -- 스텁 + 공백만 있는 행 배제
 ORDER BY <랭킹식>                          -- §3-3 참조
 LIMIT :quota;

초안에서 바꾼 3가지.

  1. slide → slide_number. 로드맵 문서의 검증 쿼리들이 일관되게 slide_number를 쓰고 있습니다. 컬럼명 추측은 반성문 제27·30호에서 두 번 반복한 실수라, 문서 실측 기준으로 고쳤습니다.

  2. char_length(content) > 0 → char_length(btrim(content)) >= :min_len. 빈 문자열은 걸러지지만 공백·개행만 든 행은 통과합니다. btrim으로 감싸고 최소 길이 임계를 파라미터로 뺐습니다. (임계값 자체는 §8 확인 항목입니다.)

  3. LIMIT 8 고정 → :quota. N2가 단계별 계통 배정을 넘기므로, 단계별로 쿼터를 나눠 씁니다.

3-3. 랭킹식을 확정하지 못한 이유

초안은 이렇게 썼습니다.

sql

ORDER BY ts_rank(search_vector, plainto_tsquery(:q)) DESC

이 줄을 그대로 쓰지 않았습니다. 확인되지 않은 전제가 둘 있습니다.

① search_vector 컬럼이 실제로 있는가. 로드맵 문서들의 검증 쿼리에서는 이 컬럼이 한 번도 등장하지 않습니다. 있다고 가정하고 쓰면 실행 시점에 에러입니다.

② PostgreSQL 기본 전문검색이 한국어에서 작동하는가. 이쪽이 더 중요합니다. 기본 파서는 한국어 형태소 분석을 하지 않습니다. plainto_tsquery('재성이 없는 사주')는 조사가 붙은 토큰을 그대로 만들어, 본문의 "재성"과 매칭되지 않을 수 있습니다. 즉 쿼리는 에러 없이 실행되지만 결과가 조용히 부실해집니다. 스텁과 같은 유형의 실패입니다.

그래서 랭킹식은 확정하지 않고, 세 안을 두고 실측 후 결정하기로 했습니다.

안

방식

선결 조건

A

Dify 시맨틱 점수를 그대로 순위로 사용, PostgreSQL은 정본 조회만

Dify 결과에 slide 식별자 존재 확인

B

pg_bigm 등 n-gram 확장으로 한국어 부분일치

서버 확장 설치 가능 여부

C

ILIKE 다중 키워드 + 가중치 수동 계산

확장 불필요, 정밀도 낮음

현재는 A를 1순위로 보고 있습니다. 모르는 것을 안다고 쓰지 않는 것이 판단층 스킬의 첫 조건이라, 여기서 멈췄습니다.

3-4. Skill 명세 (6요소)

yaml

# skill_n3_search_evidence.yaml
name: 계통별 RAG 검색
layer: 판단
node: N3
version: 0.3.0

사용조건: 라우팅(N2)이 status=ROUTED로 끝난 직후
negative_trigger:
  - 회수한 근거를 해석하거나 요약하지 않는다 (N4~N5의 몫)
  - N2가 ASK/HELD로 끝났으면 실행하지 않는다

입력: {question, lineage_plan, qtype}
출력형식:
  evidence: [{source, slide_number, lecture_source, title, text, stage, score}]
  recall: {stage별 회수 건수}
  rs: 0.0~1.0                      # 요구 단계 중 근거 확보한 비율
  status: OK | RETRY | HELD
  reason: 사유 문장

작업순서:
  1. lineage_plan → 단계별 source 목록 매핑
  2. 단계별 쿼터 배분 후 1차 회수 (Dify)
  3. PostgreSQL로 정본 확보 + 스텁 배제 + source 재검증
  4. [{source, slide_number, text, stage}] 로 정규화
  5. 계통 위반 검사 — 배정되지 않은 source가 섞였으면 즉시 제거
  6. 근거 0건 단계가 있으면 쿼리 변형 후 재검색 (최대 2회)
  7. 재시도 후에도 0건이면 HELD 반환                # 근거불충분 탈출구

주의사항:
  - 배정되지 않은 계통 source를 절대 포함하지 않는다
  - 인용은 slide_number 단독이 아니라 (source, slide_number) 쌍으로 한다
  - 회수 실패를 채워 넣지 않는다 — 보류는 정상 결과다
  - 재검색은 무한히 돌리지 않는다 (3회 실패 시 멈추기)

완료기준:
  - status=OK이면 요구 단계마다 최소 1건의 (source, slide_number) 근거 확보
  - status=HELD이면 어느 단계가 왜 비었는지 reason에 남아 있음

3-5. 재검색 루프에 종료 조건을 넣은 이유

초안은 "근거 0건이면 재검색 신호 반환"까지였습니다. 신호를 받은 쪽이 몇 번까지 다시 시도할지가 없습니다.

반성문 총괄표에서 가장 여러 번 반복된 실수가 "3회 실패해도 멈추지 않은 것"입니다(제1-2호, 제21호, 제33호에서 9회 연속 시도). 사람이 그랬는데 자동 루프가 안 그럴 이유가 없습니다.

python

MAX_RETRY = 2          # 최초 1회 + 재시도 2회 = 총 3회

def search_with_retry(plan, question):
    variants = [question,
                strip_particles(question),        # 조사 제거
                expand_synonyms(question)]        # 계통 용어 사전 확장
    for i, q in enumerate(variants[:MAX_RETRY + 1]):
        ev = search_once(plan, q)
        if all_stages_covered(ev, plan):
            return {"status": "OK", "evidence": ev, "attempt": i + 1}
    # 3회 시도 후 — 있는 만큼만 넘기고 나머지는 보류로 선언
    missing = uncovered_stages(ev, plan)
    return {"status": "HELD", "evidence": ev, "held_stages": missing,
            "reason": f"{MAX_RETRY + 1}회 시도 후 {missing} 단계 근거 미확보"}

보류를 실패로 세지 않습니다. 회수가 부족할 때 억지로 채우면 환각이 됩니다. 보류 기록은 그대로 개선 지도가 됩니다. 어느 단계가 자주 비는지 집계하면 다음에 무엇을 등재해야 하는지가 나옵니다.

3-6. N3의 성능은 두 지표로 나눠 잰다

"검색이 잘 되나"를 한 숫자로 재면 원인을 못 찾습니다. 근거가 적을 때 이유가 둘이기 때문입니다.

근거 부족 ─┬─ 검색이 못 찾음        (RAG 문제 → N3 책임)
           └─ 찾았는데 안 씀        (합성 문제 → N4~N5 책임)

그래서 분리합니다.

지표

산식

무엇을 재는가

현 목표

RS (회수 충분도)

근거 1건 이상 확보한 요구 단계 ÷ 요구 단계 수

N3 성능

≥ 0.6

EU (근거 활용도)

초안에 인용된 고유 slide ÷ 회수된 고유 slide

합성 성능

≥ 0.7

N3가 책임지는 것은 RS입니다. EU가 낮으면 그건 N3 잘못이 아닙니다. 이 분리가 있어야 "검색을 고칠지 합성을 고칠지"를 다투지 않습니다.

(이미지 자리 — 검색 결과 slide 목록 + 스텁 배제 전후 비교)


3-7. Hermes native 구조와 회귀 검증 설계

W1 확장과제의 전환 절차를 N3에도 적용했습니다. 다만 이 편에서 더 중요한 것은 구조가 아니라 회귀 검증입니다. 이유는 아래 §3-8에 적었습니다.

Source-rights 판정. learner-owned → verdict allowed. 배포 스킬(w1-*)과 무관합니다.

Compatibility Audit 6항목.

감사 항목

상태

근거

frontmatter / routing

needs_change

metadata.hermes.routing 블록 없음

support folder

needs_change

SQL·배제 규칙·출력 형식이 한 파일에 뭉침

invocation triple

needs_change

자연어 트리거만

output / verifier / failure

compatible

status 3종(OK/RETRY/HELD) + held_stages 존재

private path · secret

needs_change

DB 접속 정보가 스킬 본문에 들어가면 안 됨 — 환경변수로 분리 필요

Tool/command · discovery · apply

not_checked

Hermes 미설치, DB 접속 미확인

다섯 번째 항목이 앞의 두 편과 다릅니다. N1·N2는 비밀정보가 없어 compatible이었지만, N3는 PostgreSQL과 Dify에 붙습니다. 접속 문자열·API 키가 scripts/ 안에 들어가면 스킬을 공유하는 순간 유출됩니다.

python

# scripts/search_evidence.py — 금지 / 권장
# ✗ DSN = "postgresql://user:[email protected]/hanbadook_production"
# ✓ DSN = os.environ["HANBADOOK_DSN"]      # 값은 스킬 밖에서 주입

support folder 3분할.

text

n3-evidence-search-candidate/
├─ SKILL.md                             # routing frontmatter + 얇은 본문
├─ references/stub-exclusion-rules.md   # 스텁 정의·4계열 구분·계통 위반 검사 규칙
├─ templates/evidence-format.md         # (source, slide_number) 복합 인용 형식
└─ scripts/search_evidence.py           # 결정적 처리 — 쿼리 실행·스텁 배제·정규화

결정적/비결정적 분리. 확장과제의 "결정적 반복 실행은 scripts로" 규약을 따르되, 이 편에서는 경계가 셋으로 나뉩니다.

처리

담당

결정적인가

스텁 배제 · 계통 위반 검사 · 정규화

scripts/

✅ 완전 결정적

쿼리 실행

scripts/

⚠️ DB 상태에 의존 — 같은 쿼리라도 등재분이 늘면 결과가 달라짐

쿼리 변형(재검색) · 질의 해석

LLM

❌ 비결정적

두 번째 줄이 이 스킬의 특이점입니다. 정규화 스킬은 입력이 같으면 출력이 항상 같았지만, 검색은 그렇지 않습니다. 자료가 추가되면 같은 질의에도 다른 근거가 나옵니다. 그래서 "같은 결과"가 아니라 "같은 규칙"으로 회귀를 확인해야 합니다.

Apply Gate.

yaml

apply_gate:
  candidate_validated: false      # 쿼리 1회 실행 검증도 미실시
  original_backup_verified: true  # 초안 SQL 스냅샷 보존
  explicit_approval: false        # slide 유일성 설계 확인 대기 (§8-1)
  native_path: unknown            # Hermes 미설치
  secret_scan: needs_change       # DSN 분리 미완
  verdict: hold

앞의 두 편과 달리 secret_scan 항목을 추가했습니다. 확장과제의 게이트 4항목에 없던 것이지만, DB에 붙는 스킬에는 필요합니다.

3-8. Before/After 검증 — "결과값 동일"을 어떻게 확인할 것인가

확장과제의 Before/After 비교에서 가장 중요한 문장은 이것입니다.

결과값이 동일하다는 게 핵심입니다. 정규화의 정답이 바뀌면 그건 개선이 아니라 회귀입니다.

N3에도 그대로 적용해야 하는데, 그대로 적용할 수 없습니다. 스텁 배제는 의도적으로 결과 집합을 바꾸는 변경이기 때문입니다. 그래서 비교 대상을 나눴습니다.

구분

Before (배제 없음)

After (스텁 배제)

판정

정상 근거

N건 회수

동일 N건, 동일 순서

반드시 같아야 함

스텁 근거

M건 포함

0건

달라져야 함

RS (회수 충분도)

과대 계상

실제값

낮아지는 것이 정상

정상 근거가 하나라도 달라지면 회귀입니다. char_length(btrim(content)) >= :min_len 조건이 짧은 정상 섹션까지 잘라냈다는 뜻이기 때문입니다. min_len 임계값을 확정하지 못한 이유가 여기 있습니다(§8-2 2번).

검증 절차는 이렇습니다.

sql

-- Before/After 동일성 검사: 정상 근거 집합이 보존되는가
WITH before AS (
  SELECT source, slide_number FROM gwanbeop_ppt
   WHERE source = ANY(:lineage_sources)
),
after AS (
  SELECT source, slide_number FROM gwanbeop_ppt
   WHERE source = ANY(:lineage_sources)
     AND content IS NOT NULL
     AND char_length(btrim(content)) >= :min_len
)
SELECT b.source, b.slide_number,
       char_length(btrim(g.content)) AS len
  FROM before b
  LEFT JOIN after a USING (source, slide_number)
  JOIN gwanbeop_ppt g USING (source, slide_number)
 WHERE a.slide_number IS NULL          -- 배제된 행
   AND char_length(btrim(g.content)) > 0   -- 그런데 내용이 있음 → 회귀 후보
 ORDER BY len DESC;

이 쿼리 결과가 0건이어야 합니다. 1건이라도 나오면 임계값이 정상 자료를 자르고 있다는 뜻입니다. 스텁 108건만 정확히 빠지는지 확인하는 것이 배제 조건의 완료 기준입니다.

확장과제는 "결과가 같은가"를 봤고, 이 편은 "달라져야 할 것만 달라졌는가"를 봅니다. 회귀 검증의 두 가지 형태입니다.

결과와 배운 점

3-1. 사용 도구와 역할 분담

초안에서는 Dify hybrid_search와 PostgreSQL 직접 조회가 함께 등장했는데, 둘의 역할이 명시돼 있지 않았습니다. 섞이면 어느 쪽이 근거의 정본인지 알 수 없어집니다. 다음과 같이 나눴습니다.

단계

도구

역할

1차 회수

Dify RAG (hybrid_search)

의미 기반 후보 회수 — "어디쯤 있는가"

2차 확정

PostgreSQL gwanbeop_ppt

근거 정본 확보 — 스텁 배제, source 검증, 원문 텍스트

보완

PostgreSQL 단독

1차가 0건일 때 계통 내 직접 조회

PostgreSQL을 정본으로 삼는 이유는 세 가지입니다. ①Dify 청크는 분할 결과물이라 원문 경계와 다를 수 있고 ②slide_number가 청크 메타에 확실히 실려 있는지 미확인이며 ③계통 필터를 source 컬럼으로 확정적으로 걸 수 있습니다.

DB에 데이터가 있으므로 파일 업로드 요청 없이 직접 조회합니다.

3-2. 검색 쿼리 — 초안 수정본

sql

-- N3 근거 회수: 계통 필터 + 스텁 배제 + (source, slide_number) 복합 인용
SELECT source,
       slide_number,                       -- ★ 초안 'slide' → 실제 컬럼명
       lecture_source,
       title,
       content,
       char_length(content) AS len
  FROM gwanbeop_ppt
 WHERE source = ANY(:lineage_sources)      -- N2가 넘긴 계통
   AND content IS NOT NULL
   AND char_length(btrim(content)) >= :min_len   -- 스텁 + 공백만 있는 행 배제
 ORDER BY <랭킹식>                          -- §3-3 참조
 LIMIT :quota;

초안에서 바꾼 3가지.

  1. slide → slide_number. 로드맵 문서의 검증 쿼리들이 일관되게 slide_number를 쓰고 있습니다. 컬럼명 추측은 반성문 제27·30호에서 두 번 반복한 실수라, 문서 실측 기준으로 고쳤습니다.

  2. char_length(content) > 0 → char_length(btrim(content)) >= :min_len. 빈 문자열은 걸러지지만 공백·개행만 든 행은 통과합니다. btrim으로 감싸고 최소 길이 임계를 파라미터로 뺐습니다. (임계값 자체는 §8 확인 항목입니다.)

  3. LIMIT 8 고정 → :quota. N2가 단계별 계통 배정을 넘기므로, 단계별로 쿼터를 나눠 씁니다.

3-3. 랭킹식을 확정하지 못한 이유

초안은 이렇게 썼습니다.

sql

ORDER BY ts_rank(search_vector, plainto_tsquery(:q)) DESC

이 줄을 그대로 쓰지 않았습니다. 확인되지 않은 전제가 둘 있습니다.

① search_vector 컬럼이 실제로 있는가. 로드맵 문서들의 검증 쿼리에서는 이 컬럼이 한 번도 등장하지 않습니다. 있다고 가정하고 쓰면 실행 시점에 에러입니다.

② PostgreSQL 기본 전문검색이 한국어에서 작동하는가. 이쪽이 더 중요합니다. 기본 파서는 한국어 형태소 분석을 하지 않습니다. plainto_tsquery('재성이 없는 사주')는 조사가 붙은 토큰을 그대로 만들어, 본문의 "재성"과 매칭되지 않을 수 있습니다. 즉 쿼리는 에러 없이 실행되지만 결과가 조용히 부실해집니다. 스텁과 같은 유형의 실패입니다.

그래서 랭킹식은 확정하지 않고, 세 안을 두고 실측 후 결정하기로 했습니다.

안

방식

선결 조건

A

Dify 시맨틱 점수를 그대로 순위로 사용, PostgreSQL은 정본 조회만

Dify 결과에 slide 식별자 존재 확인

B

pg_bigm 등 n-gram 확장으로 한국어 부분일치

서버 확장 설치 가능 여부

C

ILIKE 다중 키워드 + 가중치 수동 계산

확장 불필요, 정밀도 낮음

현재는 A를 1순위로 보고 있습니다. 모르는 것을 안다고 쓰지 않는 것이 판단층 스킬의 첫 조건이라, 여기서 멈췄습니다.

3-4. Skill 명세 (6요소)

yaml

# skill_n3_search_evidence.yaml
name: 계통별 RAG 검색
layer: 판단
node: N3
version: 0.3.0

사용조건: 라우팅(N2)이 status=ROUTED로 끝난 직후
negative_trigger:
  - 회수한 근거를 해석하거나 요약하지 않는다 (N4~N5의 몫)
  - N2가 ASK/HELD로 끝났으면 실행하지 않는다

입력: {question, lineage_plan, qtype}
출력형식:
  evidence: [{source, slide_number, lecture_source, title, text, stage, score}]
  recall: {stage별 회수 건수}
  rs: 0.0~1.0                      # 요구 단계 중 근거 확보한 비율
  status: OK | RETRY | HELD
  reason: 사유 문장

작업순서:
  1. lineage_plan → 단계별 source 목록 매핑
  2. 단계별 쿼터 배분 후 1차 회수 (Dify)
  3. PostgreSQL로 정본 확보 + 스텁 배제 + source 재검증
  4. [{source, slide_number, text, stage}] 로 정규화
  5. 계통 위반 검사 — 배정되지 않은 source가 섞였으면 즉시 제거
  6. 근거 0건 단계가 있으면 쿼리 변형 후 재검색 (최대 2회)
  7. 재시도 후에도 0건이면 HELD 반환                # 근거불충분 탈출구

주의사항:
  - 배정되지 않은 계통 source를 절대 포함하지 않는다
  - 인용은 slide_number 단독이 아니라 (source, slide_number) 쌍으로 한다
  - 회수 실패를 채워 넣지 않는다 — 보류는 정상 결과다
  - 재검색은 무한히 돌리지 않는다 (3회 실패 시 멈추기)

완료기준:
  - status=OK이면 요구 단계마다 최소 1건의 (source, slide_number) 근거 확보
  - status=HELD이면 어느 단계가 왜 비었는지 reason에 남아 있음

3-5. 재검색 루프에 종료 조건을 넣은 이유

초안은 "근거 0건이면 재검색 신호 반환"까지였습니다. 신호를 받은 쪽이 몇 번까지 다시 시도할지가 없습니다.

반성문 총괄표에서 가장 여러 번 반복된 실수가 "3회 실패해도 멈추지 않은 것"입니다(제1-2호, 제21호, 제33호에서 9회 연속 시도). 사람이 그랬는데 자동 루프가 안 그럴 이유가 없습니다.

python

MAX_RETRY = 2          # 최초 1회 + 재시도 2회 = 총 3회

def search_with_retry(plan, question):
    variants = [question,
                strip_particles(question),        # 조사 제거
                expand_synonyms(question)]        # 계통 용어 사전 확장
    for i, q in enumerate(variants[:MAX_RETRY + 1]):
        ev = search_once(plan, q)
        if all_stages_covered(ev, plan):
            return {"status": "OK", "evidence": ev, "attempt": i + 1}
    # 3회 시도 후 — 있는 만큼만 넘기고 나머지는 보류로 선언
    missing = uncovered_stages(ev, plan)
    return {"status": "HELD", "evidence": ev, "held_stages": missing,
            "reason": f"{MAX_RETRY + 1}회 시도 후 {missing} 단계 근거 미확보"}

보류를 실패로 세지 않습니다. 회수가 부족할 때 억지로 채우면 환각이 됩니다. 보류 기록은 그대로 개선 지도가 됩니다. 어느 단계가 자주 비는지 집계하면 다음에 무엇을 등재해야 하는지가 나옵니다.

3-6. N3의 성능은 두 지표로 나눠 잰다

"검색이 잘 되나"를 한 숫자로 재면 원인을 못 찾습니다. 근거가 적을 때 이유가 둘이기 때문입니다.

근거 부족 ─┬─ 검색이 못 찾음        (RAG 문제 → N3 책임)
           └─ 찾았는데 안 씀        (합성 문제 → N4~N5 책임)

그래서 분리합니다.

지표

산식

무엇을 재는가

현 목표

RS (회수 충분도)

근거 1건 이상 확보한 요구 단계 ÷ 요구 단계 수

N3 성능

≥ 0.6

EU (근거 활용도)

초안에 인용된 고유 slide ÷ 회수된 고유 slide

합성 성능

≥ 0.7

N3가 책임지는 것은 RS입니다. EU가 낮으면 그건 N3 잘못이 아닙니다. 이 분리가 있어야 "검색을 고칠지 합성을 고칠지"를 다투지 않습니다.

(이미지 자리 — 검색 결과 slide 목록 + 스텁 배제 전후 비교)


3-7. Hermes native 구조와 회귀 검증 설계

W1 확장과제의 전환 절차를 N3에도 적용했습니다. 다만 이 편에서 더 중요한 것은 구조가 아니라 회귀 검증입니다. 이유는 아래 §3-8에 적었습니다.

Source-rights 판정. learner-owned → verdict allowed. 배포 스킬(w1-*)과 무관합니다.

Compatibility Audit 6항목.

감사 항목

상태

근거

frontmatter / routing

needs_change

metadata.hermes.routing 블록 없음

support folder

needs_change

SQL·배제 규칙·출력 형식이 한 파일에 뭉침

invocation triple

needs_change

자연어 트리거만

output / verifier / failure

compatible

status 3종(OK/RETRY/HELD) + held_stages 존재

private path · secret

needs_change

DB 접속 정보가 스킬 본문에 들어가면 안 됨 — 환경변수로 분리 필요

Tool/command · discovery · apply

not_checked

Hermes 미설치, DB 접속 미확인

다섯 번째 항목이 앞의 두 편과 다릅니다. N1·N2는 비밀정보가 없어 compatible이었지만, N3는 PostgreSQL과 Dify에 붙습니다. 접속 문자열·API 키가 scripts/ 안에 들어가면 스킬을 공유하는 순간 유출됩니다.

python

# scripts/search_evidence.py — 금지 / 권장
# ✗ DSN = "postgresql://user:[email protected]/hanbadook_production"
# ✓ DSN = os.environ["HANBADOOK_DSN"]      # 값은 스킬 밖에서 주입

support folder 3분할.

text

n3-evidence-search-candidate/
├─ SKILL.md                             # routing frontmatter + 얇은 본문
├─ references/stub-exclusion-rules.md   # 스텁 정의·4계열 구분·계통 위반 검사 규칙
├─ templates/evidence-format.md         # (source, slide_number) 복합 인용 형식
└─ scripts/search_evidence.py           # 결정적 처리 — 쿼리 실행·스텁 배제·정규화

결정적/비결정적 분리. 확장과제의 "결정적 반복 실행은 scripts로" 규약을 따르되, 이 편에서는 경계가 셋으로 나뉩니다.

처리

담당

결정적인가

스텁 배제 · 계통 위반 검사 · 정규화

scripts/

✅ 완전 결정적

쿼리 실행

scripts/

⚠️ DB 상태에 의존 — 같은 쿼리라도 등재분이 늘면 결과가 달라짐

쿼리 변형(재검색) · 질의 해석

LLM

❌ 비결정적

두 번째 줄이 이 스킬의 특이점입니다. 정규화 스킬은 입력이 같으면 출력이 항상 같았지만, 검색은 그렇지 않습니다. 자료가 추가되면 같은 질의에도 다른 근거가 나옵니다. 그래서 "같은 결과"가 아니라 "같은 규칙"으로 회귀를 확인해야 합니다.

Apply Gate.

yaml

apply_gate:
  candidate_validated: false      # 쿼리 1회 실행 검증도 미실시
  original_backup_verified: true  # 초안 SQL 스냅샷 보존
  explicit_approval: false        # slide 유일성 설계 확인 대기 (§8-1)
  native_path: unknown            # Hermes 미설치
  secret_scan: needs_change       # DSN 분리 미완
  verdict: hold

앞의 두 편과 달리 secret_scan 항목을 추가했습니다. 확장과제의 게이트 4항목에 없던 것이지만, DB에 붙는 스킬에는 필요합니다.

3-8. Before/After 검증 — "결과값 동일"을 어떻게 확인할 것인가

확장과제의 Before/After 비교에서 가장 중요한 문장은 이것입니다.

결과값이 동일하다는 게 핵심입니다. 정규화의 정답이 바뀌면 그건 개선이 아니라 회귀입니다.

N3에도 그대로 적용해야 하는데, 그대로 적용할 수 없습니다. 스텁 배제는 의도적으로 결과 집합을 바꾸는 변경이기 때문입니다. 그래서 비교 대상을 나눴습니다.

구분

Before (배제 없음)

After (스텁 배제)

판정

정상 근거

N건 회수

동일 N건, 동일 순서

반드시 같아야 함

스텁 근거

M건 포함

0건

달라져야 함

RS (회수 충분도)

과대 계상

실제값

낮아지는 것이 정상

정상 근거가 하나라도 달라지면 회귀입니다. char_length(btrim(content)) >= :min_len 조건이 짧은 정상 섹션까지 잘라냈다는 뜻이기 때문입니다. min_len 임계값을 확정하지 못한 이유가 여기 있습니다(§8-2 2번).

검증 절차는 이렇습니다.

sql

-- Before/After 동일성 검사: 정상 근거 집합이 보존되는가
WITH before AS (
  SELECT source, slide_number FROM gwanbeop_ppt
   WHERE source = ANY(:lineage_sources)
),
after AS (
  SELECT source, slide_number FROM gwanbeop_ppt
   WHERE source = ANY(:lineage_sources)
     AND content IS NOT NULL
     AND char_length(btrim(content)) >= :min_len
)
SELECT b.source, b.slide_number,
       char_length(btrim(g.content)) AS len
  FROM before b
  LEFT JOIN after a USING (source, slide_number)
  JOIN gwanbeop_ppt g USING (source, slide_number)
 WHERE a.slide_number IS NULL          -- 배제된 행
   AND char_length(btrim(g.content)) > 0   -- 그런데 내용이 있음 → 회귀 후보
 ORDER BY len DESC;

이 쿼리 결과가 0건이어야 합니다. 1건이라도 나오면 임계값이 정상 자료를 자르고 있다는 뜻입니다. 스텁 108건만 정확히 빠지는지 확인하는 것이 배제 조건의 완료 기준입니다.

확장과제는 "결과가 같은가"를 봤고, 이 편은 "달라져야 할 것만 달라졌는가"를 봅니다. 회귀 검증의 두 가지 형태입니다.

도움 받은 글 (옵션)

  • 「W1 확장과제 — 명식 정규화 Hermes native 전환 사례글 v1.0」(2026-07-22) — §3-7 Compatibility Audit·support folder 3분할·Apply Gate, §3-8 Before/After 회귀 검증 논리의 출처

  • 「23기 W1 강의자료 요약본 v1.0」 22장(Portable core), 32·33장(첫 실행·로그), 35장(수리 원칙)

  • 「로드맵 통합 업데이트 v2.8 (누적통합본)」 — 무물 스텁 108강 등재 내역, 4계열 구분, 후속 과제 목록

  • 「韓바둑 통변 고급화 전략 v2.0 (누적통합본)」 §5 RS·EU 2지표, §6 출력 2종 — 지표 분리와 slide 노출 정책

  • 「박청화 저서 RAG 등재현황」 (제트엔진 下 로드맵 v1.1 수록 표) — source별 slide 대역

  • 「RAG 통변 검색 정리 — 분리 운영 가이드 v1.0」 — Dify 삭제 금지·비활성 원칙

  • 「Claude 반성문 총괄표 v3.7」 제27·30호(컬럼명 추측), 제31호(스키마 미동기화), 제21·33호(3회 실패 원칙)

  • 사례글 1·2 — 판단층 탈출구 원칙

11

함께 이야기해요 11

로그인하고 댓글을 남겨 주세요

망원궁예 프로필 이미지
망원궁예2026.07.28

환각을 줄이는 핵심이 프롬프트가 아니라 근거 회수라는 관점이 인상적이네요. 특히 스텁을 오답보다 더 위험한 데이터로 본 설명이 많이 배웠습니다

한바둑 프로필 이미지
한바둑2026.07.28

스텁 쪽을 짚어 주셔서 반갑습니다.

오답보다 위험하다고 본 이유는 발견 시점 때문입니다. 틀린 문장은 검증하다 보면 언젠가 걸립니다. 근거를 찾을 수 없거나 원문과 대조하면 어긋나니까요. 그런데 자리만 채워 둔 스텁은 형식이 멀쩡합니다. 필드가 다 차 있고 구조도 맞아서, 파이프라인 하류에서는 정상 데이터와 구분이 안 됩니다. 그러다 몇 단계 지난 뒤에 결과가 이상해지는데, 그때는 원인이 어디였는지 되짚기가 훨씬 어렵습니다.

더 곤란한 건 스텁이 "여기는 아직 비어 있다"는 신호를 지워 버린다는 점입니다. 비어 있으면 채워야 할 자리로 보이지만, 그럴듯한 값이 들어가 있으면 처리된 자리로 보입니다. 나중에 점검할 때 그 항목은 아예 목록에서 빠집니다.

그래서 지금은 값이 없으면 없는 채로 두고, 대신 왜 없는지를 함께 남기는 쪽으로 정리했습니다. 근거 회수에 실패하면 실패로 표시하고 하류에 넘깁니다. 출력이 듬성듬성해 보이는 게 처음에는 불편했는데, 어디를 봐야 하는지가 보이니 오히려 일이 줄었습니다.

읽어 주셔서 고맙습니다.

Giacomo 프로필 이미지
Giacomo2026.07.28

제목만 있고 본문이 빈 레코드를 단순한 0건보다 위험한 신호로 보고, 의미 검색은 후보 회수에만 쓰고 데이터베이스에서 source와 slide 번호를 다시 확정하도록 역할을 나눈 점이 좋았어요. 재검색 횟수에 끝을 두고 근거가 비면 보류하며, 정상 근거는 보존하고 빈 레코드만 빠져야 한다는 회귀 기준까지 세운 것도 탄탄합니다.

다만 최소 본문 길이와 한국어 랭킹 방식이 미정이고 쿼리도 아직 실행하지 않아 배제 조건의 정확성은 확인 전이에요. 고정된 질의 집합으로 배제 전후를 비교해 원문에서 밝힌 빈 108건만 제외되고 내용이 있는 정상 근거는 하나도 빠지지 않는지 먼저 검증해주시면 다음 설계 판단의 근거가 생길 것 같아요.

한바둑 프로필 이미지
한바둑2026.07.28

배제 조건이 아직 검증되지 않았다는 지적이 정확합니다.

빈 레코드를 0건보다 위험하게 본 이유는 앞서 스텁 이야기와 같은 자리에 있습니다. 검색이 0건을 돌려주면 근거가 없다는 사실이 그대로 드러나고, 게이트가 보류로 처리합니다. 그런데 제목만 있는 레코드는 히트로 잡힙니다. source도 있고 slide 번호도 붙어 있으니 형식상 근거를 회수한 것처럼 보이고, 게이트가 통과시킵니다. 정작 본문이 없으니 실제로 참조할 내용은 아무것도 없는데, 하류에서는 "근거 있음" 상태로 넘어갑니다. 없는 근거가 아니라 있다고 표시된 빈 근거가 문제입니다.

역할을 나눈 것도 같은 맥락입니다. 의미 검색은 어느 슬라이드가 관련 있는지 좁히는 데는 쓸 만하지만, 반환하는 메타데이터가 색인 시점 상태라 신뢰하기 어렵습니다. 그래서 후보 번호만 받고 source와 slide는 DB에서 다시 확정하도록 했습니다. 확정 단계에서 본문이 비어 있으면 그 자리에서 걸러집니다.

미정인 부분을 그대로 적으면 이렇습니다. 최소 본문 길이 임계값은 정하지 않았고, 한국어 랭킹 방식도 확정 전이며, 배제 쿼리는 아직 실행하지 않았습니다. 즉 "빈 108건"이라는 숫자는 원문 집계에서 가져온 것이지 이번 배제 조건이 실제로 그 108건만 골라낸다는 확인은 없습니다.

임계값 쪽이 특히 걸립니다. 길이로 자르면 본문이 짧은 정상 슬라이드가 함께 떨어질 수 있습니다. 도표 위주 슬라이드나 한 줄짜리 정의 슬라이드가 여기 걸리기 쉬운데, 이건 내용이 없는 게 아니라 원래 짧은 겁니다. 길이 임계로 접근하는 것 자체가 맞는지부터 다시 봐야 할 것 같습니다. 빈 값 여부와 길이 부족은 다른 조건인데 한 규칙으로 묶으려 했던 것 같습니다.

그래서 순서를 바꾸겠습니다. 설계를 더 다듬기 전에 말씀하신 검증부터 돌리겠습니다. 고정 질의 집합을 정해 두고 배제 전후를 같은 질의로 비교합니다. 확인할 것은 두 가지입니다. 빠진 레코드가 정확히 빈 108건 안에 들어가는지, 그리고 내용이 있는 근거가 하나라도 빠지지 않았는지. 후자에서 한 건이라도 나오면 배제 조건을 고치고 다시 돌립니다.

결과는 통과·초과배제·미배제 세 갈래로 건별 기록해서 공유하겠습니다. 초과배제가 나오면 그 건들의 본문 길이 분포도 함께 싣겠습니다. 임계값을 몇으로 잡을지는 그 분포를 보고 정하는 게 맞겠습니다.

먼저 확인할 것과 나중에 정할 것의 순서를 짚어 주셔서 고맙습니다.

Claude는 AI이며 실수할 수 있습

Giacomo 프로필 이미지
Giacomo2026.07.29

한바둑님이 답글에서 짚으신 “빈 값과 짧지만 정상인 본문을 같은 규칙으로 묶으려 했다”는 지점을 스스로 분리해내신 게 좋았어요. 이제 질문도 “108건이 빠졌는가”에서 끝나지 않고, 빠져야 할 것만 빠졌는지와 정상 근거가 함께 사라지지 않았는지로 정확해졌네요. 통과·초과배제·미배제를 건별로 남기고 임계값은 그 뒤에 판단하겠다는 순서가 이 글의 “달라져야 할 것만 달라졌는가”라는 기준과 잘 맞습니다.

유피테르 프로필 이미지
유피테르2026.07.27

근거가 부족한 상황을 억지로 채우지 않고 HELD로 남기면서, 어느 단계가 왜 비었는지 reason에 기록하도록 설계하신 점이 특히 인상적이었습니다. 최초 1회와 재시도 2회라는 종료 조건을 명확히 두고, RS와 EU를 나눠 검색 문제와 합성 문제의 책임을 분리한 점에서 운영까지 깊이 고민하신 게 느껴졌어요. “달라져야 할 것만 달라졌는가”를 기준으로 스텁 108건만 정확히 빠지는지 검증하신 부분도 오래 유지할 수 있는 스킬을 만드는 데 큰 도움이 되는 기록 같습니다.

한바둑 프로필 이미지
한바둑2026.07.27

꼼꼼히 봐주셔서 감사합니다. HELD를 남기기로 한 건 설계 미덕이라기보다, 근거 없이 채운 문장이 제일 그럴듯해서 나중에 골라내기가 거의 불가능하다는 걸 겪었기 때문입니다. 틀린 답은 검토하면 걸리는데, 없는 걸 매끄럽게 메운 문장은 검토자도 통과시킵니다.

그리고 보류 기록에는 예상 못 한 쓸모가 하나 더 있었습니다. 어느 단계가 자주 비는지를 집계하면 그게 그대로 다음에 무엇을 먼저 채워야 하는지 우선순위가 되더군요. 보류를 실패로 세지 않기로 한 게 결과적으로는 개선 지도를 얻은 셈입니다.

다만 한계도 같이 말씀드리면, 보류가 너무 잦으면 쓰는 사람은 그냥 못 쓰는 도구라고 느낍니다. 정직한 보류와 쓸모 있는 답변 사이에 어디쯤 선을 그을지는 아직 저도 숫자로 정하지 못했습니다. 좋은 지적 감사합니다.

자연어회계처리 프로필 이미지

와, "스텁은 오답보다 위험하다"는 통찰은 진짜 무릎을 탁 치게 만드네요. 한바둑님 글을 읽어보니 단순히 데이터 건수만 늘리는 게 아니라, PostgreSQL에서 btrim이랑 min_len으로 알맹이 없는 스텁을 철저하게 걸러내도록 쿼리를 세밀하게 조율하신 디테일이 엄청납니다. Dify로 후보를 건지고 DB에서 정본을 확정하는 이중 구조는 저도 다음 RAG 설계 때 꼭 참고하고 싶을 정도로 아주 명쾌합니다. 환각을 줄이기 위해 원천 데이터를 어떻게 정제하고 다뤄야 하는지 진짜 실무적인 접근법을 제대로 배우고 갑니다.

한바둑 프로필 이미지
한바둑2026.07.27

과분한 말씀 감사합니다. 사실 "스텁이 오답보다 위험하다"는 말은 통찰이라기보다 제가 호되게 당하고 얻은 결론입니다. 제목과 메타만 채운 뼈대를 100건 넘게 먼저 올려둔 적이 있는데, 레코드 수는 늘었지만 실제 지식은 0이었고 검색은 그걸 멀쩡한 문서로 취급하더군요. 오답은 사람이 보면 티가 나는데, 빈 껍데기는 통계상 정상으로 보인다는 게 진짜 함정이었습니다.

그래서 btrim·min_len 같은 조건은 멋을 부린 게 아니라 그 사고 이후에 붙인 안전장치에 가깝습니다. RAG 설계하실 때 한 가지만 덧붙이자면, 정리 단계에서 삭제 대신 비활성화를 쓰시길 권합니다. 저는 부적합 문서 스물일곱 건을 끄는 방식으로 처리했는데, 나중에 판단이 바뀌었을 때 스위치 하나로 되돌릴 수 있어서 여러 번 덕을 봤습니다.

좋은 결과 있으시면 저도 배우러 가겠습니다. 읽어주셔서 고맙습니다.

j
jiji2026.07.27

내용은 어려웠지만, 근거가 없는 상태에서 모델이 빈칸을 채우지 않게 만드는 구조가 핵심이라는 점은 이해됐어요. 특히 스텁 데이터를 검색 결과에서 제외하고, 출처와 슬라이드 번호까지 남겨야 나중에 검증할 수 있다는 부분이 인상 깊었습니다. 초보자에게는 쉽지 않은 내용인데도 시행착오와 이유를 같이 적어주셔서 흐름을 따라가기 좋았어요. 감사합니다!

한바둑 프로필 이미지
한바둑2026.07.27

핵심을 그대로 짚어주셨네요. 감사합니다. 두 가지만 더 붙입니다.

첫째, 스턴 배제 조건을 처음엔 "내용이 비어 있지 않을 것"으로만 썼다가 다시 고쳤습니다. 빈 문자열은 걸러지는데, 공백과 개행만 들어있는 행은 그대로 통과하더군요. 양쪽 공백을 먼저 지우고 길이를 재도록 바꿨습니다. 조건 한 줄에도 허점이 생길 수 있다는 걸 그때 알았습니다.

둘째, 근거를 못 찾았을 때 뭐라고 답할지를 정해야 했습니다. 예전엔 근거가 없으면 그럴듯한 문장이 나왔습니다. 지금은 "보류"를 정상적인 반환값으로 넣어두었습니다. 그랬더니 "이 부분은 자료가 없습니다"라는 답이 나오기 시작했습니다. 정직함은 태도의 문제가 아니라 반환값의 종류 문제였습니다.

덩붙이자면 그 보류 기록이 그대로 다음에 무엇을 보강해야 하는지 알려줍니다. 어느 대목에서 자주 막히는지 세어보면 되니까요. 감으로 정하지 않게 된 것도 수확입니다.

좋은 댓글 감사합니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기