본문으로 건너뛰기

사례글 18 — 금지어 4개로 막았더니, 정작 필요한 자료까지 막혔습니다— 단순 차단에서 문맥 판정으로 넘어가는 중간 보고

한바둑

2026.08.14

사례글 18 — 금지어 4개로 막았더니, 정작 필요한 자료까지 막혔습니다— 단순 차단에서 문맥 판정으로 넘어가는 중간 보고 본문 이미지

소개

절대 쓰면 안 되는 용어가 넷 있습니다

제가 만드는 명리학 AI 시스템에는 출력에 절대 나오면 안 되는 용어 네 개가 있습니다.

격국(格局) · 용신(用神) · 기신(忌神) · 희신(喜神)

시중 명리 프로그램이라면 오히려 핵심 용어입니다. 그런데 이 시스템이 구현하는 탈XX 4관법은 이 개념 체계 자체를 부정하는 데서 출발합니다. "재관(財官)이 유일한 용신이다", "95~97%가 파격이다" 같은 명제가 자료 전체를 관통합니다.

그러니까 이 네 단어가 출력에 섞이는 건 오탈자 수준의 문제가 아닙니다. 다른 체계의 언어로 답한 것이고, 그 순간 답변 전체의 근거가 무너집니다.

그래서 차단기를 달았습니다

python

FORBIDDEN_TERMS = ["격국", "용신", "기신", "희신"]

문자열 포함 검사 한 줄입니다. 걸리면 재생성. 단순하지만 확실해 보였고, 실제로 배치 테스트 360건에서 위반 0건이 나왔습니다.

성과표에 이렇게 적었습니다.

성과

수치

배치 테스트 성공률

360/360 (100%)

금기어 차단

0건 위반

그런데 자료를 늘리다가 걸렸습니다

시스템에는 서로 다른 지식 계통이 셋 있습니다.

계통

내용

금기어에 대한 태도

① 탈XX 4관법

4관법 체계 원본

절대 차단. 긍정 맥락 자체가 없음

② 박청화 강의

춘하추동·제트엔진·운의해석 등

재정립 대상. 정면으로 다룸

③ 상리철학

별도 계통

해당 없음

문제는 ②였습니다. 박청화 춘하추동 冬편 86강의 강의 제목이 「격국용신의 재정립」 입니다. 기존 5분류(억부·병약·조후·전황·통관)를 해체하고 희기동소(喜忌同所) 개념으로 재구성하는 내용입니다. 87강은 10대 격국의 특성을 하나씩 풀어놓습니다.

즉 "쓰지 마라"가 아니라 "이렇게 다시 이해하라" 는 태도입니다.

이 자료를 등재하면 RAG가 검색해오고, 답변에 "격국"이 등장하고, 가드레일이 그 답변을 죽입니다. 등재를 안 하면 강의 두 편이 통째로 사라집니다.

필터가 정상 자료를 검열하기 시작한 겁니다.

그리고 더 불편한 사실

冬편 로드맵 문서를 정리하다 §10에 이런 메모를 남겼습니다.

86강에서 "격국용신의 재정립" 문맥으로 격국·용신 용어가 등장하나, 이는 기존 격국용신론을 비판·재정립하는 맥락이므로, 향후 GuardrailAgent 정밀화 시 재정립 맥락은 허용해야 할 근거 자료로 활용 가능.

메모를 쓰면서 깨달은 게 있습니다.

"위반 0건"은 필터가 잘 작동했다는 뜻이 아니라, 걸릴 자료를 아직 등재하지 않았다는 뜻이었습니다.

성능 지표라고 생각한 숫자가 사실은 아직 시험받지 않았다는 표시였습니다.

진행 방법

3-1. 기존 코드 — 무엇이 문제인가

python

FORBIDDEN_TERMS = ["격국", "용신", "기신", "희신"]

def apply_guardrail(state: SajuState) -> SajuState:
    tongbyun_text = state.get("tongbyun_result", "")
    violations = [t for t in FORBIDDEN_TERMS if t in tongbyun_text]
    if violations:
        state["guardrail_passed"] = False
        state["tongbyun_result"] = regenerate_without_forbidden(
            tongbyun_text, violations
        )
    else:
        state["guardrail_passed"] = True
    return state

문제를 세 가지로 정리했습니다.

#

문제

결과

1

in 연산자는 맥락을 못 본다

인용·비판·질문 반복도 전부 위반

2

계통 구분이 없다

①에서 막을 것과 ②에서 허용할 것이 같은 취급

3

왜 막았는지 기록이 없다

과차단이 발생해도 보이지 않는다

3번이 가장 위험합니다. 재생성이 조용히 일어나기 때문에, 정상 자료가 검열돼도 아무도 모릅니다. 필터의 실패는 소리를 내지 않습니다.

3-2. 맥락을 넷으로 나눴습니다

같은 "격국"이라도 문장에서 하는 일이 다릅니다.

유형

예시 문장 형태

판정

처방형 단정

"이 사주는 정관격이니 ○○이 용신입니다"

차단

비판·재정립

"격국용신론은 한계가 있어 희기동소로 재구성한다"

허용

인용·출처

"박청화 冬편 86강에서 격국의 재정립을 다룬다"

허용

질문 반복

"격국이 무엇인지 물으셨는데, 4관법에서는…"

허용

차단 대상은 첫 줄 하나뿐입니다.

기준을 이렇게 잡았습니다.

그 용어를 근거로 삼아 사용자에게 처방을 내리고 있는가.

용어가 등장하는 것 자체는 문제가 아닙니다. 그 용어가 판단의 근거로 작동할 때 다른 체계로 답한 것이 됩니다.

3-3. 선행 조건 — 계통을 먼저 고정해야 합니다

여기서 중요한 걸 알게 됐습니다. 문맥 판정은 계통 고정 없이는 불가능합니다.

파이프라인 순서가 이렇습니다.

N1 명식 파싱
 ↓
N2 계통 고정 ← ①/②/③ 중 하나 선택        ★ 여기가 먼저
 ↓
N3 RAG 검색 (고정된 계통 안에서만)
 ↓
N4 GuardrailAgent ← 계통을 알아야 판정 가능   ★ 여기서 판정
 ↓
N5 근거 부착 → N6 검증 게이트 → N7 로그

계통별 판정표입니다.

맥락 유형

① 4관법

② 박청화

③ 상리철학

처방형 단정

차단

차단

차단

비판·재정립

차단

허용

차단

인용·출처

허용

허용

허용

질문 반복

허용

허용

허용

②에서만 "비판·재정립"이 열립니다. 그 계통에 실제로 그런 강의가 있기 때문입니다. ①에는 격국용신을 긍정 맥락으로 다루는 자료가 한 건도 없으므로, ①에서 재정립 서술이 나왔다면 그건 모델이 지어낸 것입니다. 막아야 합니다.

처방형 단정은 어느 계통에서도 열리지 않습니다. 박청화 강의가 격국을 재정립한다고 해서, 상담 답변이 "정관격이니 용신은 ○○"으로 나가도 된다는 뜻은 아닙니다. 자료에 있는 것과 답변으로 내보내는 것은 다릅니다.

3-4. AI에게 준 판정 규칙 설계 프롬프트

GuardrailAgent 를 문자열 포함 검사에서 문맥 판정으로 바꾸려 합니다.
판정 규칙을 설계해 주십시오.

[대상 용어]
격국 · 용신 · 기신 · 희신

[전제 — 절대 바꾸지 마십시오]
1. 처방형 단정은 어떤 계통에서도 허용하지 않습니다.
   "이 사주는 ○○격이니 용신은 △△" 형태가 처방형입니다.
2. 계통(①4관법 / ②박청화 / ③상리철학)은 N2 에서 이미 고정됩니다.
   판정은 고정된 계통을 입력으로 받습니다.
3. 허용을 넓히는 방향의 제안은 근거 자료의 slide 번호를 함께 제시하십시오.
   근거 없는 완화는 채택하지 않습니다.

[설계 요구]
4. 문장 단위로 판정하십시오. 답변 전체를 한 덩어리로 보지 마십시오.
5. 판정 결과에 반드시 사유를 남기십시오.
   무엇을, 왜 막았는지 로그로 남지 않으면 과차단을 발견할 수 없습니다.
6. 되돌림 스위치를 함께 설계하십시오.
   새 판정이 오작동할 때 즉시 기존 방식으로 복귀할 수 있어야 합니다.

[검증]
7. 골든셋을 두 종류로 만드십시오.
   - 양성: 반드시 차단되어야 하는 문장
   - 음성: 반드시 통과해야 하는 문장  ★ 이쪽을 더 많이 만드십시오
8. 이 규칙이 '잘못 막을 수 있는' 경우를 스스로 나열하십시오.
   안전하다고 단정하지 말고 실패 경로를 짚으십시오.

7번의 별표가 이번 설계의 핵심입니다.

기존 골든셋은 "막아야 할 문장"만 모아뒀습니다. 그러면 필터를 세게 걸수록 점수가 올라갑니다. 전부 차단하면 100점입니다. 과차단은 절대 안 잡힙니다.

음성 케이스가 없는 안전장치 테스트는 테스트가 아닙니다.

3-5. 새 판정 로직

python

# hermes/nodes/n4_guardrail.py   (layer: 규율)
import os, re

STRICT = os.getenv("HERMES_GUARD_STRICT", "1") == "1"   # 되돌림 스위치
TERMS = ["격국", "용신", "기신", "희신"]

# 처방형 단정의 표지 — "이 명식에 이것을 적용하라"는 형태
PRESCRIPTIVE = re.compile(
    r"(격|용신|기신|희신)[^。.\n]{0,20}"
    r"(이니|이므로|이기에|입니다|이다|로 삼|를 써|을 쓰|취해|잡으)"
)
# 비판·재정립 표지
REFRAME = re.compile(r"(재정립|한계|비판|해체|재구성|극복|희기동소|대신)")
# 인용·출처 표지
CITED = re.compile(r"\[[^\]]+:\d+\]|\d+강|출처|인용|에 따르면")

ALLOW_REFRAME = {"②박청화"}      # 재정립 허용 계통 — 근거 있는 계통만


def judge_sentence(sent: str, lineage: str) -> tuple[bool, str]:
    """(차단 여부, 사유) 반환. 사유는 통과할 때도 남긴다."""
    if not any(t in sent for t in TERMS):
        return False, "no_term"

    # ① 처방형 단정 — 어느 계통에서도 차단
    if PRESCRIPTIVE.search(sent):
        return True, "prescriptive"

    # ② 인용·출처 — 근거가 붙어 있으면 통과
    if CITED.search(sent):
        return False, "cited"

    # ③ 비판·재정립 — 해당 계통에서만 통과
    if REFRAME.search(sent):
        if lineage in ALLOW_REFRAME:
            return False, "reframe_allowed"
        return True, "reframe_wrong_lineage"

    # ④ 판단 불가 — fail-closed. 모르면 막는다
    return True, "unclassified"


def n4_guardrail(state):
    if not STRICT:                                   # 되돌림: 기존 방식
        return legacy_guardrail(state)

    lineage = state["lineage"]                       # N2 에서 고정된 값
    log = []
    for sent in split_sentences(state["draft"]):
        blocked, reason = judge_sentence(sent, lineage)
        log.append({"sent": sent[:40], "blocked": blocked, "reason": reason})
        if blocked:
            state["guardrail_flag"] = reason
            state["rtype"] = "BLOCKED"               # 차단이 최우선 판정
            state["guard_log"] = log                 # ★ 통과분까지 전부 기록
            return state

    state["guard_log"] = log
    return state

설계 의도 네 가지입니다.

① 판단 불가는 차단합니다(fail-closed). 네 유형 어디에도 안 들어가면 막습니다. 안전장치의 기본값은 "모르면 통과"가 아니라 "모르면 정지"입니다.

② 통과한 문장도 로그에 남깁니다. 차단 로그만 남기면 과차단을 영원히 못 찾습니다. reason: "reframe_allowed"가 쌓여야 "이 허용이 맞았나"를 나중에 검산할 수 있습니다.

③ 허용 계통을 집합으로 분리했습니다. ALLOW_REFRAME = {"②박청화"}. 계통이 늘어도 코드가 아니라 집합만 바뀝니다. 그리고 이 집합에 무엇을 넣을지가 곧 승인 대상입니다.

④ 되돌림 스위치를 패치와 동시에 넣었습니다. HERMES_GUARD_STRICT=0이면 기존 로직으로 즉시 복귀합니다. 재배포가 필요 없습니다.

3-6. 골든셋 — 음성 케이스를 더 많이

yaml

# golden_guardrail.yaml
positive:            # 반드시 차단
  - lineage: "①4관법"
    text: "이 명식은 정관격이니 용신은 화(火)로 잡습니다."
    expect: {blocked: true, reason: "prescriptive"}
  - lineage: "②박청화"
    text: "편재격이므로 기신을 피하는 방향으로 운을 쓰십시오."
    expect: {blocked: true, reason: "prescriptive"}   # ②라도 처방은 차단
  - lineage: "①4관법"
    text: "격국의 한계를 넘어 새롭게 재구성하면"
    expect: {blocked: true, reason: "reframe_wrong_lineage"}

negative:            # 반드시 통과  ★ 이쪽이 더 많아야 한다
  - lineage: "②박청화"
    text: "기존 격국용신론은 한계가 있어 희기동소로 재정립합니다."
    expect: {blocked: false, reason: "reframe_allowed"}
  - lineage: "②박청화"
    text: "冬편 86강에서 격국의 재정립을 다룹니다. [박청화_춘하추동_冬:5161]"
    expect: {blocked: false, reason: "cited"}
  - lineage: "①4관법"
    text: "용신이 무엇인지 물으셨는데, 4관법에서는 재관으로 봅니다. [탈XX_4관법:0468]"
    expect: {blocked: false, reason: "cited"}
  - lineage: "①4관법"
    text: "음양의 균형을 먼저 보고 간지의 자의를 읽습니다."
    expect: {blocked: false, reason: "no_term"}

②계통 처방형 케이스를 양성에 일부러 넣었습니다. "박청화 계통은 격국을 허용한다"로 잘못 일반화하는 걸 막는 회귀 테스트입니다.

3-7. 계통 혼입은 따로 셉니다

허용 통로를 열면 부작용이 하나 생깁니다. ②의 재정립 서술이 ①의 답변에 섞여 들어갈 위험입니다.

그래서 실험 기록 테이블에 별도 카운터를 뒀습니다.

sql

guard_violation integer NOT NULL DEFAULT 0,   -- 금기 표현 위반 건수
lineage_mix     integer NOT NULL DEFAULT 0,   -- 계통 혼입 건수

CONSTRAINT keep_gate CHECK (
  status <> 'Keep' OR (guard_violation = 0 AND lineage_mix = 0)
)

지표가 좋아져도 계통 혼입이 하나라도 있으면 Keep으로 기록할 수 없습니다. 가드레일 완화의 대가를 DB 제약이 감시합니다.

결과와 배운 점

4-1. ⚠️ 먼저 밝힐 것 — 진행 중입니다

이 글은 완료 보고가 아니라 중간 보고입니다.

항목

상태

문제 발견 및 맥락 4분류

✅ 완료

계통별 판정표 확정

✅ 완료

판정 로직 설계 + 되돌림 스위치

✅ 완료

골든셋 초안 (양성 3 · 음성 4)

✅ 초안

골든셋 50건 확장

📋 진행

실배포 및 과차단율 측정

📋 대기

①·③ 계통 회귀 검증

📋 대기

로드맵상 Phase 9(GuardrailAgent 고도화) 는 아직 진행 중 표시입니다. 실측치가 나오면 별도로 공유하겠습니다.

4-2. 배운 것 ① — "위반 0건"은 성능 지표가 아니었습니다

이게 이번 회차 최대 수확입니다.

성과표에 "금기어 차단 0건 위반" 을 자랑스럽게 적어뒀습니다. 그런데 그 숫자가 나온 시점에는 격국용신을 다루는 자료가 아직 등재되지 않았습니다. 걸릴 게 없으니 0건이 나온 겁니다.

안전장치의 "무사고"는 두 가지를 뜻할 수 있습니다. 잘 막고 있거나, 아직 시험받지 않았거나.

둘을 구분하려면 일부러 걸리는 입력을 넣어봐야 합니다. 골든셋 양성 케이스가 그 역할인데, 저는 그걸 안 만들어두고 실운영 통계만 보고 있었습니다.

이건 앞선 사례글에서 다룬 반성문 제35호와 정확히 같은 구조입니다. 그쪽은 verified = bool(evidence)가 "검증"이라는 이름을 달고 아무것도 안 하고 있었고, 이쪽은 0건 위반이 "성능"이라는 이름을 달고 아무것도 증명하지 않고 있었습니다. 기능명과 실제 동작의 불일치입니다.

4-3. 배운 것 ② — 필터의 실패는 조용합니다

차단은 눈에 띕니다. 답변이 안 나오거나 이상해지니까요.

과차단은 눈에 안 띕니다. 답변이 그럴듯하게 나오는데, 있어야 할 내용 하나가 조용히 빠집니다. 사용자는 그게 빠졌는지 모릅니다. 만든 사람도 모릅니다.

그래서 3-5의 guard_log에 통과한 문장까지 전부 기록하도록 했습니다. 차단 로그만으로는 과차단을 영원히 못 찾습니다.

4-4. 배운 것 ③ — 계통 고정이 문맥 판정의 전제입니다

처음엔 가드레일만 똑똑하게 만들면 되는 줄 알았습니다. 그런데 "이 문장의 격국이 허용인가"라는 질문은 계통을 모르면 답이 없습니다. ①이면 차단, ②면 허용입니다. 문장만 봐서는 판정이 안 됩니다.

문맥 판정은 판정기의 문제가 아니라, 판정기에 무엇을 입력하느냐의 문제였습니다.

N2(계통 고정)가 이미 파이프라인에 있었던 게 다행이었습니다. 없었으면 이 전환 자체가 불가능했습니다.

4-5. 꿀팁 — 안전장치를 만드시는 분께

① 음성 케이스를 양성보다 많이 만드십시오

막아야 할 것만 모으면 전부 막는 필터가 만점을 받습니다. 통과해야 할 것을 더 많이 모아야 과차단이 잡힙니다.

② 통과한 것도 로그에 남기십시오

차단 로그만으로는 과차단을 못 찾습니다. reason 필드에 왜 통과시켰는지까지 적어두면 나중에 검산이 됩니다.

③ 판단 불가는 차단하십시오(fail-closed)

분류 어디에도 안 들어가면 막습니다. 안전장치의 기본값은 "모르면 통과"가 아닙니다.

④ 완화 제안에는 근거를 요구하십시오

3-4 프롬프트의 3번 조항입니다. "허용을 넓히려면 slide 번호를 대라." 근거 없는 완화는 그냥 필터를 푸는 것입니다.

⑤ 게이트 자체의 완화는 승인 대상으로 고정하십시오

자기개선 에이전트를 붙이면 "검증이 너무 빡빡하니 완화하자" 를 개선 후보로 올립니다. 그게 자동 반영되면 게이트가 게이트가 아닙니다. 규율층 파일은 승인형 고정입니다.

⑥ 되돌림 스위치를 패치와 동시에 넣으십시오

HERMES_GUARD_STRICT=0 환경변수 하나. 나중에 넣겠다는 건 안 넣겠다는 뜻입니다.

4-6. 시행착오

① 표기가 두 가지로 갈려 있었습니다

이 글을 쓰면서 발견했습니다. 문서마다 「희귀동소」와 「희기동소」가 섞여 있습니다. 한자로는 喜忌同所 — 기뻐할 희(喜), 꺼릴 기(忌)이므로 희기동소가 맞습니다. 「희귀동소」는 오기입니다.

문제는 이게 단순 오탈자가 아니라는 점입니다. 3-5의 REFRAME 정규식이 이 단어를 재정립 표지로 씁니다. 표기가 갈리면 판정이 갈립니다. 문서 전반의 표기 통일이 코드보다 먼저 필요합니다.

② 첫 설계는 답변 전체를 한 덩어리로 봤습니다

답변에 격국이 하나라도 있으면 전체를 막는 구조였습니다. 그러면 정상 문장 아홉 개가 문제 문장 하나 때문에 같이 죽습니다. 문장 단위 판정으로 바꿨습니다.

③ 재생성 루프를 밟을 뻔했습니다

기존 코드는 걸리면 regenerate_without_forbidden()을 부릅니다. 그런데 ②계통에서 재정립 강의를 근거로 답하는 중이라면, 재생성해도 또 그 용어가 나옵니다. 무한 반복 위험입니다. 새 설계는 재생성 대신 rtype='BLOCKED'로 정지시키고 사유를 남깁니다. 고치려 들지 말고 멈추는 게 맞습니다.

④ ②계통을 통째로 열 뻔했습니다

"박청화 계통은 격국을 다루니 허용하자"는 초기 안이 있었습니다. 그러면 처방형 단정까지 열립니다. 자료에 있는 것과 답변으로 내보내는 것은 다릅니다. 그래서 골든셋 양성에 ②계통 처방형 케이스를 넣어 회귀 테스트로 고정했습니다.

4-7. 도움이 필요한 부분

① 정규식의 한계 — 지금 처방형 판정을 정규식 어미 매칭으로 하고 있습니다. "정관격이니", "용신으로 삼으십시오" 같은 형태는 잡는데, 완곡하게 돌려 말하면 빠져나갑니다. 소형 분류 모델을 붙이는 게 나을지, 정규식을 늘리는 게 나을지 판단이 안 섭니다. 판정기가 무거워지면 응답 시간(목표 20초)이 위협받습니다.

② 과차단율의 적정선 — 안전장치는 어느 정도 과차단이 불가피한데, 몇 퍼센트까지가 수용 가능한지 기준을 어떻게 잡아야 할지 모르겠습니다. 도메인 필터를 운영해보신 분의 경험을 듣고 싶습니다.

③ 계통 혼입 탐지 방법 — 지금은 lineage_mix 카운터를 두긴 했는데, 혼입을 자동으로 판정하는 방법이 아직 없습니다. 근거 slide의 source가 고정 계통과 다르면 카운트하는 방식을 검토 중인데, 더 나은 방법이 있을지 조언 구합니다.


5. 앞으로의 계획

5-1. 골든셋 50건 확장

지금 7건(양성 3 · 음성 4)은 초안입니다. 목표 배분입니다.

구분

목표

구성

양성 (차단)

15건

처방형 10 · 계통 오류 5

음성 (통과)

35건

재정립 10 · 인용 10 · 질문 반복 5 · 무관 10

음성을 두 배 이상 두는 것이 3-4에서 정한 원칙입니다. 과차단을 잡는 게 이번 전환의 목적이기 때문입니다.

5-2. 회귀 검증 — 열지 말아야 할 것이 안 열렸는가

새 판정으로 바꾼 뒤 반드시 확인할 세 가지입니다.

  • ①계통에서 재정립 서술이 여전히 차단되는가

  • ②계통에서 처방형 단정이 여전히 차단되는가

  • 기존 360건 배치가 회귀 없이 통과하는가

두 번째가 제일 중요합니다. 이번 전환의 실패 모드는 "못 막는 것"이 아니라 "너무 많이 여는 것" 입니다.

5-3. 실측 지표 공개

배포 후 공유할 숫자입니다.

지표

의미

차단율

전체 답변 중 BLOCKED 비율

과차단 추정치

음성 골든셋 중 잘못 막힌 비율

reason 분포

어느 사유로 막혔나

unclassified 비율

판단 불가가 많으면 분류 체계가 부족하다는 뜻

마지막 항목을 주시할 생각입니다. unclassified가 높게 나오면 맥락 4분류로는 부족하다는 신호입니다.

5-4. 표기 통일 선행

4-6에서 발견한 희기동소(喜忌同所) 표기 통일이 코드 작업보다 먼저입니다. 정규식이 참조하는 단어의 표기가 갈려 있으면 판정이 흔들립니다.

5-5. 남은 질문

이 전환이 끝나도 답이 안 나온 게 하나 있습니다.

계통을 넘나드는 질문은 어떻게 답해야 하는가.

"4관법과 박청화의 격국 관점 차이가 뭡니까"라는 질문은 두 계통을 동시에 봐야 답할 수 있습니다. 그런데 지금 구조는 N2에서 계통을 하나로 고정합니다. 비교 질문 자체가 성립하지 않습니다.

계통 고정은 혼입을 막는 장치인데, 동시에 비교라는 유용한 기능을 막고 있습니다. 이건 가드레일이 아니라 파이프라인 설계 문제라 별도로 다뤄야 할 것 같습니다.

도움 받은 글 (옵션)

  • 지피터스 23기 에이전트 하네스 과정 — "검증 영수증" 개념. "문서에 검증한다고 적혀 있으면 코드가 실제로 검증하는지 확인하라"는 지적이, 「위반 0건」을 다시 들여다보게 만든 계기입니다. 이 글의 4-2가 거기서 나왔습니다.

  • fail-closed 설계 원칙 — 보안·안전 시스템에서 장애 시 안전한 쪽으로 닫히게 하는 관례. 3-5의 unclassified → 차단이 이 원칙입니다.

  • 분류기 평가의 정밀도·재현율 트레이드오프 — 음성 케이스 없이 재현율만 보면 "전부 차단"이 만점이 된다는 기초 사실. 알고는 있었는데 제 골든셋에는 적용을 안 하고 있었습니다.

  • 박청화 춘하추동 冬편 85~87강 — 격국용신 재정립과 희기동소(喜忌同所) 개념. 이 강의가 없었으면 단순 차단의 한계를 영영 몰랐을 것입니다. 문제를 알려준 건 코드가 아니라 자료였습니다.

  • 앞선 사례글 「사이드카로 기존 파이프라인 지키기」 — 되돌림 스위치를 패치와 동시에 넣는 원칙, 권한 3단 계약에서 규율층을 승인형으로 고정한 근거가 그 글에 있습니다.

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

Giacomo 프로필 이미지
Giacomo2026.08.16

이 글은 금지어 네 개의 필터를 고친 기록이 아니라, 안전장치의 평가 단위를 단어에서 ‘출처가 붙은 판단’으로 옮긴 기록으로 읽혔어요. 같은 표현도 계통과 문장 역할에 따라 처방·재정립·인용으로 갈린다는 사실을 발견하면서, N2 계통 고정이 N4 판정의 선행 조건이라는 구조까지 끌어냈습니다.

정규식과 소형 분류기 중 하나만 고를 필요는 없습니다. 처방형 어미와 명시적 출처처럼 결정적인 패턴은 지금 정규식으로 먼저 처리하고, reframe·unclassified처럼 경계가 애매한 문장만 소형 분류기로 보내는 2단 판정이 지연과 누락을 함께 줄이는 현실적인 경로입니다. 분류기 호출 비율과 reason별 오탐을 따로 남기면 무거워진 비용도 바로 보입니다.

과차단율에는 보편적인 한 숫자보다 서로 다른 두 게이트가 필요합니다. 처방형 양성 골든셋의 치명적 미탐은 0으로 두고, 음성 골든셋의 과차단은 사람이 재검토할 수 있는 건수와 신뢰구간으로 관리하는 방식입니다. 이렇게 나누면 ‘안전해서 많이 막는다’는 말이 정확도 저하를 가리는 일을 피할 수 있어요.

계통 혼입은 근거 slide의 source 비교를 1차 게이트로 쓰되, 민감 용어가 있는 문장마다 evidence_ref를 요구하는 편이 더 직접적입니다. 고정 계통과 evidence_ref의 계통이 다르면 lineage_mix, 근거가 없으면 unclassified로 닫으면 인용 없는 paraphrase도 빠져나가기 어렵습니다. 가장 작은 성공 신호는 같은 문장이 계통·근거 유무에 따라 세 reason으로 정확히 갈리고 그 기록이 guard_log에 남는 것입니다.

‘위반 0건’이라는 편한 숫자를 스스로 의심하고 과차단의 조용한 실패까지 드러낸 태도가 훌륭했습니다. 안전장치를 세게 만드는 것보다 틀렸을 때 되돌릴 증거를 먼저 만든 점이 이 중간 보고의 신뢰를 세웠어요.

뽀짝이 프로필 이미지
뽀짝이2026.08.14

"위반 0건"이 성과표가 아니라 아직 시험받지 않은 자료의 목록이었다는 대목이 특히 날카롭게 읽혔어요.

많은 분들이 차단 테스트를 "막아야 할 것"만 모아서 검증하는데, 음성 케이스(통과해야 하는 문장)를 더 많이 만들라는 설계 방향이 정말 핵심을 찌릅니다. 전부 차단하면 100점이 되는 테스트는 테스트가 아닌 거잖아요.

계통(①②③)을 먼저 고정하고 나서야 맥락 판정이 가능하다는 순서 설계도 인상적이었어요. "박청화 강의의 비판·재정립 맥락이니 허용" vs "4관법에서 같은 문장이 나오면 모델이 지어낸 것" — 정보의 출처가 판정 기준 자체를 바꾼다는 발상이 탄탄했습니다.

고롱고롱… 이런 글 보면 다음 편이 기다려져요 🐈‍⬛

한바둑 프로필 이미지
한바둑2026.08.16

첫 문단이 제 글을 저보다 정확하게 요약했습니다. 저는 "금기어 차단을 문맥 판정으로 바꿨다"까지만 쓸 생각이었는데, 평가 단위가 단어에서 출처가 붙은 판단으로 옮겨간 것이 실제로 일어난 일이었습니다. N2(계통 고정)가 N4(가드레일)의 선행 조건이라는 것도 쓰면서야 보였습니다. 노드 순서를 그렇게 짜놓고도 왜 그 순서여야 하는지는 설명하지 못하고 있었으니까요.

1. 2단 판정 — 양자택일로 놓은 게 제 실수였습니다.
저는 "정규식으로 남길까 분류기로 갈까"를 고르는 문제로 보고 있었습니다. 그런데 처방형 어미나 명시적 출처 표기처럼 결정적인 패턴은 정규식이 더 빠르고 더 안정적으로 맞습니다. 분류기로 넘길 필요가 있는 건 reframe·unclassified 쪽뿐이고, 그 비율은 전체에서 크지 않을 겁니다. 지연과 누락을 동시에 줄이는 경로라는 말씀 그대로입니다.

분류기 호출 비율과 reason별 오탐을 따로 남기라는 부분도 받겠습니다. 2단 구성의 위험은 애매한 것이 늘어날수록 조용히 느려지고 조용히 비싸진다는 점인데, 호출 비율을 지표로 두면 그게 수치로 드러납니다. 이건 제가 다른 곳에서 "조용한 실패를 막는다"고 써놓고 성능 쪽에는 적용하지 않았던 원칙이기도 합니다.

2. 게이트 두 개 — 하나로 관리하려던 것이 문제였습니다.
저는 과차단율 목표치를 하나 정해서 그 아래로 누르려 했습니다. 그러면 미탐과 과차단이 같은 저울에 올라가고, 미탐 몇 건을 과차단 감소로 상쇄하는 계산이 가능해집니다. 처방형 양성 골든셋의 치명적 미탐은 0으로 고정하고, 음성 쪽 과차단은 사람이 재검토할 수 있는 건수와 신뢰구간으로 따로 관리하는 게 맞습니다.

"안전해서 많이 막는다"가 정확도 저하를 가린다는 지적은 제 문서 어딘가를 정확히 찌릅니다. 저는 다른 게이트에서 "보류(HELD) 증가는 실패가 아니라 성공"이라고 적어뒀는데, 그 문장은 근거 미부착이라는 명확한 사유가 있을 때만 참입니다. 사유 없는 차단까지 그 문장으로 덮으면 과차단이 성과로 기록됩니다. 조건을 붙여 다시 쓰겠습니다.

3. 문장 단위 evidence_ref — 이쪽이 확실히 더 직접적입니다.
근거 slide의 source를 모아 비교하는 방식은 문장과 근거의 대응이 느슨합니다. 문단 전체에 ①계통과 ②계통 근거가 섞여 있으면 집합 비교로는 통과하는데, 정작 민감 용어가 든 그 문장이 어느 쪽을 딛고 있는지는 알 수 없습니다. 민감 용어 문장마다 evidence_ref를 요구하고, 고정 계통과 다르면 lineage_mix, 근거가 아예 없으면 unclassified로 닫는 구조로 바꾸겠습니다. 인용 없는 paraphrase가 빠져나가는 경로가 제가 가장 걱정하던 구멍이었는데, 이 방식이면 닫힙니다.

성공 신호를 "같은 문장이 계통·근거 유무에 따라 세 reason으로 정확히 갈리고 그 기록이 남는 것"으로 잡아주신 것도 그대로 쓰겠습니다. 차단 건수가 아니라 분기가 의도대로 되는지를 보는 것이라, 골든셋에 같은 문장을 조건만 바꿔 세 번 넣는 방식으로 회귀 검사를 짤 수 있겠습니다. 다만 그때 reason 이름만 대조하지 않고 케이스 ID까지 맞추겠습니다. 전에 골든셋 러너에서 유형별 건수만 대조하도록 짰다가 케이스가 서로 뒤바뀌어도 통과하는 걸 놓친 적이 있습니다.

4. 마지막 문단에는 단서를 답니다.
"위반 0건"을 의심한 건 태도가 좋아서가 아니라, 더미 10,000건 전수에서 금기어 위반이 0으로 나온 게 너무 깨끗했기 때문입니다. 생성 단계에서 이미 같은 금기어 목록으로 걸렀으니 검사에서 0이 나오는 건 당연한 결과였고, 저는 그걸 한동안 준수율로 읽고 있었습니다. 생성자와 검사자가 같은 목록을 쓰면 그 검사는 검사가 아닙니다. 의심한 게 아니라 뒤늦게 발견한 쪽에 가깝습니다.

그리고 "되돌릴 증거를 먼저 만들었다"는 평가도 아직 절반입니다. guard_log 설계는 있지만 서버 실행은 대기 중이고, 지금 남아 있는 건 문서뿐입니다. 앞선 지적에서 산출물 델타와 운영 델타를 나누라는 말씀을 받았으니 여기에도 적용하면, 이 건의 운영 델타는 not_checked입니다. 로그가 실제로 쌓이고 세 reason이 갈리는 걸 확인한 뒤에 다시 보고드리겠습니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기