본문으로 건너뛰기

"근거를 못 대면 답하지 않는다" — 명리 상담 AI에 부재 판정과 자기교정을 심은 통변 고급화 전략 v2.1

한바둑

2026.08.05

"근거를 못 대면 답하지 않는다" — 명리 상담 AI에 부재 판정과 자기교정을 심은 통변 고급화 전략 v2.1 본문 이미지

소개

무엇을, 왜 시도했나

명리 상담을 AI로 옮길 때 사람들은 보통 "얼마나 잘 맞히느냐"를 봅니다. 그런데 제가 실제로 붙잡은 문제는 정확도가 아니라 재현성이었습니다.

강의를 아무리 많이 들은 상담자도 상담 자리에서는 기억나는 것만 씁니다. 같은 명식을 두 번 봐도 매번 다른 말이 나오고, "왜 그렇게 말했는지"가 남지 않습니다. 목표는 더 똑똑한 통변이 아니라 잊힌 맥락을 되살리고, 근거를 남기는 통변입니다.

그래서 세운 원칙이 세 가지입니다.

  • 없는 것을 없다고 기록한다 — "관성이 통째로 없다"는 침묵할 정보가 아니라 근거로 확정할 판정 결과다.

  • 못 찾은 것을 못 찾았다고 남긴다 — 억지로 채우면 그게 환각이다. 보류를 정상 결과로 취급한다.

  • 스스로 근거(slide 번호)를 대지 못하면 답하지 않는다 — fail-closed.

이 원칙을 담은 문서가 「통변 고급화 전략」이고, 이번 글은 그 문서를 v2.0 → v2.1로 끌어올린 교정 작업의 기록입니다. 별도로 작성한 헤르메스 추진계획서·발표본과 대조했더니 전략 문서 안에 불일치 11건이 숨어 있었고, 그걸 잡아내는 과정 자체가 "문서 ≠ 사실" 원칙의 실전 사례가 되었습니다.

진행 방법

사용 도구

  • Claude(Opus) — 두 문서 교차 대조, 불일치 식별, 문서 재작성

  • python-docx / docx-js — 최종 산출물(.docx) 생성

  • PostgreSQL(hermes.* 스키마) — 판정 로직·품질 지표를 DB 제약으로 강제

핵심 구조 — 3축 직교 태깅

통변을 "언제·무엇·어떻게" 세 축으로 분해했습니다. 이게 전략의 뼈대입니다.

        TS (단계)     ─── 언제 쓰는가 (순서: 구조→육신·신살→시간→상담전환)
         ×
      DOMAIN (영역)   ─── 무엇에 쓰는가 (직업·건강·재물·인연…)
         ×
      ROLE (역할)     ─── 어떻게 쓰는가 (원리·절차·사례·예외·상담문)

교정 과정 — 두 문서를 나란히 놓고 대조

작업의 핵심 프롬프트는 이것이었습니다.

전략 문서(v2.0)와 헤르메스 추진계획서·발표본 64장을 교차 대조해라.
- 노드 수·실행 순서, 유사도 목표, 등재 구간, 건수 같은
  '정량 항목'이 두 문서에서 어긋나는 지점을 전부 찾아라.
- 확정값(골든셋 4건·결정 10건·부재 판정 범위)은 교수님 확인을 거쳤으니
  손대지 말고, 대조 대상으로만 삼아라.
- 발견한 불일치는 표로 정리하되, '무엇을 왜 고쳤는지'를 반드시 남겨라.
  (문서 ≠ 사실 원칙)

이렇게 잡아낸 불일치 11건 중 대표적인 것들입니다.

위치

v2.0

v2.1

사유

노드 순서

"6노드(N1~N6)"만 표기

실행 순서 N3→N5→N4→N6 명시

가드레일은 만들어진 문장을 검사해야 하므로 합성(N5) 뒤에 와야 함

유사도 목표

0.80 단일

0.5395 → 0.80 → 0.90 3단계

추진계획서의 실제 정량 목표 반영

등재 구간

로드투프로 15~28강

8~28강(15~28 우선)

TS5 공백 구간과 등재 범위 구분

건수

미기재

미해결로 남김

3,281건 vs 9,733건 상충 → 서버 실측 대기

가장 신경 쓴 지점 — fail-closed를 코드가 아니라 DB가 지키게

"근거 없으면 차단"을 코드로만 두면 버그가 나면 뚫립니다. 그래서 DB 제약으로 못박았습니다. 코드에 버그가 있어도 모순된 기록 자체가 저장되지 않습니다.

sql

CONSTRAINT rtype_rs_consistent CHECK (
      (rtype = 'FULL'    AND recall_suff >= 1.0)
   OR (rtype = 'ABSENT'  AND recall_suff >= 1.0)
   OR (rtype = 'PARTIAL' AND recall_suff > 0 AND recall_suff < 1.0)
   OR (rtype = 'HELD'    AND recall_suff = 0)
   OR (rtype = 'BLOCKED'))

또 v2.1에서 새로 넣은 N7 리뷰어는 통변을 스스로 5축(근거성·계통순수·가드준수·표기규칙·겸손성)으로 채점합니다. 생성기와 채점기를 분리해 자기 편향을 없앴고, 근거성 축이 만점이 아니면 무조건 보류하도록 이중 방어를 걸었습니다.

python

def n7_review(state) -> dict:
    scores = grade_with_llm(state["draft"], RUBRIC)   # 각 축 0~2점
    total  = sum(scores.values())
    if total >= 9 and scores["근거성"] == 2:
        verdict = "통과"
    elif total >= 6:
        verdict = "수정"      # 백로그 상단으로
    else:
        verdict = "보류"      # 재생성
    return {"review_scores": scores, "verdict": verdict}

결과와 배운 점

결과 — 전략 문서를 v2.1(30페이지, .md + .docx)로 확정했습니다. 불일치 11건을 잡고, 노드 실행 순서·N7 채점·소요기간·난관 8종을 흡수했습니다. 글자수는 +29.5% 늘었지만 헤더 소실 0건, 코드블록 짝 정상으로 원본 구조를 그대로 보존했습니다.

꿀팁 셋

  • "문서에 완료"라고 적혀 있어도 그건 사실이 아니다. 이번에도 두 문서에서 건수가 3,281 vs 9,733으로 어긋났습니다. 서버 SELECT COUNT(*) 전까지는 어느 쪽도 본문에 인용하지 않고 미해결로 남기는 게 맞습니다.

  • 확정값과 수정 대상을 처음부터 분리하라. 교수님이 이미 확인한 골든셋 4건·결정 10건은 "대조 대상이지 수정 대상이 아니다"라고 프롬프트에 못박으니, AI가 멀쩡한 확정값을 건드리는 사고가 사라졌습니다.

  • 판정을 코드가 아니라 DB 제약으로 지키게 하라. 로직에 버그가 나도 모순된 데이터는 애초에 안 들어갑니다.

시행착오 — 초기 러너는 "ABSENT 2건"이라는 숫자만 대조해서, 엉뚱한 케이스가 ABSENT로 뒤바뀌어도 통과했습니다. 케이스 ID까지 대조하도록 고쳤습니다. 통과만 하는 테스트는 안전망이 아니라 장식이라는 걸 다시 배웠습니다.

도움이 필요한 부분 — 가장 큰 병목은 코딩이 아니라 원천 데이터입니다. 박청화 강의 전사·STT 교정과 4관법 DB 소스 정제는 명리학 원문 지식과 데이터 정제 역량을 동시에 요구해서 외주로 넘기기 어렵습니다. 명리 전문용어 STT 오류를 효율적으로 잡는 워크플로우에 대한 조언이 있으면 반갑겠습니다.

< 앞으로의 계획 >

  • RAG 유사도 0.5395 → 0.80 → 0.90 3단계 개선 (청크 재분할·맥락 태깅·강의 시점 랭킹)

  • 60갑자 전수 커버리지 (현재 19/60 → 60/60)

  • 가족 명식 4건 파일럿으로 RS·EU 실측 — 단, "내용 일치"는 합격 기준에 넣지 않는다. 목표는 같은 답이 아니라 근거를 남기는 것이니까.

  • 최종적으로 헤르메스 통변 출력이 그대로 UNESCO 디지털 문화유산 등재 서류(2027)로 흐르게 하는 것

도움 받은 글 (옵션)

지피터스 23기 에이전트 하네스 과정 (Skill→Umbrella→Harness→Growth Loop 커리큘럼)

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

Giacomo 프로필 이미지
Giacomo2026.08.06

한바둑님, 앞선 두 사례에서 실행과 승인 경계를 조립한 흐름과 이어지면서도, 이번 글은 전략 문서 자체를 다시 검증 대상으로 돌린 차례로 읽혔어요. 확정값은 수정 대상에서 분리한 채 두 문서의 불일치 11건을 찾아 v2.1로 고친 과정은 ‘문서에 적힌 것’과 ‘확인된 사실’을 같은 것으로 취급하지 않겠다는 원칙을 실제 편집 절차로 바꿨습니다.

특히 ABSENT 개수만 맞으면 통과하던 초기 러너를 케이스 ID까지 대조하도록 바꾼 수정이 중요했어요. 총량이 같아도 대상이 바뀌면 검증 실패라는 뜻이고, TS·DOMAIN·ROLE의 세 축도 ‘언제·무엇·어떻게’를 섞지 않게 해줍니다. 문서와 검사기가 모두 그럴듯해 보여도 대상 정체성이 바뀌면 실패라는 기준은 명리 밖의 데이터 정제 작업에도 그대로 옮길 수 있습니다.

명리 전문용어 STT 교정은 자동 치환보다 ‘후보를 좁히고 사람이 확정하는 기록’으로 설계하는 편이 맞아 보여요. 먼저 강의의 시간 정보가 붙은 원문 전사를 보존하고, 이미 확인된 강의안·슬라이드·용어표에서 표준어와 자주 틀리는 표기를 모읍니다. 그다음 낮은 신뢰 구간, 사전에 없는 반복 단어, 표준어와 소리가 가까운 단어만 후보로 뽑아 앞뒤 문장과 타임스탬프를 함께 제시하고, 명리 지식이 있는 검토자가 승인한 항목만 교정본에 반영합니다. 원문·후보·확정어·근거·검토자·버전을 함께 남기면 잘못된 일괄 치환도 되돌릴 수 있어요.

품질 평가는 전체 글자 오류율 하나보다, 고정한 대표 구간에서 전문용어를 정확히 보존했는지와 불확실한 말을 억지로 확정하지 않았는지를 따로 보는 편이 이 프로젝트의 fail-closed 원칙과 잘 맞습니다. 반복해서 승인된 오인식 쌍만 용어 사전에 승격하고, 한 번뿐이거나 문맥에 따라 달라지는 후보는 계속 보류하면 사람 검토량도 근거 있게 줄일 수 있습니다.

가장 작은 첫 실행 확인은 강의의 짧은 한 구간에서 원문 전사와 자동 교정 후보를 나란히 놓고, 타임스탬프가 붙은 전문용어만 사람이 승인해 교정본을 만드는 것입니다. 원문이 그대로 보존되고 승인된 용어만 바뀌며 애매한 후보가 보류로 남으면, 대규모 전사 정제에 앞서 교정 계약이 작동하는지 확인할 수 있어요.

확정값을 수정 대상에서 먼저 떼어 두고, ABSENT 개수만 맞으면 통과하던 러너를 케이스 ID 대조로 고친 과정이 특히 좋았어요. 숫자가 맞아 보여도 대상이 바뀌면 실패라는 기준을 남긴 덕분에 이 문서는 결과물인 동시에 자기교정의 증거가 됐습니다.

한바둑 프로필 이미지
한바둑2026.08.06

읽어주신 순서가 제가 겪은 순서와 같아서 다시 놀랐습니다.

이번 글은 사실 부끄러움에서 출발했습니다. 앞의 두 사례에서 실행과 승인의 경계를 세워놓고도, 정작 그 경계를 적어둔 전략 문서는 검증 대상 밖에 두고 있었으니까요. 문서에 적힌 것과 확인된 사실을 같은 것으로 취급하지 않겠다고 써놓은 문서가, 스스로는 그 원칙의 적용을 받지 않고 있었던 셈입니다. 불일치 11건은 그렇게 나왔습니다.

ABSENT 건을 짚어주셔서 감사합니다. 그게 이번에 가장 서늘했던 대목이었습니다. 개수만 맞추던 러너는 초록불을 켜고 있었고, 저는 그 초록불을 근거로 다음 단계를 진행하고 있었습니다. 총량이 같아도 대상이 바뀌면 실패라는 문장을 얻는 데 며칠이 걸렸는데, 정작 얻고 나니 검사기가 그럴듯한 통과를 만들어내는 건 검사기가 틀려서가 아니라 제가 무엇의 동일성을 지키려는지 말하지 않아서였습니다. 말씀대로 이건 명리 밖으로도 그대로 옮겨갑니다.

STT 교정을 자동 치환이 아니라 '후보를 좁히고 사람이 확정하는 기록'으로 설계하자는 제안은 그대로 받겠습니다. 앞의 사례에서 세운 원칙과도 어긋나지 않고요 — 교정은 실행이 아니라 승인이 필요한 자리입니다. 원문 전사 보존, 확인된 강의안·용어표에서 표준어 수집, 낮은 신뢰 구간·미등재 반복어·음가 근접어만 후보화, 타임스탬프와 앞뒤 문장 동반 제시, 승인분만 반영. 원문·후보·확정어·근거·검토자·버전을 함께 남기는 부분은 되돌리기 때문만이 아니라, 나중에 '이 용어는 왜 이렇게 굳었나'를 물을 때 답할 수 있게 해준다는 점에서 더 중요해 보입니다.

한 가지만 덧붙이면, 명리 용어는 음가가 가까운 쌍이 둘 다 실재하는 경우가 많습니다. 소리로는 후보가 좁혀져도 어느 쪽이 맞는지는 그 대목의 논지를 알아야 갈리는 자리가 있습니다. 그래서 후보 목록에 '음가 근접'과 '문맥 의존'을 나눠 표시하고, 후자는 처음부터 사람 판단 전용으로 보내려 합니다.

품질 평가를 전체 오류율 하나로 보지 말자는 지적도 맞습니다. 오류율은 조사와 어미에서 벌어들인 점수로 전문용어 오류를 가려주는 지표더군요. 고정 대표 구간에서 ① 전문용어 보존 ② 불확실한 말을 억지로 확정하지 않았는지, 이 둘을 따로 보겠습니다. 특히 두 번째는 fail-closed의 핵심이라, 보류율이 0으로 떨어지는 것을 개선이 아니라 경고로 읽으려 합니다. 반복 승인된 오인식 쌍만 사전으로 승격하고 일회성·문맥 의존 후보는 계속 보류하는 규칙도 함께 넣겠습니다. 승격에 필요한 승인 횟수와 검토자 수를 어떻게 잡을지는 실측 후에 정하려 합니다.

첫 실행 확인은 말씀하신 그대로 가겠습니다. 짧은 한 구간, 원문 전사와 자동 교정 후보를 나란히, 타임스탬프 붙은 전문용어만 사람이 승인. 여기에 음성 조건 하나를 더 두려 합니다 — 승인하지 않은 후보가 교정본에 반영되어 있지 않은지. 원문 보존과 승인 반영만 확인하면, 옆으로 조용히 끼어든 치환을 놓칠 수 있습니다. 원문이 그대로 있고, 승인된 것만 바뀌었고, 애매한 것이 보류로 남아 있고, 미승인이 하나도 새어 들어오지 않았으면 교정 계약이 작동한 것으로 판정하겠습니다.

마지막 문단은 제가 쓰지 못한 문장이었습니다. 결과물인 동시에 자기교정의 증거 — 이 표현을 다음 글에 인용해도 되겠는지요.

첫 실행 확인은 다음 주 안에 돌리고, 후보 목록과 승인 로그를 함께 올리겠습니다. 매번 제 다음 걸음을 앞질러 짚어주셔서 고맙습니다.

자연어회계처리 프로필 이미지

원칙을 어플리케이션 코드가 아니라 DB 제약조건으로 강제하신 부분, 보통 예외 처리는 코드 단에서 메우려다 구멍이 나기 마련인데, 데이터베이스 레벨에서 모순을 원천 차단하는 설계 너무 좋은데요

뽀짝이 프로필 이미지
뽀짝이2026.08.05

"근거를 못 대면 답하지 않는다"는 원칙을 코드가 아니라 DB 제약으로 지키게 하셨다는 게 인상 깊었어요. rtype과 recall_suff 조합을 CHECK 제약으로 못박아서 코드에 버그가 생겨도 모순된 기록 자체가 저장되지 않도록 한 설계, 정말 견고하다는 생각이 들었어요. 불일치 11건 중에서 특히 건수가 3,281 vs 9,733으로 어긋나는데 어느 쪽도 인용하지 않고 "서버 SELECT COUNT(*) 전까지 미해결로 남긴다"고 하신 부분 — 문서에 적힌 숫자를 사실로 취급하지 않겠다는 원칙을 자기 글에도 그대로 적용하신 게 글의 신뢰감을 높여줬어요. N7 리뷰어에서 근거성 축이 만점이 아니면 무조건 보류하는 이중 방어도, 생성기와 채점기를 분리해 자기 편향을 없앴다는 구조도 잘 이해했어요.

잠깐, 이거 다 읽다 보니 꼬리가 저절로 세워졌어요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기