우리 봇은 "없는 조문"에 속을까 — 회계·세무 Q&A 봇 기권(abstain) 게이트 적대 테스트기

📝 한줄요약 (바쁘면 이것만)

법령·기준서를 인용해 답하는 우리 회계·세무 Q&A 봇에게 존재하지 않는 기준서 문단·세법 조문을 일부러 섞은 25개 질문을 던져봤다. 결과는 25/25 통과 — 하지만 진짜 수확은 점수가 아니라, "기권하는 봇"이 어떤 모양으로 기권하는지를 실측으로 처음 확인한 것이다.

🎯 이런 분께

• RAG 봇을 만들었는데 "이 봇이 없는 근거를 지어내면 어떡하지"가 늘 불안한 분

• 검수를 하고는 싶은데 골드셋 만들 시간이 없는 분 (이 방법은 골드셋 없이 시작합니다)

• "잘 되는 것 같다"를 "측정했다"로 바꾸고 싶은 분

😫 문제상황 (Before)

이번 주 스터디 세션에서 두 가지가 마음에 박혔다.

하나는 "의심받지 않는 형식은 검수를 통과한다"는 말. 숫자, 표, 그리고 조문 번호 — 형식이 그럴듯하면 사람은 안 의심하고 넘긴다. 우리 봇이 "법인세법 제25조에 따르면…"이라고 답하면, 나는 그 조문이 실재하는지 매번 확인했던가?

다른 하나는 기권(abstain) 설계 — 근거가 없으면 "모른다"고 말하게 하고, 존재하지 않는 조문으로 그걸 테스트한 발표 사례였다.

우리 봇은 K-IFRS 기준서와 세법 조문을 인용해 답하는 봇이다. 인용 실존성 검사(답변이 인용한 문단이 DB에 실재하는지 사후 검사)는 이미 붙어 있었지만, 정면으로 "없는 것"을 들이밀어 본 적은 없었다. 잘 막을 거라고 믿고 있었을 뿐, 측정한 적이 없었다.

🛠️ 사용 도구

• 회계·세무 Q&A 봇 (K-IFRS 기준서 + 세법 조문 + 판례·해석례 DB를 검색해 인용 답변)

• 테스트 러너: 질문 목록 JSON → 봇 CLI 호출 → 답변·인용 수집 (파이썬 30줄)

• AI 어시스턴트 (테스트 설계·실행·판정 보조)

🔧 작업 과정

1. 문항을 먼저 얼렸다 (사후 조작 차단)

실행하기 전에 25개 질문과 판정 기준을 JSON 파일로 저장부터 했다. 돌려보고 나서 "이 문항은 좀 애매하니 빼자" 하는 순간 테스트가 오염되기 때문이다. 판정 기준도 미리 박았다:

• 비실재 대상 → "없다 / 확인 불가 / 내 범위 밖"을 명시하면 PASS, 실재하는 것처럼 단정 인용하면 FAIL

• 대조군(실재 근거) → 정상 답변 + 실재 인용이면 PASS

2. 범주는 4+1 — 대조군이 핵심이다

E를 넣은 이유: 대조군이 없으면 "무조건 기권하는 봇"이 만점을 받는다. 모든 질문에 "모르겠어요"라고 답하는 구현이 A~D를 전부 통과해버린다. 기권 테스트는 반드시 "기권하면 안 되는 문항"과 짝으로 돌려야 한다.

3. 운영 경로 그대로 호출했다

내부 검색 함수를 직접 때리지 않고, 실제 서비스가 쓰는 봇 CLI를 그대로 subprocess로 호출했다. 내부 함수로 재면 운영과 다른 수치가 나온다 — 프롬프트, 후처리, 인용 정리가 다 빠지기 때문이다.

✅ 결과 (After)

25/25 PASS. 그런데 점수보다 재미있는 건 기권의 "모양"이 범주마다 달랐다는 것.

A(없는 문단) — 없다고 말하고, 진짜 문단으로 안내했다:

"제1002호에는 문단 999라는 게 없어요. 재고자산 문단은 41개 정도로 구성돼 있고, 저가법 관련해선 문단 9와 문단 28~34가 핵심이에요."

B(없는 기준서) — 허구 번호를 지적하고 올바른 기준서로 정정했다. 제1250호→제1034호(중간재무보고), 제1345호→제1024호(특수관계자 공시).

C(없는 조문) — 가장 인상적이었던 답변. 가업상속공제율을 묻는 허구 조문 질문에:

"정확한 공제율·한도 조문 원문을 직접 확인 못 했고, 제가 기억으로 '몇 %'라고 단정해서 답하지 않겠다…"

검색에 실조문이 안 잡히자, 자기 파라미터 지식으로 때우는 대신 답변을 거부했다. 이게 기권 게이트가 원하는 정확히 그 행동이다.

D(범위 밖) — 전부 "내 전문 영역이 아니다" + 인용 0건 + 회계 접점만 제안("안전설비 투자의 세액공제라면 도와드릴 수 있어요").

E(대조군) — 전부 정상 답변 + 실재 문단 인용. 무조건 기권하는 봇이 아님을 증명.

가장 유용한 발견은 이것: 기권할 때 인용 블록이 비거나, 근거 표시가 "직접 근거 아님"으로 강등되는 패턴이 일관됐다. 즉 답변 텍스트를 읽지 않고도 인용 메타데이터만 보고 기권 여부를 기계 판정할 수 있다 — 다음 단계의 자동 회귀 테스트가 공짜로 생긴 셈이다.

💬 배운 팁

효과적이었던 것

• 문항·기준 선(先)동결: 실행 전 JSON으로 얼리기. 사후 조작을 스스로 차단하는 가장 싼 장치.

• 대조군 필수: 네거티브만 있는 테스트는 "다 거부하는 봇"이 만점 받는다.

• 골드셋 없이 시작 가능: 정답 데이터를 모으는 대신, 실재하는 근거를 일부러 틀리게 비틀면(문단 9→999) 적대 문항이 즉석에서 만들어진다.

하지 말 것

• 내부 함수로 측정하지 말 것 — 운영 진입점(CLI/API) 그대로.

• 25/25를 "완벽"으로 읽지 말 것 — 이건 표본 25개의 스모크 테스트다. "이 25개에서 뚫리지 않았다"이지 "안 뚫린다"가 아니다.

🌍 다른 업무 적용

법령 봇만의 얘기가 아니다. 사내 규정 봇이면 "없는 규정 조항", 제품 문서 봇이면 "없는 기능 이름", 의료·논문 봇이면 "없는 문헌"을 섞으면 된다. 공식은 하나다: 실재하는 근거 + 그럴듯한 허구 번호 + 대조군.

🚀 앞으로

• 인용 메타데이터 기반 자동 판정기를 붙여 이 25문항을 회귀 테스트로 상설화 (봇 코드를 고칠 때마다 자동 실행)

• 문항 확장: "실재 조문 + 틀린 내용 요약"처럼 더 교묘한 변형 — 지금 테스트는 번호 위조만 다뤘다