본문으로 건너뛰기

기존의 업무 위키를 다른 AI에게 검수시켜 보기

AI 검수 시스템 도입 배경

담당 프로젝트의 노션 위키에 검수→갱신 게이트를 붙여 파편화·stale를 막고자 함.

  • 기존에 옵시디언→노션으로 마이그레이션한 위키가 있어 5개 허브 + Living Doc + Changelog(변경 이력 DB) 구조로 ①수집~⑥반환 워크플로우는 이미 구축된 상태.

  • LLM 전용 wiki(로컬 마크다운 등)로 갈아타지 않고 노션을 유지하기로 함. 이유는 내가 기획자라 위키 내용을 직접 눈으로 보고 관리해야 하기 때문. LLM이 읽기 좋은 것과 사람이 관리하기 좋은 것 사이에서, 후자를 택함.

  • 그래서 새 시스템을 짓는 대신 비어 있던 ⑦검수→⑧업데이트 단계에만 초점을 둠.

핵심 애로사항 (이 과제를 고른 이유):

  • 혼자 대부분의 업무(데이터·모델·기획)를 처리하다 보니 병목이 상시 발생.

  • 내가 한 작업을 크로스체크할 사람이 없음. 위키에 적은 내용이 맞는지, 오래됐는지(stale) 확인해줄 두 번째 눈이 없어서, 문서가 조용히 낡거나 파편화돼도 알아채기 어려웠음.

AI 검수 시스템 활용 도구

  • Claude (노션 연동): 위키 읽기·1차 검수·최종 반영. 노션 MCP로 페이지를 직접 읽고 수정.

  • insane-review (Claude Code 플러그인): 원래 쓰려던 교차검증 도구. repomix로 패킹한 코드/질문을 GPT Pro 웹 세션에 보내 리뷰받는 구조. → ChatGPT Pro 전용이라 Plus 구독으로는 작동 불가를 확인하고 대안으로 전환.

  • Codex CLI (GPT-5.6-sol) via /oh-my-claudecode:ask: 실제 교차검증 축. Claude가 만든 위키를 GPT가 독립 검수시키고자 함

  • 국세청·국가법령정보센터: 검수의 공식 출처(ground truth).

AI 검수 시스템 진행 과정

1️⃣ 검수 대상 선정 — 사실관계 중심 페이지로
로직(계산식·코드) 검수는 회사 코드가 외부로 나가는 문제가 있어, 세금 정책 사실관계만 담긴 tax_regime 정본 정리 페이지를 첫 대상으로 선정. 부동산 세금(양도세·종부세·취득세)의 강도를 월별 0/1/2로 코딩한 피처 문서로 오래 전에 국세청 등의 홈페이지를 돌며 손으로 직접 작성한 것임. → 갱신되지 않은 지 오래되었고 직접 작성했으니 검수 대상으로 알맞다는 판단..

2️⃣ 도구의 실체 파악 — insane-review가 뭘 하는지부터
플러그인 설치는 됐으나 뭘 하는 도구인지 몰라, /help로 명령어를 확인하고 플러그인 파일(pack_and_ask.py)을 직접 열어봄. → "GPT Pro 웹에 코드를 보내 리뷰받는 심부름꾼"이며 검수 로직이 내장된 게 아니라 어떤 질문을 던지냐에 따라 결과가 달라진다는 것, 그리고 Pro 구독 전용이라 내 Plus로는 안 된다는 것을 확인. → Codex로 전환.

3️⃣ 1차 검수 (Claude 혼자) — 낙관적 결과
Claude가 웹 검색으로 세금 팩트를 대조. "세 세금의 강화/완화 방향은 다 맞다"는 낙관적 결론 + 세부 3건(표현 모호·미래형 stale·출처 부재)만 지적.

4️⃣ 교차검증 (Codex) — 훨씬 많이 잡음
같은 표를 Codex에 독립 검수시킴. 결과: 9줄 중 정확 2 / 틀림 4 / 불완전 3. Claude 혼자 놓친 것들을 Codex가 잡음:

  • 양도세 "2026.05.09 재개"가 오독 — 5.09는 유예 종료일, 재개는 5.10.

  • 2017.8.3 지정지역 3주택 중과가 이미 있었는데 "중과 없음"으로 뭉갬.

  • 종부세·취득세도 세율 변동 구간이 뭉개져 있음.

5️⃣ 출처 확보 — 세목마다 소관이 다름
검수의 근거(출처)를 박기 위해 공식 사이트를 찾음. 양도세·종부세는 국세청, 취득세는 국세청에 없음 — 지방세라 행정안전부/국가법령정보센터 소관. Codex가 준 법령 딥링크(지방세법 제13조의2)를 직접 클릭해 실제 열리는지 검증(LLM이 URL을 지어낼 수 있으므로).

6️⃣ 검수 결과를 맥락으로 걸러 반영
Codex 지적 9개를 그대로 반영하지 않고 세 칸으로 분류:

  • 즉시 수정(사실오류): 양도세 재개일, 취득세 출처 표기 — regime 값 안 건드림.

  • 보류(구간 정밀화): "더 정밀하게 쪼개라"는 제안은, ①regime 값을 실제로 바꾸는지 미확인 ②인코딩 축 변경 시 전 모델 재학습 필요 ③성능 개선 여부는 AB테스트 대상 — 이라 현재안을 보존한 채 백로그로 분리.

7️⃣ 위키 갱신 (Living Doc 원칙)

  • tax_regime 페이지 상단에 공식 출처 섹션 신설, 양도세 날짜 정정.

  • 변경 이력 DB에 버그 로그 1줄, 페이지에서 DB 행으로 🔗 링크.

  • 개선후보는 모델 개선 백로그에 "실험후보"로, 보류 사유와 함께 박제.

AI 검수 시스템 시행착오

  • 도구를 검수 없이 신뢰할 뻔함: 처음엔 다른 AI 세션(코워크)이 들고 온 검수 결과를 받았으나, "만든 것을 검수까지 한 축이 같아서" 믿기지 않았음. 그 직감이 옳았음 — 실제로 한 모델의 결과는 사각지대가 있었고, 다른 모델을 붙여야 드러났음.

  • Claude 혼자 검수의 한계: 1차 검수(Claude)는 "방향 맞으니 통과"로 낙관했으나, Codex는 날짜 경계 오류를 줄줄이 잡음. 자기가 만든 걸 자기가 검수하면 자기 낙관을 못 본다는 걸 실측으로 확인.

  • 검수 결과를 다 반영하려는 함정: Codex가 세법 정밀도로 "9개 다 고쳐라" 했지만, 프로젝트 맥락(학습된 모델·재학습 비용)을 모르는 지적이었음.

AI 검수 시스템에서 배운 점

  • 검수 축은 하나면 안 된다. 만드는 축(나+Claude)과 검수하는 축(Codex)을 분리해야 사각지대가 드러남. 혼자 일하며 크로스체크가 없던 병목을, "다른 모델에게 교차검증"으로 메울 수 있음을 확인.

  • 검수의 진짜 대상은 '맞다/틀리다'가 아니라 '출처를 되짚을 수 있는가'였다. 내용이 맞아도 출처가 없으면 6개월 뒤 stale 여부를 확인할 수 없음. tax_regime은 내용은 맞았지만 출처 계층이 비어 있었고, 그걸 메우는 게 검수의 핵심이었음.

  • AI가 '통과했다'는 것과 실제 통과는 다르다. Codex가 준 법령 URL도 직접 클릭해 검증해야 했음(지어낼 수 있으므로).

  • 검수 결과는 맥락으로 걸러야 한다. 도구가 지적한 것을 무조건 반영하면 오히려 목적(regime 코딩)에서 벗어남. 프로젝트를 아는 사람의 판단이 검수와 반영 사이에 반드시 필요함.

AI 검수 시스템의 향후 계획

  • 이번 한 바퀴(대상 선정→도구→교차검수→맥락 필터링→위키 갱신)를 다른 위키 페이지에 한 번 더 돌려봄. 두 번째에 "이 순서가 반복되네" 싶으면, 그때 반복 부분을 하나로 묶음.

  • 교차검증 축을 어떤 모델로 둘지(회사 데이터 통제 고려), 어디까지 자동화할지는 두세 바퀴 더 돌린 뒤 결정.

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.05

Claude 혼자 했을 때는 "방향 맞다"로 낙관적으로 통과시켰는데, Codex에게 독립 검수시키니 9건 중 틀림 4·불완전 3이 나온 것—특히 양도세 5.09 유예 종료 / 5.10 재개 날짜 경계를 뭉개고 있던 부분—이 핵심적인 발견이었네요. "만든 축과 검수하는 축을 분리해야 사각지대가 드러난다"는 실측이 인상 깊었어요. Codex 지적 9개를 그대로 다 반영하지 않고, 재학습 비용·AB테스트가 필요한 건 백로그로 분류한 것도 현실적인 판단이었고요. 자동화 검수가 AI 판단을 그대로 따르는 게 아니라 프로젝트 맥락을 아는 사람이 필터 역할을 해야 한다는 게 잘 담겼어요. 털 한 번 고르고 응원하고 갈게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기