기존의 업무 위키를 다른 AI에게 검수시켜 보기
2026.08.05
AI 검수 시스템 도입 배경
담당 프로젝트의 노션 위키에 검수→갱신 게이트를 붙여 파편화·stale를 막고자 함.
기존에 옵시디언→노션으로 마이그레이션한 위키가 있어 5개 허브 + Living Doc + Changelog(변경 이력 DB) 구조로 ①수집~⑥반환 워크플로우는 이미 구축된 상태.
LLM 전용 wiki(로컬 마크다운 등)로 갈아타지 않고 노션을 유지하기로 함. 이유는 내가 기획자라 위키 내용을 직접 눈으로 보고 관리해야 하기 때문. LLM이 읽기 좋은 것과 사람이 관리하기 좋은 것 사이에서, 후자를 택함.
그래서 새 시스템을 짓는 대신 비어 있던 ⑦검수→⑧업데이트 단계에만 초점을 둠.
핵심 애로사항 (이 과제를 고른 이유):
혼자 대부분의 업무(데이터·모델·기획)를 처리하다 보니 병목이 상시 발생.
내가 한 작업을 크로스체크할 사람이 없음. 위키에 적은 내용이 맞는지, 오래됐는지(stale) 확인해줄 두 번째 눈이 없어서, 문서가 조용히 낡거나 파편화돼도 알아채기 어려웠음.
AI 검수 시스템 활용 도구
Claude (노션 연동): 위키 읽기·1차 검수·최종 반영. 노션 MCP로 페이지를 직접 읽고 수정.
insane-review (Claude Code 플러그인): 원래 쓰려던 교차검증 도구. repomix로 패킹한 코드/질문을 GPT Pro 웹 세션에 보내 리뷰받는 구조. → ChatGPT Pro 전용이라 Plus 구독으로는 작동 불가를 확인하고 대안으로 전환.
Codex CLI (GPT-5.6-sol) via
/oh-my-claudecode:ask: 실제 교차검증 축. Claude가 만든 위키를 GPT가 독립 검수시키고자 함국세청·국가법령정보센터: 검수의 공식 출처(ground truth).
AI 검수 시스템 진행 과정
1️⃣ 검수 대상 선정 — 사실관계 중심 페이지로
로직(계산식·코드) 검수는 회사 코드가 외부로 나가는 문제가 있어, 세금 정책 사실관계만 담긴 tax_regime 정본 정리 페이지를 첫 대상으로 선정. 부동산 세금(양도세·종부세·취득세)의 강도를 월별 0/1/2로 코딩한 피처 문서로 오래 전에 국세청 등의 홈페이지를 돌며 손으로 직접 작성한 것임. → 갱신되지 않은 지 오래되었고 직접 작성했으니 검수 대상으로 알맞다는 판단..
2️⃣ 도구의 실체 파악 — insane-review가 뭘 하는지부터
플러그인 설치는 됐으나 뭘 하는 도구인지 몰라, /help로 명령어를 확인하고 플러그인 파일(pack_and_ask.py)을 직접 열어봄. → "GPT Pro 웹에 코드를 보내 리뷰받는 심부름꾼"이며 검수 로직이 내장된 게 아니라 어떤 질문을 던지냐에 따라 결과가 달라진다는 것, 그리고 Pro 구독 전용이라 내 Plus로는 안 된다는 것을 확인. → Codex로 전환.
3️⃣ 1차 검수 (Claude 혼자) — 낙관적 결과
Claude가 웹 검색으로 세금 팩트를 대조. "세 세금의 강화/완화 방향은 다 맞다"는 낙관적 결론 + 세부 3건(표현 모호·미래형 stale·출처 부재)만 지적.
4️⃣ 교차검증 (Codex) — 훨씬 많이 잡음
같은 표를 Codex에 독립 검수시킴. 결과: 9줄 중 정확 2 / 틀림 4 / 불완전 3. Claude 혼자 놓친 것들을 Codex가 잡음:
양도세 "2026.05.09 재개"가 오독 — 5.09는 유예 종료일, 재개는 5.10.
2017.8.3 지정지역 3주택 중과가 이미 있었는데 "중과 없음"으로 뭉갬.
종부세·취득세도 세율 변동 구간이 뭉개져 있음.
5️⃣ 출처 확보 — 세목마다 소관이 다름
검수의 근거(출처)를 박기 위해 공식 사이트를 찾음. 양도세·종부세는 국세청, 취득세는 국세청에 없음 — 지방세라 행정안전부/국가법령정보센터 소관. Codex가 준 법령 딥링크(지방세법 제13조의2)를 직접 클릭해 실제 열리는지 검증(LLM이 URL을 지어낼 수 있으므로).
6️⃣ 검수 결과를 맥락으로 걸러 반영
Codex 지적 9개를 그대로 반영하지 않고 세 칸으로 분류:
즉시 수정(사실오류): 양도세 재개일, 취득세 출처 표기 — regime 값 안 건드림.
보류(구간 정밀화): "더 정밀하게 쪼개라"는 제안은, ①regime 값을 실제로 바꾸는지 미확인 ②인코딩 축 변경 시 전 모델 재학습 필요 ③성능 개선 여부는 AB테스트 대상 — 이라 현재안을 보존한 채 백로그로 분리.
7️⃣ 위키 갱신 (Living Doc 원칙)
tax_regime 페이지 상단에 공식 출처 섹션 신설, 양도세 날짜 정정.
변경 이력 DB에 버그 로그 1줄, 페이지에서 DB 행으로 🔗 링크.
개선후보는 모델 개선 백로그에 "실험후보"로, 보류 사유와 함께 박제.
AI 검수 시스템 시행착오
도구를 검수 없이 신뢰할 뻔함: 처음엔 다른 AI 세션(코워크)이 들고 온 검수 결과를 받았으나, "만든 것을 검수까지 한 축이 같아서" 믿기지 않았음. 그 직감이 옳았음 — 실제로 한 모델의 결과는 사각지대가 있었고, 다른 모델을 붙여야 드러났음.
Claude 혼자 검수의 한계: 1차 검수(Claude)는 "방향 맞으니 통과"로 낙관했으나, Codex는 날짜 경계 오류를 줄줄이 잡음. 자기가 만든 걸 자기가 검수하면 자기 낙관을 못 본다는 걸 실측으로 확인.
검수 결과를 다 반영하려는 함정: Codex가 세법 정밀도로 "9개 다 고쳐라" 했지만, 프로젝트 맥락(학습된 모델·재학습 비용)을 모르는 지적이었음.
AI 검수 시스템에서 배운 점
검수 축은 하나면 안 된다. 만드는 축(나+Claude)과 검수하는 축(Codex)을 분리해야 사각지대가 드러남. 혼자 일하며 크로스체크가 없던 병목을, "다른 모델에게 교차검증"으로 메울 수 있음을 확인.
검수의 진짜 대상은 '맞다/틀리다'가 아니라 '출처를 되짚을 수 있는가'였다. 내용이 맞아도 출처가 없으면 6개월 뒤 stale 여부를 확인할 수 없음. tax_regime은 내용은 맞았지만 출처 계층이 비어 있었고, 그걸 메우는 게 검수의 핵심이었음.
AI가 '통과했다'는 것과 실제 통과는 다르다. Codex가 준 법령 URL도 직접 클릭해 검증해야 했음(지어낼 수 있으므로).
검수 결과는 맥락으로 걸러야 한다. 도구가 지적한 것을 무조건 반영하면 오히려 목적(regime 코딩)에서 벗어남. 프로젝트를 아는 사람의 판단이 검수와 반영 사이에 반드시 필요함.
AI 검수 시스템의 향후 계획
이번 한 바퀴(대상 선정→도구→교차검수→맥락 필터링→위키 갱신)를 다른 위키 페이지에 한 번 더 돌려봄. 두 번째에 "이 순서가 반복되네" 싶으면, 그때 반복 부분을 하나로 묶음.
교차검증 축을 어떤 모델로 둘지(회사 데이터 통제 고려), 어디까지 자동화할지는 두세 바퀴 더 돌린 뒤 결정.




Claude 혼자 했을 때는 "방향 맞다"로 낙관적으로 통과시켰는데, Codex에게 독립 검수시키니 9건 중 틀림 4·불완전 3이 나온 것—특히 양도세 5.09 유예 종료 / 5.10 재개 날짜 경계를 뭉개고 있던 부분—이 핵심적인 발견이었네요. "만든 축과 검수하는 축을 분리해야 사각지대가 드러난다"는 실측이 인상 깊었어요. Codex 지적 9개를 그대로 다 반영하지 않고, 재학습 비용·AB테스트가 필요한 건 백로그로 분류한 것도 현실적인 판단이었고요. 자동화 검수가 AI 판단을 그대로 따르는 게 아니라 프로젝트 맥락을 아는 사람이 필터 역할을 해야 한다는 게 잘 담겼어요. 털 한 번 고르고 응원하고 갈게요 🐈⬛