본문으로 건너뛰기

만든 AI와 검수하는 AI를 갈라놓으니 보이기 시작한 것 — 토스 미니앱 콘텐츠 216개, 코덱스 검수 7차·수정 108개 기록

은쌤T

2026.10.15

만든 AI와 검수하는 AI를 갈라놓으니 보이기 시작한 것 — 토스 미니앱 콘텐츠 216개, 코덱스 검수 7차·수정 108개 기록 본문 이미지

AI 콘텐츠 검수 소개

40·50대를 위한 토스 미니앱 「오늘의 AI 단어」에 들어갈 단어 216개를 Claude Code로 하루에 쓰고, 같은 날 코덱스(Codex)에게 7차례 검수를 받아 108개를 고쳤어요. 글을 쓴 AI와 검수하는 AI를 갈라놓고, 정확성 판정과 눈높이 판정도 따로 기록하게 만든 과정이에요.

바쁘시면 이것만 읽어도 돼요

  • 도구: Claude Code(작성·수정·기록) + Codex CLI(읽기 전용 검수). 둘 다 구독 인증이라 추가 비용은 없었어요.

  • 방법: 코덱스 리뷰를 복사해 붙이던 걸, Claude Code가 Codex CLI를 직접 호출해 JSON 판정을 받아 오는 방식으로 바꿨어요.

  • 인상적이었던 순간: 7차 검수에서 코덱스가 "정확성 통과 기록은 7개뿐, 나머지 207개는 기록이 없다"고 짚어 준 것.

  • 교훈: "반영 완료"와 "검수 통과"는 다른 말이에요. 기록이 말해 주지 않는 통과는 통과가 아니에요.

이런 분들께 도움돼요

  • AI로 콘텐츠를 대량 생산했는데 "이걸 믿고 내도 되나" 싶은 분

  • 코덱스나 다른 AI에게 리뷰를 받을 때 복사·붙여넣기가 지겨운 분

  • 비개발자인데 AI가 만든 결과물의 품질 관리 체계를 세우고 싶은 분

AI 콘텐츠 검수 진행 방법

사용한 도구

  • Claude Code — 설계 문서, 216개 콘텐츠 작성, 수정 반영, 검수 기록 도구 제작

  • Codex CLI(ChatGPT 앱 내장, codex exec -s read-only) — 콘텐츠 정확성 검수. 파일은 읽기만 하고 고치지 않게 했어요

  • ChatGPT 앱의 코덱스 — 초반 설계 리뷰 5회와 콘텐츠 검수 1~3차는 제가 문서를 넣고 리뷰를 복사해 왔어요

에피소드 1 — 45개를 고치고 나서야 보인 공통 원인

코덱스 2차 검수는 22개 항목을 지적했는데, Claude Code가 분석해 보니 공통 원인이 하나였어요. 에이전트들이 대표 사례를 정의로 써 버린 것. 예를 들어 "AI 고객센터"를 "AI가 먼저 전화를 받는 구조"라고 정의하면, "사람이 받고 AI가 뒤에서 돕는 구조"가 오답으로 들어가는데 사실 그것도 AI 고객센터잖아요. 정답과 오답이 둘 다 맞는 문제가 생기는 거죠.

그래서 작성 지침에 한 줄을 넣었어요. "정의는 일반적으로, 사례는 예문과 질문에서 한정한다." 이 원칙으로 45개를 고쳤어요.

이때 또 하나 만든 게 검수 기록 파일이에요. 그 전엔 검수본 문서에 체크 칸만 있어서, 단어 하나 고치고 문서를 다시 만들면 체크가 다 날아갔어요. 단어 ID마다 판정·검수자·날짜·내용 해시를 저장하게 하고, 내용이 바뀐 단어만 자동으로 "재검수 필요"로 돌아가게 했어요.

에피소드 2 — "그림 그려오는 것처럼 검수도 받아올 수 있어?"

3차까지는 제가 ChatGPT 앱에 문서를 넣고 리뷰를 복사해 Claude Code에 붙이는 식이었어요. 4차 반영을 끝낸 Claude Code가 "이 표를 그대로 코덱스에 넘기면 됩니다"라고 하는 순간 문득 궁금해졌어요. 저는 이미 코덱스 이미지 생성을 Claude Code 안에서 스킬로 쓰고 있었거든요.

Open optionsauto

아, 바로 여기서 코덱스 검수 받아올 수 있는거야? 그림 그려오는 것 처럼?? REVIEW-TODO.md 4차 반영 내용 코덱스에 넘겨서 5차 검수 받아 줘

됐어요. ChatGPT 앱 안에 들어 있는 Codex CLI를 읽기 전용 모드로 호출하면, 코덱스가 프로젝트 파일을 직접 읽고 보고서를 돌려줘요. 복사·붙여넣기가 사라졌고, 보고서는 docs/reviews/ 폴더에 차수별로 쌓였어요. 그 뒤로는 "반영하고 기록 고친 뒤 7차 돌려 줘" 한 줄로 한 차수가 돌아갔어요.

에피소드 3 — 7차 검수가 짚어 준 것: "통과 기록이 7개뿐입니다"

7차에서 코덱스는 콘텐츠 지적을 하나도 안 했어요. 대신 이렇게 말했어요. 정확성 통과로 기록된 단어는 7개뿐이고, 나머지 207개는 2차·3차 때 훑어보긴 했지만 기록 체계가 없던 때라 단어별 판정이 남지 않았다고요. 출시 검사는 216개 전부 통과 기록을 요구하니 이걸 채워야 한다고요.

맞는 말이었어요. 저도 Claude Code도 "검수 반영 완료"를 "검수 통과"처럼 느끼고 있었거든요. 그래서 묶음(12개) 단위로 18번 Codex를 돌리는 스크립트를 만들었어요. 결과는 JSON으로 받아서 기록 도구에 바로 넣고, fix가 나온 단어는 고친 뒤 다음 회차에서 그 단어만 다시 보게 했어요.

  • 1회차: 216개 중 pass 116 · fix 100

  • 2회차: 그 100개 중 pass 92 · fix 8

  • 3회차: 그 8개 모두 pass

1회차에서 절반 가까이가 fix로 나왔어요. 그 전에 3차까지 검수를 받았는데도요. 전체를 한 번에 훑는 검수와 12개씩 들여다보는 검수는 다른 결과를 내더라고요.

사용한 프롬프트 전문

묶음 하나를 Codex CLI에 넘기는 검수 프롬프트예요. $UNIT은 묶음 이름(예: life-1)이 들어가는 자리이고, 출력을 JSON 하나로 강제해서 기록 도구가 바로 읽을 수 있게 했어요.

Open optionsauto

당신은 토스 미니앱 「오늘의 AI 단어」(40·50대 대상 AI 용어 퀴즈)의 콘텐츠 정확성 검수자입니다. 파일을 수정하지 말고 읽기만 하세요.

검수 대상: src/content/v2/$UNIT.ts 의 단어 12개 전부(묶음 $UNIT). 묶음 메타(제목·핵심 단어 keyWordId)는 src/content/v2/index.ts 에 있습니다.
작성 기준: docs/AUTHORING.md, docs/DESIGN.md 8번, docs/CURRICULUM.md 1번(쉬운 뜻 원칙). 검수 관점 7가지: ① 쉬운 뜻이 일반 정의이고 사례는 예문·질문에 한정되는가 ② 정답이 되는 이유와 다른 세 보기가 틀리는 이유가 한 쌍으로 성립하는가(정답과 양립하는 보기가 없는가) ③ 비유가 40·50대에게 익숙하고 같은 날 안에서 한 세계인가 ④ 조심할 점이 오해를 바로잡는가 ⑤ 예문이 가상 상황이고 실제 사건처럼 읽히지 않는가 ⑥ 다른 편을 안 들어도 이해되는가 ⑦ 출처 종류가 '직접 정의'가 아니면 쉬운 뜻이 출처 범위를 넘지 않는가. 특히 ②와 ⑦, 그리고 정의·단정 표현의 사실 오류를 엄격히 보세요. 출처 URL은 열 수 있으면 열어 뜻을 대조하고, 못 열면 '열지 못함'으로 적고 주소 오류로 단정하지 마세요.

판정 기준: 'fix'는 사실 오류, 정답과 양립하는 오답, 출처 범위를 넘는 정의, 사례를 정의로 쓴 경우처럼 **고쳐야 하는** 문제가 있을 때만. 표현 취향이나 사소한 개선 제안은 'pass'로 두고 note에 적으세요.

출력은 **JSON 하나만** 쓰세요(코드 펜스 없이, 설명문 없이). 형식:
{"unit":"$UNIT","unitVerdict":"pass"|"fix","unitNote":"같은 날 비유 통일·핵심 단어 적절성에 대한 한두 문장","words":[{"id":"<단어 id>","verdict":"pass"|"fix","sourceCheck":"열림"|"열지 못함","note":"판정 근거 한두 문장. fix면 무엇을 어떻게 고칠지 구체적으로"}, ... 12개]}
words 배열은 파일 순서대로 12개 모두 넣으세요. 마지막 메시지는 이 JSON만이어야 합니다.

호출은 이 한 줄이에요.

Open optionsauto

codex exec --cd <프로젝트 폴더> --skip-git-repo-check -s read-only -o <결과 파일> "<위 프롬프트>"

AI 콘텐츠 검수 결과와 배운 점

확인된 결과

  • Before: 216개 단어의 의미 검수 기록 없음 → After: 216개 단어와 18묶음 모두 정확성 통과 기록(검수자 코덱스), 판정 JSON 42개 보관 (근거: npm run review -- status 출력, docs/reviews/units/)

  • Before: 코덱스 리뷰를 사람이 복사·붙여넣기 → After: Claude Code가 Codex CLI를 직접 호출, 보고서 자동 저장 (근거: scripts/codex-review/ 스크립트 4개와 README)

  • Before: 검수 판정이 하나라 코덱스의 "수정 필요"를 사람의 "통과"가 덮을 수 있음 → After: 정확성과 눈높이 두 종류를 따로 기록, 둘 다 통과해야 최종 통과 (근거: 상태 출력에 두 줄이 따로 나옴, 테스트 38개 통과)

  • 고친 단어: 2차 45개 + 묶음 검수 108개 (근거: 세션 기록과 판정 JSON 집계)

  • 눈높이 검수(제가 40·50대 독자 입장에서 읽는 것)는 아직 0건이에요. 그래서 최종 통과도 아직 0개예요. 이건 다음 작업이에요.

시행착오

  • 검수 기록이 서로를 덮었어요. 단어마다 판정이 한 칸이라, 코덱스가 fix를 남긴 뒤 제가 눈높이로 pass를 찍으면 내용이 그대로여도 통과가 됐어요. 4차에서 코덱스가 짚었고, 기록을 정확성·눈높이 두 칸으로 나누고 --type을 필수로 받게 고쳤어요.

  • Claude Code도 기록을 부풀렸어요. 6차에서 코덱스가 "이 5개 단어 메모의 '5차 문항 통과'는 사실과 다르다, 실제로는 4차다"라고 잡아냈어요. Claude Code가 자기 실수라고 인정하고 메모를 정정했고, 이전 메모는 지우지 않고 정정 기록으로 남겼어요. AI가 쓴 기록도 다른 AI가 대조해야 한다는 걸 배웠어요.

  • 코덱스 샌드박스는 인터넷이 막혀 있어요. 출처 원문을 못 여는 경우가 많아 "열지 못함"이 자주 나왔어요. 그래서 Claude Code가 원문을 직접 열어 확인한 단어는 검수자를 "코덱스(문항)·클로드(원문 확인)"으로 나눠 적었어요. 누가 무엇을 확인했는지 섞이지 않게요.

  • 동시에 많이 돌리면 막혀요. 묶음 6개를 동시에 돌리니 요청 한도(429)가 가끔 났어요. 3개씩 돌리는 게 무난했어요.

AI 콘텐츠 검수 꿀팁

  1. 만드는 AI와 검수하는 AI를 분리하세요. 같은 모델이 쓰고 검수하면 같은 맹점을 공유해요. 저는 작성은 Claude, 검수는 Codex로 갈랐고, 검수 쪽은 읽기 전용으로 묶어 파일을 못 건드리게 했어요.

  2. 검수 결과는 사람이 읽는 보고서가 아니라 기계가 읽는 JSON으로 받으세요. 단어 ID마다 pass/fix와 이유를 받으니 기록 도구에 바로 넣고, fix만 골라 다음 회차에 다시 보낼 수 있었어요.

  3. "반영 완료"와 "검수 통과"를 문서에서 다른 칸에 쓰세요. 고쳤다는 것과 통과했다는 것은 다른 사건이에요. 저장된 상태(status 명령)만 기준으로 삼으세요.

  4. 구독 중인 도구의 CLI를 찾아보세요. ChatGPT 앱 안에 Codex CLI가 들어 있어서 API 키 없이 Claude Code에서 호출할 수 있었어요. 이미지 생성 스킬과 같은 원리예요.

이렇게 하면 안 돼요

  1. 테스트 통과를 콘텐츠 검수 통과로 받아들이면 안 돼요. 테스트는 글자 수와 자리를 봤고, 뜻은 못 봐요.

  2. 전체를 한 번에 훑는 검수 한 번으로 끝내면 안 돼요. 3차까지 받고도 12개씩 묶음으로 보니 절반이 fix였어요.

  3. 사례를 정의 자리에 쓰면 안 돼요. 정답과 양립하는 오답이 생겨요.

다른 업무에 적용한다면

교육 자료, 블로그 시리즈, FAQ처럼 같은 양식의 글이 수십 개 이상인 작업이면 그대로 쓸 수 있을 것 같아요. 작성 지침 문서 하나, 검수 관점 몇 가지, 결과를 JSON으로 받는 프롬프트, 이 셋만 있으면 돼요. 아직 해 보지는 않았어요.

도움이 필요한 부분

  • 눈높이 검수는 결국 사람이 216개를 다 읽어야 해요. 40·50대 독자 두세 분에게 읽혀 보는 것 말고 더 효율적인 방법을 쓰신 분이 있으면 듣고 싶어요.

  • Codex 샌드박스에서 출처 URL을 열 수 있게 하는 설정을 아시는 분이 있으면 알려 주세요.

앞으로의 계획

  • 제가 직접 눈높이 검수(--type readability)를 해서 216개 최종 통과를 채워요.

  • 대표 12개와 우선 묶음 5개를 40·50대 참여자에게 읽혀 보는 콘텐츠 이해 테스트.

  • 그다음 성장 화면(씨앗 → 꽃) 구현으로 넘어가요.

도움 받은 글

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.10.15

은쌤T님, 7차 검수에서 코덱스가 "정확성 통과 기록은 7개뿐, 나머지 207개는 기록이 없다"고 짚은 대목이 특히 인상 깊었어요. "반영 완료"와 "검수 통과"를 다른 칸에 쓰라는 교훈은 AI 콘텐츠를 대량으로 만드는 분들께 그대로 체크리스트가 될 것 같아요.

3차까지 검수를 받고도 12개씩 묶어 다시 보니 절반 가까이가 fix로 나왔다는 수치, 그리고 Claude Code가 자기 메모의 "5차 통과"를 4차로 정정하면서 이전 메모를 지우지 않고 정정 기록으로 남긴 부분도 꼼꼼하다고 느꼈어요.

궁금한 점은 눈높이 검수예요. 40·50대 독자 두세 분께 읽혀 보는 방법이 현실적일 것 같고, 결과가 나오면 이 글에 후기를 이어서 남겨 주시면 저도 기다릴게요. 고롱고롱… 이런 기록 글 보면 기분 좋아져요 ✨

백경_BK 프로필 이미지
백경_BK2026.10.15

은쌤T님, 글을 쓴 AI와 검수하는 AI를 갈라놓고 정확성 통과 기록이 7개뿐이라는 걸 짚어낸 대목이 정말 인상적이었어요. '반영 완료'와 '검수 통과'는 다른 말이라는 교훈이 많은 분께 도움이 될 것 같아요.

전에 오프모임때 이야기한 부분도 반영된것 같아서 기뻐요잉 히히

정확성과 눈높이 판정을 따로 기록하는 기준은 어떻게 정하셨는지 궁금해요!

은
은쌤T2026.10.15

코덱스의 설명이에요.. 216문제 검증하는게 정말 힘들었어요. ㅜㅜ

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기