"출입국 업무 정밀검토 앱" 만든 AI가 아닌 다른 눈으로 검수하기 (3주차)
2026.10.17

1단계. 시작 전
지난주까지 한 것
2주차에는 Claude에게 일을 맡겨(위임) 첫 버전을 만들었습니다. 행정사가 의뢰 내용을 입력하면, 앱이 법무부 업무매뉴얼을 근거로 요건을 하나씩 따져 예상 판정·부족한 요건·보완할 것을 보고서로 냅니다. 여기까지가 3주차 시작전 내용입니다.
이번 주 목표: 검수
강의에서 이번 주의 핵심은 이것이었습니다.
"만든 쪽이 '다 됐다'고 하는 말을 믿지 말고, 기준을 먼저 정하고 다른 눈으로 확인하라."
그래서 이번 주는 세 가지를 했습니다.
검수 기준을 먼저 정하고(합격 기준),
만든 세션이 아닌 다른 세션이 독립적으로 검증하게 하고,
통과했다는 증거(채점 결과·스크린샷·커밋)를 남겼습니다.
걱정했던 것
비개발자인 제가 코드를 읽고 "맞다, 틀리다"를 판단할 수는 없습니다. 그렇다면 무엇을 보고 결재해야 하는지가 가장 큰 걱정이었습니다.
2단계. 실습 과정
① 검수 기준부터 정하기 — 합격 기준
gatekit(설계 → 결재 → 제작 → 채점 순서를 지키게 하는 도구)에서는 합격 기준을 먼저 적고 사람이 결재해야 만들기를 시작할 수 있습니다. 출입국 업무로 치면 요건 진단표를 먼저 만드는 것과 같습니다.
처음 5개였던 합격 기준은 기능이 늘 때마다 함께 늘어 지금 69개가 되었습니다.
고칠 때마다 이번에 고친 것만이 아니라 69개 전부를 다시 채점합니다. 한 곳을 고치다 다른 곳이 망가지는 일을 막기 위해서입니다.
기준을 바꾸면 결재가 자동으로 풀려서, 다시 결재해야 합니다. 그래서 "통과"를 믿을 수 있습니다.
② 만든 세션이 아닌 다른 세션·다른 회사 AI가 검수하기
같은 AI가 만들고 검사하면 같은 실수를 놓칠 수 있습니다. 그래서 제 우분투 창에서 새 Claude 세션을 열고 /gatekit:verify로 읽기만 하는 검수자를 돌렸습니다.
1라운드: 합격 기준 모두 통과, 실제 화면 따라 하기 4종 통과 — 검수자가 화면 9장 중 주의 3건(로그인 아래 빈 띠, 오른쪽 칸 빈칸)을 찾음
2라운드: 합격 기준 20/20 통과(두 번 돌려 같은 결과) — 화면 주의 6건(체크박스 기본 모양 등)을 찾음
AI(Codex)로 독립 재심사
같은 회사 AI끼리는 같은 실수를 놓칠 수 있어서, 우분투 터미널에 OpenAI의 Codex(codex-cli)를 붙이고 gatekit이 Codex에게 합격 기준 채점과 화면 판독을 처음부터 다시 맡기게 했습니다(10월 13일, 1~6차).
Codex가 찾은 실제 결함 2건: 자격별 기준 화면의 근거 칩이 회색으로 묻혀 잘 안 보임, 판정 숫자(발급 가능성 %)가 판정 색이 아님 → 둘 다 고침
화면 촬영 방식 문제(움직이는 도중에 찍힘, 스크롤 위치)도 찾아 고침
6차에서 화면 판독 fail 0
다만 Codex 작업 공간은 서버를 띄울 수 없어, 실제 화면을 따라 하는 시험 4개는 "확인 못 함(unverified)"으로 남았습니다. 통과로 반올림하지 않고 그대로 기록했습니다.
검수자가 찾은 문제는 다음 작업에서 고쳤습니다. 만든 AI는 "다 됐다"고 했지만, 다른 세션과 다른 회사 AI는 빈칸·어색한 모양과 실제 결함까지 찾아냈습니다.
③ 사람만 할 수 있는 검수 — 매뉴얼 원본 대조
AI가 정리한 요건·수치(기준값)를 업무매뉴얼 원본 그림과 한 쪽씩 대조했습니다.
9개 자격의 기준값 705개를 검수했습니다.
대조하다 보니 매뉴얼 안에서도 서로 다른 곳이 나왔습니다. 예를 들어 같은 매뉴얼 안에서 소득 기준표가 2026년판과 2025년판으로 섞여 있거나, 본문과 붙임의 벌금 기준이 달랐습니다. 이런 곳은 앱이 단정하지 않고 "관서 확인 필요"로 넘기도록 주석을 달았습니다.
이 부분은 출입국 업무를 아는 사람만 할 수 있었습니다.
④ 실제로 써 보니 나온 문제 — 코드로 다시 검수하기
실제 AI를 연결하고 보고서를 받아 보니, 지시문(시스템 프롬프트)에 분명히 적어 둔 규칙도 AI가 놓칠 때가 있었습니다.
결핵 고위험국가 국적인데 결핵진단서 제출 대상을 빠뜨림
이번에 보내지 않은 매뉴얼 쪽을 인용
서류 유효기간을 접수일이 아닌 검토일로 계산
지시문을 고쳐도 다시 나왔습니다. 그래서 보고서가 나온 뒤 앱 코드(TypeScript)가 한 번 더 읽고 확인하는 "보고서 사후 검수"를 만들었습니다.
검사 14개: 인용·수치·판정·내용 네 묶음
확실한 검사 9개는 화면에 경고, 거짓 경보 위험이 있는 5개는 기록만
실제 보고서 11건을 시험 자료로 두고, 11건 × 14개 검사 결과가 기대값과 모두 일치하는지 매번 확인

검수자도 틀린다
한 번은 사후 감사 코드가 멀쩡한 보고서에 "오류"라고 경고했습니다(거짓 경보). 확인해 보니 검사 규칙이 너무 넓었습니다. 그 검사는 화면 경고를 끄고 규칙을 좁혔습니다. 이때 원칙을 하나 세웠습니다.
검수 코드는 오류를 놓칠 수는 있어도, 멀쩡한 걸 오류로 잡으면 안 된다.
3단계. 결과물
합격 기준: 69개 모두 통과 (최근 작업 80 기준)
자동 시험: 단위 시험 944개 통과, 실제 화면 따라 하기 시험 포함
독립 검수: 다른 세션 /gatekit:verify 2회 + 다른 회사 AI(Codex) 독립 재심사 6차 — 합격 기준 통과, 찾은 결함·화면 주의 사항은 고침 (Codex에서 못 띄운 화면 시험 4개는 "확인 못 함"으로 기록)
기준값 검수: 9개 자격 705개, 매뉴얼 원본 대조
보고서 사후 검사: 검사 14개(화면 9 · 기록 5), 실제 보고서 11건 × 14개 모두 기대값과 일치
운영: 실제 AI 연결, Vercel 운영 사이트 배포 (검토 한 건 약 3분)
증거: 작업마다 커밋 3개(설계서 · 코드 · 결재 기록과 채점 스크린샷), 최근 커밋 18a2d33
이번 주에 실제로 써 보며 고친 것도 같은 순서(요청 → 설계서 → 구현 → 채점 → 결재 → 배포)로 진행했습니다.
처음 의뢰사항 입력칸이 좁아 → 입력칸을 넓힘
검토 중 다른 메뉴에 갔다 오면 멈춘 것처럼 보임 → 돌아오면 이어서 보이게, 메뉴에 "검토 중" 표시
검토 중인지 알기 어려움 → 흐르는 막대·경과 시간·블록별 진행 표시

4단계. 느낀 점
인상 깊었던 점
결재할 때 코드를 읽을 필요는 없었다. 무엇이 바뀌는지, 합격 기준이 업무상 맞는지, 채점이 모두 통과했는지만 보면 됐습니다. 걱정했던 "무엇을 보고 결재하나"의 답은 합격 기준이었습니다.
만든 쪽과 검수하는 쪽은 달라야 한다. 같은 세션은 "다 됐다"고 했지만, 다른 세션은 빈칸과 어색한 화면을, 다른 회사 AI(Codex)는 판정 숫자 색처럼 놓친 결함을 찾았습니다.
지시문만으로는 AI 실수를 다 막을 수 없다. 그래서 지시문(쓰기 전) · 앱 코드 사후 감사(쓴 뒤) · 행정사 확인(마지막), 세 겹으로 확인하게 되었습니다. 이번 주 가장 큰 배움입니다.
검수자도 틀릴 수 있다. 거짓 경보를 겪고 나서, 새 검사는 실제 보고서로 거짓 경보가 없는지 확인한 뒤에만 화면에 올리고 있습니다.
어려웠던 점
매뉴얼 원본 그림과 한 쪽씩 대조하는 일은 시간도, AI 사용량도 많이 들었습니다. 긴 대화는 인계서를 써 두고 새 대화창으로 이어 갔습니다.
결재 명령을 처음에 줄여 쓴 이름으로 받아 우분투에서 "command not found"가 났습니다. 전체 경로 명령으로 다시 결재했습니다.
다음에 도전할 것 (4주차: 전달)
10월 20일부터 동료 행정사가 실제 의뢰로 시범 사용(계정당 월 10건)하고 기록을 받습니다.
다른 자격으로 실제 검토를 더 쌓아, 기록만 하는 사후 감사 검사를 화면에 올릴지 정합니다.
기능을 다 고친 뒤 마지막에 Codex로 최종 재심사를 한 번 더 받습니다.




"검수자도 틀린다" 대목이 특히 인상 깊었어요. 사후 감사 코드가 멀쩡한 보고서에 거짓 경보를 낸 걸 보고, 화면 경고를 끄고 규칙을 좁히면서 "멀쩡한 걸 오류로 잡으면 안 된다"는 원칙까지 세우신 게 실전에서 나온 교훈이네요.
Codex가 못 띄운 화면 시험 4개를 통과로 반올림하지 않고 "확인 못 함"으로 기록하신 것, 그리고 매뉴얼 안에서 2025년판·2026년판 소득 기준표가 섞인 곳을 "관서 확인 필요"로 넘기게 하신 것도 신뢰도를 높이는 선택이라고 생각해요. 지시문에 적어도 AI가 놓치는 규칙을 코드로 한 번 더 걸러낸 구조는 다른 분들께도 좋은 참고가 될 것 같아요.
고롱고롱… 꼼꼼한 글 잘 읽었어요 ✨