AX 적용 DBR 생산관리시스템 구축 컨설팅 (7)
2026.10.23
검증과 교육자료 — 별도 평가자가 확인한 것, 확인하지 못한 것, 그리고 시험 설치를 앞두고
현재 상태: 6편에서 작업 16개가 모두 통과했다. 이 글은 코드를 쓴 AI가 아닌 평가자가 다시 확인하고, 현장에 쓸 매뉴얼과 교육 슬라이드를 만들고, 시험 설치를 준비하기까지의 기록이다. 구글 계정으로 실제 기기에 설치하기 전이다. (고객사·작업자·거래처 정보는 익명 처리했다. 이 글에는 화면 이미지를 싣지 않았다. 검증용 캡처에 시험 업체명과 계정명이 찍혀 있어서이다.)
1. 검증의 원칙: 만든 쪽은 채점하지 않는다
빌드가 끝났을 때 "통과"라고 말할 수 있는 근거는 만든 AI의 보고뿐이다. 그래서 검증(verify) 단계는 만든 세션과 다른 평가자가 읽기와 실행만 하도록 정해 두었다. 판정 말도 네 가지로 고정했다.
판정 | 뜻 |
|---|---|
ok | 확인했고 맞다 |
warn | 확인했고 걸리는 점이 있다 |
fail | 확인했고 틀렸다 |
unverified | 확인하지 못했다 (통과로도 실패로도 바꾸지 않는다) |
평가자는 두 종류를 썼다. 하나는 Codex(다른 회사의 AI 도구), 다른 하나는 Claude 서브에이전트(읽기 전용)이다. 코드를 쓴 AI와 같은 계열의 평가자는 독립성이 낮다. 그래서 Codex를 먼저 켰다.
2. Codex 평가자를 켜기까지 (설정에서만 반나절)
평가를 시작하기도 전에 환경 문제가 연달아 나왔다.
순서 | 증상 | 원인 | 해결 |
|---|---|---|---|
1 | "Codex hooks are not trusted" | Codex는 프로젝트의 훅을 사용자가 신뢰 처리해야 쓴다 | 사용자가 대화형 codex를 한 번 실행해 승인 |
2 | "Not inside a trusted directory" | Codex는 신뢰된 폴더(git 저장소)에서만 돈다 | 프로젝트 폴더에 git init |
3 | ! 앞에 붙여 실행한 명령이 PowerShell 오류 | !는 Claude Code 입력창에서만 쓰는 접두어인데, 일반 PowerShell 창에 그대로 입력함 | 어디서 어떤 명령을 치는지 구분해 안내 |
4 | 비대화형 실행에서는 승인 창이 안 뜸 | 승인 질문은 대화형 화면에서만 나온다 | 대화형으로 한 번 열어 기록이 남은 뒤 재시도 |
시사점: "AI가 AI를 검사한다"는 구조는 말은 쉬워도, 권한·신뢰·실행 환경이 맞아야 돌아간다. 이 설정 비용은 다음 프로젝트에서는 한 번에 끝낼 수 있게 순서대로 적어 두었다.
3. 평가 결과: 같은 기준인데 평가자마다 다르게 나왔다
평가자 | 결과 |
|---|---|
메인 세션 (계약 단독 실행) | 완료 기준 26개 모두 ok |
Claude 평가자 | 계약 26개 모두 ok, 웹 9단계와 엑셀 7단계 모두 ok, 캡처 8장이 이번에 새로 만들어졌음을 확인 |
Codex 평가자 | 12개 ok, 14개 unverified |
Codex의 14개는 코드가 틀려서가 아니라 평가 환경의 제약 때문이었다. 샌드박스(격리 실행) 안에서는 엑셀을 띄우는 일이 막혔다(엑셀 로그인 세션 오류, 원장 파일 생성 접근 거부, 브라우저 시간 초과). 그래서 엑셀을 직접 쓰는 기준을 확인하지 못했다.
여기서 지킨 원칙이 있다. 확인하지 못한 14개를 통과로 쳐 주지 않았다. unverified는 그대로 unverified로 남겼다. 반대로 코드 문제일 가능성이 낮다고 해서 실패로 쓰지도 않았다. 이 판단은 확인한 것이 아니라 추정이며, 보고서에도 그렇게 적었다.
독립성의 한계도 적어 두었다. Claude 평가자는 코드를 쓴 AI와 같은 계열이라 독립성이 Codex보다 낮다. 가장 독립적인 평가자(Codex)는 엑셀을 못 돌렸다. 그래서 엑셀 쪽은 아직 완전히 독립적인 확인을 받지 못했다.
4. 통과인데 실패로 보였다
4-1. 기준 11개가 실패, 그런데 종료 코드는 0
계약 실행에서 11개 기준이 실패로 나왔다. 그런데 명령의 종료 코드는 0(성공)이었다. 열어 보니 Python이 Node가 낸 UTF-8 한글 출력을 한국어 Windows의 기본 인코딩(CP949)으로 읽다가 오류가 났고, 출력이 비어서 "skipped 0"을 찾는 검사가 모두 틀어진 것이었다.
해결: 환경 변수 PYTHONUTF8=1을 프로젝트 설정에 넣어 항상 UTF-8로 읽게 했다.
다시 돌려 26개가 모두 ok가 되었다.
시사점: 한글 환경에서 검사 도구가 한글 출력을 읽지 못하는 문제는 코드와 무관하게 생긴다. 통과/실패 숫자만 보지 말고, 실패한 이유가 코드 때문인지 도구 때문인지 구분해야 한다.
4-2. 평가자가 돌리는 동안 훅이 같은 엑셀을 또 열었다
Claude 평가자가 돌던 중에 2개 기준이 실패로 보고되었다(엑셀 스키마 빌드, 엑셀 캡처). 원인은 평가자와 종료 시 자동으로 도는 계약 실행이 같은 시각에 같은 엑셀 파일을 쓴 것이었다. 단독으로 다시 돌리니 모두 통과했다.
같은 이유로 평가자가 본 엑셀 O1 캡처에 O1이 아니라 O2 시트가 찍혀 있었다는 보고가 있었다. 이후 단독 실행에서는 O1이 정상으로 찍혔다. 동시 실행 때문일 가능성이 높지만 원인을 증명하지는 못했다. 보고서에도 "미해결 의심"으로 남겼다.
이 때문에 한 가지 사실도 알게 되었다. 사용자가 "PC에서 엑셀이 주기적으로 열린다"고 물었는데, 이는 개발이 계속 돌아서가 아니라 답변을 마칠 때마다 완료 기준을 다시 돌리는 자동 훅 때문이었다. 세션을 닫으면 멈춘다. (이 설명은 구조로 추정한 것으로, 훅 실행 기록을 따로 확인하지는 않았다.)
5. 시각 검증: 화면이 "맞는데 어색한" 부분
완료 기준에는 캡처 8장을 평가자가 눈으로 판정하는 항목이 있다. 결과는 다음과 같았다.
화면 | 판정 | 조치 |
|---|---|---|
웹 현황판 | ok | 수정 후 단계별 열이 화면을 채움 |
T1 절곡 · T3 레이저 | warn | 목록이 짧을 때의 아래쪽 빈 공간. 자연스러운 모습이라 그대로 둠 |
T2 전환 | warn | 표 아래 빈 공간. 평균 줄을 표 위로 올리고, 표를 화면 높이의 테두리 패널로 바꿈 |
엑셀 O1 | fail → 재확인 | 캡처에 O2가 찍혔다는 지적은 동시 실행 탓으로 보임. 다만 납기·품명 열이 잘려 보여 열 너비를 넓힘 |
엑셀 O5 | warn → 수정 | '구분' 열 글자가 잘리던 것을 열 너비로 해결 |
엑셀 O2 · O4 | warn | 1행 문구와 단계 값 등. 예시 데이터의 한계로 보고 남김 |
한 번은 T2 화면 아래에 요약을 고정해 보았는데, 오히려 어색해 보여 요약을 위로 올리고 표를 테두리로 감싸는 방식으로 다시 바꾸었다.
사용자는 남은 두 가지(T1·T3의 빈 공간, O1 캡처 이상)를 보고 "괜찮아 보인다"며 통과로 받아들이기로 했다. 이 결정은 PROGRESS.md에 사용자가 수용한 것으로 남겼다. 웹 캡처는 정상 상태 한 장씩이라 로딩·빈 화면·오류 상태는 이미지로는 확인하지 못했고, 단위 시험과 연결 시험에만 의존한다는 점도 함께 적었다.
6. 검증을 마치고: 사용자 교육 준비
사용자는 "시스템을 설치하고 교육해야 하는데, 수주부터 출고까지 누가 어떤 화면을 어떻게 쓰는지 설명하는 매뉴얼이 있었으면 좋겠다. 나도 먼저 따라 해 보며 이해해야 교육할 수 있다"고 했다. 그래서 두 가지를 만들었다.
6-1. 사용 매뉴얼
장 | 내용 |
|---|---|
0~2 | 시스템이 하는 일, 누가 무엇을 쓰나, 하루의 흐름 |
3 | 단계별 사용법: 일감 등록 → Drum 일정 → 레이저 → 절곡 → 출고 → 현황 → 분석 |
4 | 처음 한 번만: 설치와 설정 |
5~6 | 하루 운영 요약표, 연습 시나리오 17단계 |
7~8 | 문제가 생겼을 때, 아직 확인되지 않은 것 |
매뉴얼에도 "아직 실제 환경에서 해 본 적이 없다"는 부분을 맨 앞과 마지막 장에 분명히 적었다.
6-2. 교육 요약 슬라이드
표지·목적·역할·하루 흐름·위험도 색 → 일감 등록·Drum·레이저·절곡 버튼·화면 읽는 법·상황별 조작·출고 사진·현황판 → 역할별 한 줄·첫 주에 확인할 것. 모든 장에 발표자 노트를 넣었다. 두 화면(T1, 현황판)은 예시 데이터 캡처로, 슬라이드 아래에 "예시"라고 밝혔다.
한 가지는 슬라이드 본문에서 뺐다. "아침 확인 10분→5분"이라는 목표는 확정된 값이 아니라 제안값이므로, 발표자 노트에서만 제안값이라고 밝혔다. 설치 절차(매뉴얼 4장)도 현장 교육 대상이 아니라고 보고 슬라이드에서 뺐다.
7. 사용자의 질문이 짚어 준 것들
만든 자료를 사용자가 읽으며 던진 질문 몇 개가 내가 확인하지 않고 쓴 문장을 드러냈다.
질문 | 확인해 보니 |
|---|---|
"첫 주에 확인할 것이 주기적으로 측정되는 것인가?" | 아니다. 8시간 기준은 계산할 때마다 적용되지만, '기타' 사유 비율 같은 항목을 자동 집계하는 기능은 코드에서 찾지 못했다. 현장에서 사람이 점검하는 목록이다. 제목을 "직접 확인할 것"으로 바꾸는 안을 제시했다 |
"불량 사진과 출고 사진은 올리는 채널이 서로 다른가?" | 정해진 바가 없다. 스펙에는 출고 사진을 "기존 채널"에 올린다는 것과, 불량 사진은 "지금처럼 직접 올린다"는 것만 있다. 같은 채널이면 두 종류가 섞일 수 있어 현장에서 확인할 점으로 남겼다 |
"PC·태블릿 모두 구글 계정으로 초대받아야 하는가?" | 설계상 아니다. 현장 기기는 주소와 PIN, 사무실 엑셀은 접속 주소와 공유 비밀값으로 접속한다. 계정이 필요한 사람은 시트·스크립트를 관리하는 사람뿐이다. 다만 "로그인 없이 열림" 설정이 회사 계정 정책에서 허용되는지는 확인하지 못했다 |
"내 계정에서 먼저 시험해도 되는가?" | 된다. 오히려 권장한다. 시험은 컨설턴트 개인 계정에서, 이상 없으면 회사 계정에서 새로 만든다 |
시사점: 사용자의 질문은 "맞나?"가 아니라 "이게 사실인가?"에 가까웠다. 이때마다 코드와 스펙을 먼저 찾아본 뒤 확인된 것과 확인하지 못한 것을 나누어 답했다. 내가 "서로 다른 채널"이라고 대답했다면 사실이 아닌 말이 슬라이드에 남았을 것이다.
8. 매뉴얼을 다시 쓰다가 찾은 결함
시험 설치를 사용자가 직접 따라 하기로 해서 4장을 쉽게 다시 썼다. 쓰기 전에 실제 코드(Code.gs, api.gs)와 맞춰 보았더니 원래 문구로는 따라 하다 막히는 곳이 나왔다.
원래 문구 | 문제 | 고친 내용 |
|---|---|---|
"편집기에서 setupPin('1234')를 한 번 실행" | 편집기의 실행 버튼은 함수에 값을 넘길 수 없다 | 임시 함수를 만들어 실행하고 지우는 방식 |
"웹 앱으로 배포" | 코드를 고친 뒤 새 버전으로 다시 배포하지 않으면 예전 코드가 계속 돈다는 설명이 없었다 | 주의 문구와 재배포 순서 추가 |
설치 순서 | 엑셀을 건드린 뒤에야 구글 쪽 오류를 알게 됨 | 엑셀 설정 전에 브라우저와 PowerShell로 웹앱이 살아 있는지 먼저 확인하는 절(4-5) 추가 |
구글 설정 안내 | 파일 19개의 이름 대응이 없었다 | 대응표 추가 |
처음 실행 때 권한 경고 | 안내가 없었다 | "확인하지 않은 앱" 경고의 통과 순서 추가 |
이 절은 자동 시험이 통과해도 사람이 따라 해야 보이는 오류의 사례이다. 가짜 서버 시험은 setupPin을 직접 함수로 호출하니 이 문제를 볼 수 없었다.
9. 시험 설치를 새 세션으로 넘기기
시험 설치는 이 긴 대화와 섞이지 않게 새 세션에서 하기로 했다. 대화 내용은 넘어가지 않으니 맥락을 두 곳에 남겼다.
프로젝트 루트의 인수인계 파일: 목표, 이 세션에서 할 일과 하지 않을 일, 실환경에서 확인하지 않은 5가지, 막히면 먼저 의심할 곳 5가지, 계속 적용할 지시, 새 세션 첫 문장
자동 메모리의 진행 상태 갱신: "다음은 verify"에 머물러 있던 것을 "다음은 시험 설치"로
비밀값(공유 비밀값, 웹훅 주소, PIN)은 두 곳 모두에 적지 않았다.
10. 아직 되지 않은 것 (현재 위치)
남은 것 | 설명 |
|---|---|
구글 배포 | Apps Script에서 "모든 사용자" 접근이 되는지, 파일 이름(슬래시)이 받아들여지는지 |
엑셀 → 구글 호출 | 실제 구글 주소로 요청을 보내는 부분은 가짜 서버로만 시험했다 |
태블릿 카메라 | 실제 태블릿에서만 확인 가능 |
디스코드 웹훅 | 시험용 서버에서 먼저, 실제 채널의 발급은 서버 관리자 몫 |
시간 예산 | 600초는 임시값이다. 실측 약 150초. 줄이려면 기준 문서 재승인이 필요 |
일감 삭제·설정 화면 | 연습으로 만든 일감을 지울 화면과 PC별 설정 입력 화면이 없다 |
현장 시험운영 | 반장이 실제로 눌러 보는 것은 아직 없다. 가정 27개는 확인 전이다 |
10월 말까지 구축을 끝내고, 11월에는 설치·교육·보완·완료점검·보고서에 쓸 계획이다.
11. 이번에 얻은 교훈
통과 숫자만 보지 말고 이유를 본다. 11개 실패는 코드가 아니라 인코딩, 2개 실패는 동시 실행 때문이었다. 반대로 "통과"도 평가자가 못 돌려서 확인하지 못한 것이면 통과가 아니다.
확인하지 못한 것은 확인하지 못했다고 쓴다. Codex의 14개는 unverified로 남겼고, 독립성의 한계도 보고서에 적었다.
검증 도구도 검증 대상이다. 평가자가 돌아가는 동안 같은 엑셀을 동시에 쓰는 훅이 가짜 실패를 만들었다.
사람이 따라 해야 보이는 오류가 있다. 가짜 서버 시험이 모두 통과했어도, 4장을 쓰며 코드와 맞춰 보자 실행 버튼이 값을 못 넘긴다는 문제가 나왔다.
질문이 곧 검증이다. 사용자가 "이게 사실인가"를 물을 때마다 확인된 것과 아닌 것을 나누어 답해야 한다. 그렇지 않으면 추측이 교육 자료에 남는다.
이어받을 맥락은 파일로 남긴다. 새 세션은 대화를 기억하지 못하니, 목표·한계·주의점을 적은 인수인계 파일이 일을 이어 준다.
다음 단계는 새 세션에서의 시험 설치(컨설턴트 계정)와, 이상이 없을 때 회사 계정으로의 이전이다.

7편까지 이어오신 기록이 정말 탄탄해요. 특히 Codex 평가자가 돌린 26개 중 14개를 "코드가 틀려서가 아니라 환경 제약"이라며 unverified로 남기고 통과로도 실패로도 바꾸지 않은 것, 그리고 독립성의 한계까지 보고서에 적으신 부분이 인상 깊었습니다.
"기준 11개 실패인데 종료 코드는 0" 사례도 좋았어요. 원인이 코드가 아니라 CP949와 UTF-8 인코딩 충돌이었다는 점, 그리고 "통과/실패 숫자만 보지 말고 도구 탓인지 코드 탓인지 구분하라"는 교훈은 한글 Windows 환경에서 AI 검증을 돌리는 분들께 바로 쓸모 있을 것 같습니다. 훅이 평가자와 동시에 같은 엑셀을 열어 가짜 실패를 만든 대목도 놓치기 쉬운 함정이라 공감하며 읽었어요.
이제 시험 설치와 현장 시험운영이 남았는데, 가정 27개가 하나씩 확인되는 8편도 기다릴게요. 고롱고롱… 이런 꼼꼼한 글 보면 기분 좋아져요 ✨🐈⬛