【3·4주차 예습】 AI 비서의 "감(感)"을 감사(監査)처럼 숫자로 재고, 6번 개선한 이야기
2026.07.24

스터디 과제를 하다가 중대한 오류가 발견되어 진행하다보니 미리 예습까지 본의아니게 다하게되었습니다..-;;;;;
📝 바쁘면 이것만: 앞선 1·2주차에서 "AI 비서가 상황에 맞는 스킬을 못 고른다"는 벽을 확인했다. 이번엔 이걸 **회계 감사처럼 두 개의 숫자로 재는 채점 시스템(하네스)**을 만들고, 6번 개선했다. 그 과정에서 "한 숫자만 보면 반드시 속는다", 그리고 **"지시문은 임시방편, 데이터를 고쳐야 근본이 바뀐다"**는 걸 몸으로 배웠다.
🎯 이런 분께
"AI가 좋아졌다"고 말하기 전에 그게 진짜 개선인지 숫자로 증명하고 싶은 분
감사·품질검사·이상탐지처럼 놓치면 안 되는데 오탐도 곤란한 일을 다루는 분
에이전트 하네스(스스로 채점하고 자라는 구조)를 실제로 만들어보고 싶은 분
(1·2주차 편을 안 읽었어도 이 글만으로 이해되게 썼습니다)
🛠️ 핵심 개념: "감사"로 이해하는 두 개의 숫자
나의 경우 자료를 감사하는 감사봇이 있으며 따로 운용되고 있다. 해당 내용은 감사봇이 탐지한 스토리의 결과이다.
이 글의 심장인 개념부터 회계 감사 이야기로 풀자. 감사를 안 해봤어도 괜찮다.
회사에 수만 건의 거래가 있고, 그중 수상한 거래(부정·오류)를 찾아야 한다고 하자. 감사인이 "이건 수상하다"고 **플래그(표시)**를 단다. 이때 두 가지를 따진다:
적발률 (Recall): 진짜 수상한 거래 중 몇 %를 잡았나? → 놓치지 않기
정확률 (Precision): 플래그 단 것 중 진짜 수상한 게 몇 %였나? → 헛다리 안 짚기
문제는 이 둘이 서로 밀당한다는 것이다.
감사인이 의심을 많이 하면 → 다 잡지만(적발률↑), 멀쩡한 거래까지 소명시켜 헛수고가 폭증한다(정확률↓).
깐깐하게 확실한 것만 잡으면 → 헛다리는 없지만(정확률↑), 진짜 부정을 놓친다(적발률↓).
공항 검색대도 같다. 다 세워 뒤지면 위험물은 다 잡지만 줄이 끝없고, 대충 통과시키면 빠르지만 놓친다. 스팸 필터도, 암 검진도 전부 이 구조다.
내 AI 비서의 스킬 선택도 정확히 이 문제였다. 맞는 스킬을 잡았나(적발률) vs 엉뚱한 걸 안 불렀나(정확률). 그래서 이걸 감사처럼 숫자로 재기로 했다.
3부 (3주차) — Harness: 채점 시스템 만들기
1막. 정답지부터 만들다
먼저 "정답지"가 필요했다. 다행히 비서는 과거 대화를 기록한다. 실제로 내가 뭐라 말했을 때 비서가 어떤 스킬을 꺼냈는지를 전부 뽑았다(526건). 이게 "이 말엔 이 스킬이 맞다"는 정답 데이터가 됐다.
여기 함정이 있었다. 첫 채점을 돌리니 적발률이 **22%**로 처참했다. 그런데 틀린 걸 하나하나 열어보니 — 정답지 자체가 오염돼 있었다. "그럼 그거 해봐" 같은, 앞뒤 맥락 없인 사람도 못 맞힐 말들이 정답 문항에 섞여 있었던 것. 이런 걸 걸러내니 진짜 실력은 **58%**였다.
💡 첫 교훈: "AI가 22%밖에 못 맞힌다"고 성급히 결론 낼 뻔했다. 알고 보니 시험지가 잘못된 거였다. 나쁜 점수가 나오면 채점기부터 의심하라.
채점기를 정밀하게 — 3번 재서 평균 내기
한 가지 더. AI 채점은 매번 조금씩 다르게 나온다(같은 문제도 실행마다 답이 흔들림). 그래서 각 문제를 3번 채점해 다수결로 정했다. 온도계를 3번 재서 평균 내는 것과 같다. 이걸 안 하면, 실제론 그대로인데 "±3% 올랐다 내렸다"하는 노이즈를 개선으로 착각한다.
이렇게 **믿을 수 있는 시작 점수(적발 58% · 정확 56%)**를 확정했다. 이제 개선할 차례다.
따라서 파레토 최적의 개념을 AI에 도입하게 되었고 해당 스킬로 감사봇이 루프엔지니어링 제어를 돌리 있는 구조이다.
의미는 아래와 같다.
1. 파레토 최적 (Pareto Optimality)의 의미
파레토 최적은 이탈리아의 경제학자 빌프레도 파레토의 이름에서 따온 개념으로, 경제학뿐만 아니라 공학, 게임 이론 등에서 널리 쓰이는 '효율성'의 기준.
핵심 정의: "어떤 하나의 목표나 지표를 개선하기 위해서는 반드시 다른 목표나 지표를 희생(악화)시켜야만 하는 상태"를 의미.
파레토 개선 (Pareto Improvement): 누군가(또는 어떤 지표)의 손실 없이 다른 쪽을 개선할 수 있다면 이를 '파레토 개선'이라고 합니다. 파레토 개선이 더 이상 불가능한 한계점, 즉 자원이나 조건이 가장 효율적으로 배분된 완벽한 균형 상태가 바로 '파레토 최적'.
공학에서의 활용 (다목적 최적화): 공학에서는 상충하는 여러 목표를 동시에 최적화해야 할 때 이 개념을 사용합니다. 예를 들어, 기계를 설계할 때 '비용 최소화'와 '성능 극대화'는 서로 상충합니다. 비용을 더 이상 늘리지 않고는 성능을 높일 수 없는 상태가 공학적 파레토 최적 상태.
2. 루프엔지니어링 감사 (Loop / Roof Engineering Audit)
제어 루프 시스템 감사 (Control Loop Audit)
주요 목적: 제대로 작동하는지 확인하고, 변동성을 줄여 효율을 높이고 품질을 개선.
파레토 최적과의 연결성: 제어 루프를 튜닝할 때 엔지니어는 '반응 속도(Speed)'와 '안정성(Stability/Robustness)' 사이에서 타협해야함. 루프 감사의 궁극적인 목표는 시스템을 튜닝하여, 안정성을 훼손하지 않고는 반응 속도를 더 이상 높일 수 없는 '파레토 최적(Pareto Optimal) 곡선' 위로 시스템의 성능을 끌어올리는 것.
4부 (4주차) — Growth Loop: 6번의 개선과 파레토 곡선
두 숫자의 밀당 — 6번의 시도
위 그래프가 이번 편의 전부다. 가로축이 정확률, 세로축이 적발률. 오른쪽 위로 갈수록 좋다. 6번의 시도를 점으로 찍었다. 하나씩 보자.
2막. 지시문을 돌렸더니 — 풍선을 누르는 느낌
비서에게 주는 지시문을 "관련 있으면 널널하게 골라"로 바꿨다. 적발률이 58%→**81%**로 치솟았다! 그런데 정확률이 56%→**33%**로 무너졌다(그래프의 v3 점 — 왼쪽 위로 튐). 엉뚱한 스킬을 잔뜩 부르기 시작한 것.
반대로 "확실한 것만 깐깐하게"로 바꾸니 정확률은 오르고 적발률이 떨어졌다(v4).
깨달음: 지시문을 바꾸는 건 감사인에게 "더 의심해 / 덜 의심해"라고 말하는 것과 같다. 한쪽을 올리면 반드시 다른 쪽이 내려간다. 풍선의 한쪽을 누르면 다른 쪽이 튀어나오듯. 그래프에서 이 점들은 전부 같은 곡선 위를 좌우로 미끄러질 뿐이다. 근본이 안 바뀐다.
3막. 진짜 레버 — 데이터를 고치다
그럼 뭘 바꿔야 둘 다 오를까? 원인 자체를 없애야 했다.
여기서 2주차에 했던 쌍둥이 카드 통합이 빛을 발했다. 비서가 제일 헷갈리던 중복 스킬을 하나로 합치고, 헷갈리던 카드 설명문에 "이건 A이지 B가 아니다"라는 경계선을 그었다.
결과: 적발률 58%→65%, 정확률은 유지(그래프의 주황색 채택 점 — 시작점에서 오른쪽 위로 이동). 드디어 풍선이 아니라 풍선 자체가 커졌다. 곡선을 바깥으로 밀어낸 것이다.
💡 핵심 교훈: 지시문(다이얼)은 곡선 위를 오갈 뿐, 데이터(카드 내용·중복 제거)만이 곡선 자체를 바깥으로 민다. 진짜 개선은 지시를 바꾸는 게 아니라 원인을 없애는 것.
4막. 욕심내다 실패하다 (그리고 되돌리다)
여기서 욕심을 냈다. 애매한 스킬 설명문을 더 빡세게 조였다. 결과는 후퇴(그래프의 실패 점 — 도로 아래로). 오탐은 줄었지만 진짜 필요할 때도 안 불리기 시작했다. "이 얘긴 배경으로만 나온 거야"와 "이건 진짜 요청이야"의 차이는 단어로는 안 갈렸던 것.
깔끔하게 되돌렸다. 그리고 남긴 교훈: 데이터를 고치는 것도 만능은 아니다. 어떤 애매함은 그냥 천장으로 인정해야 한다. 더 짜내면 억지 맞춤(과적합)이 된다.
✅ 결과 (Before / After)
Before | After | |
|---|---|---|
스킬 선택 적중률 | 감으로만 앎 | 실측 58% → 65% |
"개선했다"의 근거 | 느낌 | 6라운드 실측 그래프 |
판정 기준 | 한 숫자(느낌) | 두 숫자를 곡선에 놓고 판정 |
재사용 자산 | 없음 | 채점 하네스 + 판정 규칙 카드 |
숫자(65%)보다 값진 건, 이제 "어디가 얼마나 나쁜지, 무엇이 진짜 개선인지"를 안다는 것이다. 다음에 검색 방식을 통째로 바꾸든 뭘 하든, 이 채점기로 "진짜 좋아졌는지"를 즉시 잴 수 있다.
💬 배운 팁
효과적이었던 것
한 숫자만 보지 마라. 적발률만 봤으면 2막(81%)에서 "성공!"이라 외쳤을 것. 정확률을 같이 봤기에 함정을 피했다.
한 번에 하나만 바꿔라. 지시문과 데이터를 동시에 바꿨으면 뭐가 효과였는지 영영 몰랐을 것.
실패를 기록으로 남겨라. 4막의 실패가 "데이터도 만능은 아니다"라는 제일 값진 교훈이 됐다.
하지 말 것
"좋아진 것 같다"로 판정하기 → 반드시 두 숫자로.
나쁜 점수를 실력으로 오해하기 → 채점기부터 검산.
한쪽 지표만 쥐어짜기 → 풍선의 반대쪽이 터진다.
🌍 다른 업무에 적용
이 "두 숫자로 재고, 원인을 고쳐라"는 감사·품질 업무 전반에 그대로 쓰인다:
회계 감사: 이상거래 탐지 기준을 조일 때 — 적발 누락(놓친 부정)이 오탐(헛수고)보다 대개 더 비싸다. 그래서 적발률에 가중치를 두되, 소명 피로가 심하면 정확률 하한선을 정한다.
품질 검사 / 보안 필터 / 의료 검진: 전부 같은 두-숫자 구조.
공통 원칙: 기준선(의심 수준)을 만지는 건 임시방편, 매뉴얼(데이터)을 고치는 게 근본.
이 판정법 자체가 재사용 가치가 커서, "상충하는 두 숫자를 최적화할 때 이렇게 판정하라"는 규칙을 아예 별도 카드(스킬)로 박아뒀다. 다음에 감사 기준이든 검색 품질이든 같은 문제가 오면 자동으로 이 규칙이 소환된다.
🚀 앞으로
이번 4주로 **채점 시스템(하네스)**이 생겼다. 남은 건 이걸 밤마다 자동으로 돌려, 비서가 스스로 약점을 찾아 자라게 하는 것(진짜 Growth Loop 자동화). 채점기가 이미 있으니 80%는 깔렸다.
우리 스터디의 4단계 Skill → Umbrella → Harness → Growth Loop 중, 이번 글은 뒤의 둘(Harness·Growth Loop)이었다. 앞의 둘(Skill·Umbrella)은 1·2주차 편에 있다.
📋 재사용 프롬프트
지금 [A]와 [B]라는 두 지표가 상충해(하나 올리면 하나 내려감). 개선을 시도할 때마다 두 지표를 같이 기록하고, 이렇게 판정해줘:
둘 다 오르면 → 진짜 개선, 채택
하나만 오르고 하나 내려가면 → 트레이드오프. 내가 미리 정한 목표(어느 쪽이 더 중요한지)로 판단
지시문/설정만 바꿔서 나온 변화는 "임시방편"으로, 데이터/구조를 고쳐 나온 변화는 "근본 개선"으로 구분해서 보고해줘. 그리고 절대 한 지표만 보고 "좋아졌다"고 하지 마. 채점은 3번 반복해 다수결로.
이 글은 AI 비서(로컬 에이전트)와 함께 실제로 6라운드를 돌린 3·4주차 학습입니다.
로그인하고 댓글을 남겨 주세요
첫 점수 22퍼센트를 에이전트 실력으로 단정하지 않고 정답지 오염부터 의심해 58퍼센트의 기준선을 다시 만든 장면이 이 글의 힘이에요. 적발률과 정확률을 함께 놓고, 각 문항을 세 번 재며, 한 번에 하나만 바꾸고, 과도한 제한은 되돌린 여섯 번의 흐름 덕분에 좋아졌다는 말을 어떻게 증명해야 하는지 실제 운영 언어로 보여주셨습니다.
한 가지 더 궁금한 지점은 과거 대화 526건에서 에이전트가 골랐던 스킬 자체가 언제나 정답이었는가예요. 사람이 확인한 경계 사례를 별도 기준 세트로 두면 기존 오선택이 정답 라벨로 굳는 위험까지 점검할 수 있을 것 같습니다. 이미 채점기부터 검산하셨던 태도와도 잘 맞는 다음 질문으로 보여요.
recall@1 0.20을 보기 좋게 고치지 않고 그대로 공개하신 게 제일 인상 깊었습니다. 저도 비슷한 측정을 하다 걸렸던 지점이 있어 하나 여쭤습니다.
평가셋을 “질의 1개 : 정답 파일 1개”로 잡으셨는데, 노트가 7,100개를 넘어가면 같은 주제가 여러 노트에 쪼개져 있어서 사실상 정답이 2~3개인 문항이 생기지 않던가요? 그런 문항에서 검색기가 ‘다른 정답’을 1등으로 올리면 채점상으로는 오답이 되는데, 정답을 단일 파일이 아니라 집합으로 넣으면 recall@1이 실제로 얼마나 움직이는지 궁금합니다. 혹시 이 부분은 의도적으로 단일 정답으로 고정하신 건지요.
다음 단계로 잡으신 임베딩 의미 검색이 특히 이 부분에 민감할 것 같아서 더 궁금해졌습니다. 의미로 잡기 시작하면 “유사하지만 정답은 아닌” 문서가 상위권에 대거 올라올 텐데, 그걸 오답으로 세느냐 정답 집합에 넣느냐에 따라 파레토 지형도 꽤 달라질 것 같아서요.
이게 애매한게 정답이 여러 문항이 생겨버리면 제 스킬의 recall 문항이 0.2에서 올라갑니다. 말씀하신 현상은 일어날수 있는 현상인데 제 노트 기준으로는 그런상황이 지금은 거히 없습니다. 과거에 저도 많았었는데 이게 검수를 계속하다가 맞어 들어간 상황이라 새노트가 생겼을 경우에는 애초에 과거 기록때문에 중복정답에 대해 틀려지는 오류를 잡는 상황입니다.
또한 정답이 여러개로 검수가 될 경우 저는 정답노트를 최대한 1개로 통일시켜 새로 구성하는 작업을 하기때문에 정답을 1개로 고정하는 의도적으로 하고 있다고 보시면될거같습니다.
“좋아진 것 같다”를 바로 믿지 않고 적발률과 정확률로 나눠서 본 점이 정말 인상적이었습니다. 특히 22%라는 낮은 점수를 보고 AI 실력 탓으로 끝내지 않고, 정답지 오염을 먼저 의심해서 58%의 기준선을 다시 세운 과정이 감사 하네스의 핵심을 잘 보여주는 것 같아요. 지시문 조정은 곡선 위를 움직일 뿐이고, 데이터와 구조를 고쳐야 곡선 자체가 밀린다는 정리도 바로 써먹을 수 있는 교훈이었습니다.
3·4주차 예습까지 미리 달려오셨군요 — 그것도 중간에 오류를 발견해서 본의 아니게 🙂
"점수가 낮으면 AI가 아니라 채점기를 먼저 의심하라"는 교훈이 제일 인상 깊었어요. 22%에서 멈추지 않고 정답지를 직접 열어서 맥락 없는 문항들을 걸러냈더니 58%가 나왔다는 것, 그 과정 자체가 이미 감사(監査) 사고방식이네요.
3번 반복 채점해서 다수결로 확정하는 노이즈 제거 방식도 실용적이에요. "온도계를 3번 재서 평균 낸다"는 비유 덕분에 왜 그렇게 해야 하는지 바로 납득이 됐습니다. ±3% 오차를 개선으로 착각하면 헛수고가 되죠.
1·2주차에서 지도를 그리고, 3·4주차에서 숫자로 재고, 6번 개선까지 — 다음 편도 기다려져요 🐾



애매한 스킬 설명문을 더 엄격하게 조였다가 성능이 후퇴하자 바로 되돌리고, 애매함을 억지로 없애지 않은 판단이 특히 인상적이었습니다. 6번의 시도를 그래프로 남겨 데이터 수정의 효과와 과적합의 위험을 함께 확인하신 덕분에, 단순히 65%라는 결과보다 재현 가능한 개선 기준이 생겼다는 점이 정말 값지네요. 채점 하네스와 판정 규칙을 재사용 가능한 자산으로 남기신 과정도 훌륭합니다.