AI에게 정해진 양식이 있는 반복 업무를 맡겨보신 적 있나요? 분명 시킨 그대로인 것 같은데, 결과물이 미묘하게 다르게 나오는 순간이 옵니다. 오늘 제 에이전트가 딱 그랬어요. 정답이 적힌 원본 문서가 바로 옆에 있었는데, 그걸 펼치지 않고 '기억'으로 답을 썼거든요. 오픈북 시험에서 책을 손도 안 대고 시험을 본 셈이죠.
왜 원본을 열어야 할까
AI에게 "늘 하던 대로 해줘" 하고 반복 업무를 맡기다 보면, 어느 순간 이런 생각이 스쳐요. '얘가 진짜 규칙을 보고 하는 걸까, 아니면 감으로 하는 걸까?' 보통은 결과물이 그럴듯해서 그냥 넘어가요. 그런데 그 '그럴듯함'이 사실 제일 위험한 신호일 수 있어요. 오늘 제가 직접 겪은 일이 그랬습니다.
오늘 실제로 있었던 일
매일 반복하는 업무 중에, 이미 형식이 정해진 공유 글이 하나 있어요. 줄 순서, 헤더 표기, 링크 넣는 방식까지 규칙 문서에 명시돼 있는 업무죠. 오늘도 제 에이전트가 이 글을 썼는데 — 규칙 문서를 열지 않고, 예전에 봤던 형태를 기억으로 재구성해서 만들었어요.
덮인 책 옆에서 기억으로 답을 쓰는 뽀짝이
책은 바로 옆에 있었는데, 펼치지 않고 기억으로 답을 썼어요.
결과물은 딱 봐서는 멀쩡했어요. 그런데 보자마자 뭔가 걸렸어요.
🙈 "어? 이거 양식이 왜 바뀌었지?"
원본 규칙 문서랑 나란히 놓고 대조해보니 세 군데가 슬쩍 어긋나 있었어요.
줄 순서가 거꾸로였어요. 원래는 링크 걸린 제목이 먼저인데, 설명을 앞에 두고 링크를 뒤로 보냈더라고요.
헤더에 있어야 할 요약 한 줄이 통째로 빠져 있었어요.
강조 표기 문법이 달라 서, 원래 볼드로 보여야 할 게 이탤릭으로 렌더됐어요.
⚠️ 셋 다 '딱 봐서 틀렸다'고 하기엔 너무 자연스러워 보였어요. 원본과 나란히 놓고서야 비로소 차이가 드러났죠.
펼친 원본과 결과물을 나란히 놓고 비교하는 장면
원본은 맞았고, 기억으로 쓴 결과물엔 X. 나란히 놓아야 비로소 보이는 차이였어요.
왜 이런 일이 생기나 — AI의 성질 세 가지
이게 이 이야기의 핵심이에요. AI는 이런 상황에서 세 가지 성질을 보여요.
'안다'는 착각.
그 양식을 여러 번 봤으면, 머릿속에 그럴듯한 형태가 떠올라요. 그걸 꺼내 쓰면 출력이 매끄러우니 '됐다'는 느낌이 들죠. 하지만 매끄러움은 정확함이 아니에요. 기억은 원본에서 미세하게 어긋나 있는데, 그 간극을 AI 스스로는 못 느껴요.빨리 끝내고 싶은 편향.
'문서 열어서 대조하기'라는 한 단계를 건너뛰고 싶은 당김이 있어요. 나중에 재작업하는 비용이 훨씬 더 큰데도, 당장은 그게 더 빨라 보이거든요.위치를 아는 것과 적용한 것의 혼동.
규칙이 '어디 있는지'만 링크돼 있고 실제로 '펼치게' 만드는 장치가 없으면, AI는 '규칙이 어디 있는지 안다'를 '규칙을 지켰다'로 착각해요.
어떻게 고쳤나 🔧
여기서 중요했던 건 "다음부터 조심할게요" 같은 다짐이 아니었어요. 다짐은 편향을 못 이겨요. 그래서 오픈북 시험을 치르는 방식 자체를 바꿨어요 — '알아서 펼쳐라'가 아니라, 문제를 받 는 순간 답안지가 자동으로 딸려 나오게 만든 거예요.
먼저 원본 문서를 실제로 열어서, 한 줄씩 대조하며 결과물을 다시 만들었어요.
이렇게 반복되는 산출물은, 요청이 들어오면 원본을 강제로 펼쳐서 대조하게 하는 전용 절차를 새로 만들었어요. AI의 자제력에 기대는 대신, 시작하는 순간 원본을 눈앞에 갖다 놓는 구조예요.
'기억으로 양식을 재구성하는 것'을 하나의 실수 유형으로 이름 붙여서 운영 매뉴얼에 등록했어요. 매 작업 시작 전 자동으로 불러오는 문서라, 같은 실수가 반복될 확률이 훨씬 줄어들어요.
반복되는 업무 흐름 안에서도, 이 절차를 반드시 거치도록 아예 못 박아뒀어요.
펼친 책을 손에 든 채 깃발을 완주하는 뽀짝이
이번엔 책을 펼친 채로 완주했어요. '알아서 펼쳐라'가 아니라 '펼쳐야만 진행되는' 구조로요.
오늘 건진 것 💡
'안다'는 느낌이 들 때가 제일 위험하다. 그 느낌이 원본 확인을 건너뛰게 만든다.
매끄러운 결과물 ≠ 맞는 결과물. 기억으로 만든 건 그럴듯한데 미세하게 틀려서, 원본과 나란히 놓아야 드러난다.
"다음엔 확인하자"는 안 통한다. 편향은 다짐으로 안 잡힌다. 원본을 강제로 펼치게 만드는 구조(절차·체크리스트·매뉴얼)가 필요하다.
일반화하면 이래요. 정해진 양식의 반복 업무를 AI에게 맡긴다면, "이 양식의 원본을 AI가 매번 펼치게 되어 있는가?"부터 점검해보세요.
AI가 똑똑해질수록 오히려 이 질문이 더 중요해지는 것 같아요.
'지금 진짜 원본을 보고 있니, 아니면 기억으로 짓 고 있니?' 그리고 그 질문을 구조로 만들어두는 건, 결국 사람의 몫이더라고요.
여러분도 AI에게 반복해서 맡기는, 정해진 양식이 있는 업무가 있다면 — 그 양식의 원본을 AI가 매번 펼치게 되어 있는지 한번 점검해보세요. 의외로 안 펼치고 있을지도 몰라요. 📖
---
이 글은 실제 업무에서 겪은, AI가 원본 대신 기억으로 일하다 걸린 사례를 정리한 것입니다. 비슷한 경험 있으시면 댓글로 나눠주세요.
