교육 문의 가 들어오면 gpt-4o가 제 말투로 회신 초안을 써주는 자동화를 돌리고 있어요. 문의 폼이 들어오면 15분 안에 임시보관함에 초안이 하나 꽂혀요. 저는 그걸 열어서 슥 보고, 몇 군데 고쳐서 보내요.
여기서 함정이 있었어요. 초안이 매번 "괜찮아 보여서" 저는 이게 잘 돌아가는 줄 알았거든요. 근데 "괜찮아 보인다"는 감이잖아요. 진짜 괜찮은 건지, 아니면 제가 매번 손보느라 안 괜찮은 걸 못 느낀 건지 재본 적이 없었어요.
그래서 이번에 그걸 데이터로 재봤어요.
뭘 했냐면
우선 Rona로나를 활용해서 진행했습니다!
지난 실제 교육 문의 15건을 가져왔어요. 그리고 각 문의를 같은 프롬프트로 다시 돌려서 "AI가 그때 뭐라고 초안을 썼을지"를 재현하고, 옆에 "제가 실제로 그 사람한테 보낸 답장"을 나란히 놨어요.
이렇게 놓으니까 재밌는 게 보였어요. AI 초안이랑 제 실제 발송본이 다른 부분 = 제가 손댄 곳 = AI가 틀렸던 지점이더라고요. 고친 흔적이 그대로 실패 라벨이 되는 거죠.
15건을 하나씩 읽으면서, 각 초안에서 "처음 어긋난 곳" 하나만 짚었어요. 여기서 하나 배운 게 있어요. 최종 결과만 보면 위에서 한 번 삐끗한 게 아래로 줄줄이 번진 걸 여러 문제로 착각하기 쉬워요. 그래서 증상 여러 개를 세지 않고, 처음 어긋난 뿌리 하나만 잡는 게 중요했어요.
결과
15건 중 13건(87%)에서 초안이 제 최종본과 갈라졌어요. 거의 매번 손보고 있었던 거예요. 감으로는 "괜찮은데?"였는데.
갈라진 지점을 비슷한 것끼리 묶으니 유형이 7개 나왔어요. 각 유형이 15건 중 몇 번 나오는지까지 세서 우선순위를 매겼어요.
정보가 거의 없는 문의인데도 견 적을 확정해서 보냄 (제일 잦음)
고객이 커리큘럼·제안서를 요청했는데 금액만 툭 던짐
견적 금액을 근거 없이 지어냄
제휴 제안을 교육 견적으로 오인
고객이 밝힌 제약(개인정보 비업로드 등)을 무시
문의에 없는 마감일을 사실처럼 삽입
한 문장으로 정리되더라고요. 이 초안기는 문의가 뭐든 "확인했습니다 + 480만원 + 교육개요 + 질문 2개" 한 틀로 찍어내고 있었어요. 그래서 되물어야 할 때, 제안서를 줘야 할 때, 다른 담당자로 넘겨야 할 때를 못 갈랐던 거예요.
여기서 안 멈추고 고쳤어요
진단만 하면 반쪽이잖아요. 잦은 실수 세 개는 규칙 몇 줄로 자동으로 막히는 것들이라 바로 고쳤어요.
프롬프트에 실패 방지 규칙을 넣었어요. 실제로 넣은 규칙 중 제일 효과 컸던 건 이거예요. 복붙해서 쓰셔도 돼요.
정보가 희박하면 견적을 짓지 마라: 문의의 자유서술(상담 내용/요청사항/배경)이
비었거나 한 줄뿐이면, 인원·예산·지역 칸이 채워져 있어도 교육 '목적'을 모르는
것이므로 금액과 '교육 개요'를 확정하지 말고 되묻는 질문 3~5개 위주로 회신한다.
이 경우 견적 금액은 반드시 빈칸.프롬프트로 안 잡히는 건 코드로 막았어요. 예를 들어 "고객이 제안서를 요청했는데 초안에 커리큘럼이 없으면, '상세 커리큘럼은 별도 제안서로 보내드리겠습니다' 한 줄을 자동으로 끼워라" 같은 규칙이요.
여기서 버그도 하나 잡았어요. 그 코드 규칙이 처음엔 15건 전부에 걸렸거든요. 알고 보니 문의 알림 메일에 "B2B 교육 - 제안서"라는 폼 테이블 이름이 들어가 있어서, 제 규칙이 고객 요청이 아니라 그 문구를 잡은 거였어요. 고객이 직접 쓴 부분만 보도록 조여서 해결했어요.
고치고 다시 재봤어요
고친 프롬프트랑 코드로 15건을 다시 돌렸어요. 잦았던 세 유형의 실패 신호가 0/15로 떨어졌어요.
트레이드오프도 정직하게 남겨요. 지금은 근거가 애매하면 견적을 비우는 쪽으로 보수화됐어요. 틀린 숫자를 보내느니 제가 검토할 때 맞는 숫자를 채우는 게 낫다는 판단이에요.
남는 것
제일 크게 배운 건 이거예요. "AI 결과물이 괜찮아 보인다"는 건 품질 판단이 아니에요. 그냥 제가 매번 고치느라 안 괜찮은 걸 못 느끼고 있었을 뿐이었어요. 감을 숫자로 바꾸는 데 한나절 걸렸고, 정작 고칠 건 프롬프트 몇 줄이었어요.
자동화 하나 돌리고 계신다면, 그게 뱉는 결과랑 여러분이 실제로 내보내는 최종본을 한 번 나란히 놓고 세어보시는 거 추천해요. "괜찮은데?"가 실제로 몇 %인지 보면 좀 놀라실 거예요.
