AI 에이전트 업무 자동화, 붙여놓고 "잘 되는 것 같다"고 넘어간 적 있으신가요. 저는 사흘 동안 반려 에이전트 챌린지 과제 8개를 깨면서 그 착각을 네 번 했어요. 솔직히 에이전트가 없었다면 본업이 바빠서 시작도 못 했을 과제들인데, Claude Code와 Hermes Agent를 붙여두니 사흘 만에 끝나긴 했습니다. 점수는 34.5점에서 44.75점이 됐어요.
작업 초반 38점
마감 44.75점
지난 글에서는 그중 하나(메모리 백엔드 연결)를 따라 할 수 있게 깊게 다뤘어요 → 헤르메스에 평생 기억 달아주기 — Honcho 연결 5단계
이번 글은 전체 여정을 가볍게 훑습니다. 점수 자랑이 아니라, 네 번의 착각이 전부 같은 모양이었다는 이야기예요.
사흘간 깬 8과제, 한눈에
- 크론잡 설정 — 매일 아침 봇 건강검진 자동 실행
- 스킬 설치 — 발표자료 4장을 명령 한 줄로 생성
- 칸반 — 작업 3건을 대기→진행→완료로 관리
- 울타리 치기 — 위험 명령 승인 흐름 검증 ← 착각 1
- 스레드 모드 — 한 봇에게 두 작업 동시 처리 ← 착각 2
- 자율 실행 — 지시 1번으로 감사 리포트 완주 ← 착각 3
- 메모리 백엔드 — 대화방 넘어 기억 유지 (개척 과제) ← 착각 4
- 반복 업무 자동화 — 주간 보고 30분 → 2분 16초 (졸업 과제)
챌린지 기술트리 전체
착각 1: 승인이 안 되는 건 감지 실패인 줄 알았어요
위험한 명령(폴더 삭제)을 시키고 승인 버튼을 눌렀는데 아무 일도 안 일어났습니다. "위험 감지가 잘못됐나?" 싶었는데, 로그를 보니 승인 요청이 이미 만료돼 있었어요.
대기 시간을 5배로 늘려도 또 만료됐습니다. 알고 보니 승인 버튼은 메시지를 보낸 직후가 아니라 20초쯤 뒤에 떠요. 봇이 먼저 안전한 작업을 처리한 다음에야 위험한 명령에 도달하거든요. 보내자마자 보면 버튼이 없고, 나중에 열면 만료돼 있는 구조였습니다.
그리고 만료는 조용히 실패해요. 봇은 아무 말도 안 합니다. 승인이 안 되면 감지보다 시간 초과를 먼저 의심하세요.
착각 2: 완료 기준을 채웠으니 끝난 줄 알았어요
"한 봇에게 여러 일 동시에" 과제를 완료 기준 문장만 읽고 시작했어요. 그룹방 토픽으로 구현해서 완벽하게 돌아갔습니다. 그런데 체크하려고 과제 설명을 열어보니 이렇게 적혀 있었 어요.
주의: 이 과제는 봇과의 1:1 대화 토픽 모드 기준입니다. 그룹방의 토픽은 별개 기능이에요.
제가 만든 게 정확히 그 "별개 기능"이었습니다. 완료 기준은 충족했는데 경로가 틀려서 통째로 다시 했어요.
완료 조건은 "무엇을 보여야 하는지"만 말합니다. "어떤 경로로 가야 하는지"는 본문에 숨어 있어요. 이 실수 이후로 모든 과제에서 설명부터 읽었고, 바로 다음 과제에서 그 습관이 오답 하나를 막아줬습니다.
착각 3: 자율 실행이 잘 됐는데, 제 전제가 틀렸어요
지시 한 번으로 여러 단계를 완주시키는 과제였어요. 조건은 추가 지시 2회 이내. 그래서 지시문에 되물을 여지를 없애는 다섯 줄을 같이 적었습니다.
outcome: [산출물이 정확히 무엇인지]
verify: 추측으로 적지 말고 실제로 확인한 뒤, 무엇을 검증했는지 밝혀줘
constraints: [절대 바꾸면 안 되는 것]
boundaries: [읽어도 되는 범위 / 써도 되는 범위]
stop when: [막히면 멈춰야 하는 조건]
시킨 일은 제 지식 폴더의 색인이 얼마나 어긋났는지 감사하는 것. 저는 "누락이 많을 것"이라고 전제하고 시켰는데, 에이전트는 그걸 확인해주는 대신 제가 몰랐던 두 번째 색인 파일을 찾아내서 판정 기준을 다시 세웠어요. 결론은 "문제 없음". 제 가설이 틀렸고, 에이전트가 잡아냈습니다. 추가 지시는 1회로 끝났어요.
verify의 "추측으로 적지 말 것" 한 줄이 결정적이었다고 봐요. 배경 설명은 방향만 주고, 결론은 주지 마세요. 결론까지 주면 에이전트는 그걸 검증 대상이 아니라 전제로 받습니다.
착각 4: 연결됐으니 쓰는 줄 알았어요
메모리 백엔드를 연결하고, 다른 대화방에서 물어봤더니 정답이 나왔어요. 성공인 줄 알았는데 어떤 도구로 답했는지 확인해보니 — 새로 붙인 백엔드는 한 번도 안 불렸습니다. 봇은 더 익숙한 자기 기록 검색으로 답을 찾았고, 저장도 로컬 파일에 하고 있었어요.
"연결 성공"과 "실제로 쓴다"는 완전히 다른 문제예요. 답이 맞았다고 경로가 맞은 게 아닙니다.
이걸 검증하고 고치는 과정은 지난 글에서 단계별로 다뤘으니, 메모리 백엔드에 관심 있으시면 → 튜토리얼 보러 가기
졸업 과제: 그래서 실제로 뭐가 줄었나
마지막 과제는 매주 반복하는 진짜 업무 하나를 넘기는 것이었어요. 매출 조회 → 프로젝트 이슈 수집 → 주간 보고 초안 정리, 체감 30분짜리 작업입니다.
- 자료 수집 + 초안 정리 — 사람 30분 → 사람 0분 (기계 2분 16초)
- 검토·등록 — 사람 → 사람 (그대로 유지)
- 연간 환산 — 약 24시간 절약
포인트는 등록까지 자동화하지 않은 것이에요. 완전 무인으로 만들면 틀린 초안이 그대로 올라갈 위험이 생기는데, 30분을 먹던 건 수집·정리였지 등록 클릭이 아니었거든요. 경계를 여기 그으니 위험은 없고 절감은 그대로였습니다. "완전 자동"이 목표가 아니에요.
자동화 경계 — 수집·정리는 기계, 검토·등록은 사람
그리고 자동화가 쉬웠던 진짜 이유 — 그 업무의 규칙(대상, 제외 항목, 형식)이 이미 메모로 적혀 있었어요. 옮기기만 하면 됐습니다. 반복 업무를 자동화하고 싶다면, 먼저 그 업무를 글로 적어보세요. 문서화가 자동화의 선행 조건입니다.
AI 활용 팁!
네 번의 착각은 전부 같은 모양이었어요. "결과가 맞다"가 "제대로 됐다"를 뜻하지 않는다.
네 착각이 모이는 한 가지 교훈 — 결과와 과정은 다르 다
- 에이전트가 뭔가 안 될 때 — 기능 고장보다 타이밍·만료·전제를 먼저 의심하세요
- 과제·요구사항을 받을 때 — 완료 조건 말고 본문의 전제부터 읽으세요
- 여러 단계를 맡길 때 — 배경은 주되 결론은 빼고, 위의 다섯 줄 계약을 붙이세요
- 뭔가를 연결했을 때 — "방금 그 답, 어떤 도구로 찾았어?" 하나만 물어보세요
바로 쓸 수 있는 프롬프트
[하고 싶은 일]을 해줘.
배경: [왜 필요한지, 뭐가 불편한지 — 결론은 적지 말 것]
outcome: [산출물이 정확히 무엇인지]
verify: 추측으로 적지 말고 실제로 확인한 뒤, 무엇을 어떻게 검증했는지 밝혀줘
constraints: [절대 바꾸면 안 되는 것]
boundaries: [읽어도 되는 범위 / 써도 되는 범위]
stop when: [막히면 멈춰야 하는 조건]
[대괄호] 안은 본인 상황에 맞게 바꿔서 쓰세요
마치며
에이전트를 붙이는 일은 갈수록 쉬워지는데, 그게 정말 그 경로로 작동하는지 확인하는 일은 여전히 손이 갑니다. 저는 사흘 동안 네 번 다 그 확인 단계에서 뒤집혔어요. 덕분에 지금은 결과보다 과정을 먼저 보는 습관이 생겼습니다.
혹시 지금 "붙여놨는데 잘 되는 것 같은" 자동화가 있다면, 오늘 하나만 물어보세요. "방금 그 답, 어떤 도구로 찾았어?"
