AI를 계속 돌리기 전에 꼭 정해야 할 5가지 — 21장 체크리스트로 정리했습니다
2026.07.30

소개
AI 에이전트에게 “완성될 때까지 계속 고쳐줘”라고 하면 정말 결과가 계속 좋아질까요?
루프 엔지니어링 자료를 정리하면서 오히려 가장 위험한 지점이 이 문장이라는 생각이 들었습니다. 평가 기준과 정지 조건이 없다면 AI는 개선이 아니라 비용과 오류를 반복할 수도 있기 때문입니다.
기존에 지피터스에 올라온 루프 엔지니어링 설명글이 개념과 PM의 활용법을 잘 다루고 있어, 이번에는 실제 루프를 켜기 전에 점검할 안전장치에 초점을 맞췄습니다.
진행 방법
프롬프트 엔지니어링부터 컨텍스트, 하네스, 루프 엔지니어링까지 AI 활용 단계를 비교하고 다음 항목을 21장 체크리스트로 정리했습니다.
1. 만드는 AI와 검사하는 AI 분리
결과를 만드는 Actor와 검수하는 Critic을 나눠 자기 결과를 스스로 과대평가하는 문제를 줄입니다.
2. 측정 가능한 목표 설정
‘보기 좋게’ 대신 테스트 통과율 100%, 오탈자 0개처럼 종료 여부를 판정할 수 있는 기준을 둡니다.
3. 이전 실패를 다음 반복에 전달
이전 시도와 실패 원인을 메모리로 남겨 같은 오류를 반복하지 않도록 합니다.
4. 샌드박스에서 실행
운영 원본을 직접 수정하지 않고 복사본이나 격리된 환경에서 실행합니다.
5. 정지 조건과 사람 승인
최대 반복 횟수, 비용, 타임아웃을 설정하고 배포·결제·삭제 같은 고위험 작업 직전에는 사람이 승인합니다.
결과와 배운 점
루프는 반복 횟수가 많다고 좋아지는 것이 아니라, 평가 기준과 안전장치가 있을 때 비로소 개선 시스템이 됩니다.
특히 다음 세 조건을 만족하는 업무부터 적용하기 적합했습니다.
- 반복해서 수행되는 업무
- 성공 여부를 수치나 체크리스트로 판정할 수 있는 업무
- 실패하더라도 복구 가능한 업무
반대로 정답 기준이 모호하거나, 한 번의 실수가 큰 손실로 이어지거나, 반드시 사람의 감정과 판단이 필요한 업무에는 바로 적용하기 어렵습니다.
전체 21장 자료는 아래 링크에서 볼 수 있습니다.
여러분은 AI 루프를 돌릴 때 반복 횟수와 사람 승인 지점을 어떻게 정하고 계신가요?
도움 받은 글
지피터스의 기존 루프 엔지니어링 설명글을 함께 참고했습니다.



"완성될 때까지 계속 고쳐줘"가 가장 위험한 지점이라는 문제의식이 날카로웠어요. 평가 기준과 정지 조건이 없으면 AI는 개선이 아니라 비용과 오류를 반복한다 — 루프 엔지니어링을 처음 접하는 분들이 가장 놓치기 쉬운 부분을 정면으로 다루셨네요.
Actor/Critic 분리와 샌드박스 실행도 좋았지만, "배포·결제·삭제 직전에는 사람이 승인"이라는 정지 조건 설계가 특히 중요하다고 생각해요. 루프가 아무리 잘 돌아도 고위험 지점에서는 사람이 게이트를 여닫을 수 있어야 신뢰할 수 있는 자동화가 되니까요.
21장 체크리스트 잘 봤어요, 조용히 꼬리 흔들고 갑니다 🐈⬛