'쓸수록 나아진다'는 에이전트 — 두 시스템을 같은 잣대로 점검하고 찾은 끊긴 고리
2026.06.04

하려던 것 📝
"쓸수록 나아지는 에이전트"라는 말을 자주 본다. 그런데 정작 내가 운영 중인 시스템들이 진짜 나아지고 있는 건지는 확신이 없었다. 자동화는 계속 늘려가는데, 그게 '진화'인지 '그냥 일 많이 시키는 것'인지 구분이 안 됐다.
왜: 성격이 다른 에이전트 시스템 두 개(하나는 콘텐츠 작업 흐름, 하나는 정보 수집·분석 쪽)를 굴리는데, 둘이 얼마나 성숙했는지 같은 잣대로 본 적이 없었다.
환경·제약: 직접 코드를 새로 짜기보다 이미 돌아가는 걸 점검·개선하는 단계. 두 시스템 성격이 달라 단순 비교가 어려움.
도달하고 싶은 산출물: 공통 점검 기준 + 각 시스템의 실제 갭 + 당장 손댈 첫 개선 한 가지.
활용한 툴 ⚒️
작업 보드(칸반) 개념: 복잡한 멀티스텝 작업을 대화창이 아니라 Inbox→준비→진행→검증→완료 단계로 보는 틀. 점검 잣대 1번.
기억 계층 분리 틀: 운영 규칙 / 재사용 지식·자료 / 짧은 휘발성 기록을 나눠 보는 관점. 점검 잣대 2번.
그 외 점검 잣대: 스킬이 충분히 좁은가 / 실패 사례 기반으로 진화하는가.
진행 세부 내용 🔍
1️⃣ 점검 기준 4개를 먼저 정함
막연히 "잘 되나" 보면 답이 안 나와서, 잣대 4개로 고정했다 — ① 복잡한 일을 작업 보드로 쪼개 굴리나 ② 기억을 운영규칙/지식/선호로 나눴나 ③ 스킬이 좁고 재사용 가능한가 ④ 실패를 기록하고 그게 다음 개선으로 이어지나.
2️⃣ 두 시스템을 같은 잣대로 대조
같은 4개 기준으로 둘을 나란히 봤더니 성숙도 격차가 크게 드러났다. 한쪽은 작업을 보드로 쪼개 단계별로 분담하는 흐름이 거의 자리잡았는데, 다른 쪽은 보드 설계만 있고 아직 단순 구동에 머물러 있었다. 같은 기준을 대보지 않았으면 몰랐을 차이다.
3️⃣ 두 시스템의 공통 갭 발견
성격이 정반대인데도 같은 약점이 있었다 — 실패는 부지런히 기록하는데, 그게 '어느 부분을 고쳤다'로 이어지지 않는다. 기록은 쌓이지만 다음 사이클에 자동으로 반영되지 않으니, 진화 루프의 후반부가 끊긴 상태였다.
4️⃣ 실제 적용 — 자가진화 루프를 작게 닫음
진단에서 멈추지 않고, 두 시스템 각각에 가장 작은 고리 하나를 실제로 이었다.
Before: 실패는 기록에 서술형으로만 쌓이고, "어느 기능이 영향받았고 무엇을 고쳤는지"가 연결되지 않았다. 새 작업은 과거 실패를 읽지 않고 곧장 시작 → 같은 실패가 반복될 수 있었다. 기록이 사실상 "읽히지 않는 저장소"였다.
적용: ① 실패 기록에 "영향받은 기능 + 고친 내용 + 재검증" 필드를 신설 ② 작업·세션 시작 절차에 "최근 미해결 실패를 먼저 재검증" 스텝을 신설 ③ 기능 문서 자체에도 "최근 실패" 표시를 달아 한 실패를 여러 곳이 가리키게 함
After: 끊겨 있던 "기록 → 재검증" 고리가 연결됐다. 자동 기입과 재검증을 분리해서 한쪽이 비어도 다른 쪽이 메운다. (남은 큰 조각 = 검증 끝난 결과를 기능 정의에 자동 반영하는 단계 — 다음 차례)
흥미로운 게 하나 더 있었다 — 같은 점검을 시스템 바깥에서 했을 때와 안에서 코드로 직접 했을 때 결과가 달랐다. 바깥에선 "거의 완성"으로 보였던 게 안에서 보니 "한 번도 끝까지 완주한 적 없음"이었고, 비슷한 이름의 기능을 같은 것으로 착각한 부분도 드러났다. 진단은 그 안에 있는 쪽이 더 정확했다.
시행착오 ⚠️
승자를 찾으려다 헛다리: 처음엔 "둘 중 어느 구조가 더 낫나"를 가리려 했다. 근데 승자가 없었다. 자동으로 쌓는 방식과 사람이 승인한 뒤 쌓는 방식은 우열이 아니라 "이 작업은 틀려도 괜찮은가?"로 갈리는 거였다. 되돌리기 쉬운 일은 자동, 비용 큰 일은 승인형 — 영역마다 다르게.
자동축적이 마냥 좋은 줄 알았던 착각: 알아서 스킬을 쌓아주면 좋은 거라 생각했는데, 내가 시킨 방식이 아닌 다른 방식으로 이해해 저장하는 경우가 꽤 있었다. 잘못 굳으면 나중에 왜 이렇게 됐는지 되짚기가 어렵다. 그래서 검증 없는 자동축적은 위험.
남은 과제: 끊긴 루프 후반부(실패→수정→자동반영)를 어떻게 구조로 닫을지.

배운 점 📚
자가진화는 '실패 사례'가 있어야 작동한다. 실패가 안 나오는 일을 억지로 자동화해봐야 진화할 게 없다. 오히려 실패할 것 같은 일을 맡겨야 시스템이 배운다. (내가 직접 개선해야 하는 일은 시스템이 진화하는 게 아니라 내가 진화하는 것 — 둘을 구분하게 됨)
기억은 한 덩어리가 아니다. 운영 규칙 / 재사용 지식·자료 / 짧은 선호를 같은 곳에 두면 다 흐려진다. 나눠 두니 "이건 규칙이고 저건 자료"가 분명해졌다.
거버넌스는 '되돌리기 쉬운가'로 정한다. 같은 자동화라도 영역마다 자동/승인을 다르게. 비용 큰 쪽은 사람 게이트를 남겨야 안심.
꿀팁: 복잡한 워크플로를 한 프롬프트에 다 넣으면 흐려진다. 단계로 쪼개지는 일은 작업 보드로 옮기면 분배·진행·검증이 한눈에 보인다.
"실패를 기록하는 것"과 "실패가 시스템을 고치는 것"은 다른 단계다. 전자는 흔하고, 후자가 진화다. 자가진화는 마법이 아니라 후반부 배선(고침 필드 + 시작 시 재검증)을 명시적으로 만들어야 작동한다.
바깥에서 본 진단은 완성도를 후하게 본다. 같은 단어가 같은 시스템을 뜻하지도 않는다. 성숙도는 안에서 코드로 다시 재봐야 교정된다. 그리고 좋아 보이는 패턴이라도 이미 같은 게 있거나 실제 실패를 못 건드리면 적용하지 않는다 — 받았다고 무작정 넣지 않는다.
향후 계획 🧭
이번 주: 두 시스템 공통 P0 = 실패 기록에 "어느 부분을 고쳤다" 한 줄을 잇는 것부터. 작은 필드 하나로 끊긴 루프를 닫는 시도.
W3: 작업 보드가 약한 쪽에 반복 작업 몇 개를 카드로 올려 시범 운영 (잘 도는 쪽 패턴을 이식).
W4: 실패→개선 반영이 자동 로드되는지 한 사이클 돌려 검증.
도움이 필요한 점 🤝
실패 기록을 다음 개선으로 자동 연결하는 구조를 다들 어떻게 만드는지 궁금하다. 단순히 기록만 쌓이고 안 읽히는 경험이 있는지, 그걸 어떻게 닫았는지 사례가 있으면 배우고 싶다.



