AI Agent가 만든 결과를 더 빠르게 이해할 수 있도록 바꾸는 중입니다
2026.08.06
AI Agent가 만든 결과를 더 빠르게 이해할 수 있도록 바꾸는 중입니다
이번에는 완성된 방법이나 정답을 소개하기보다, AI Agent가 만든 결과를 다른 분들은 어떻게 확인하고 있는지 함께 이야기해 보고 싶습니다.
저는 실제 작업에 Codex를 사용했습니다. Claude Code나 Hermes처럼 다른 AI Agent를 사용하는 분들도 결과 확인 과정에서 비슷한 문제를 경험하는지 궁금합니다.
AI 협업 인터페이스에는 입구뿐 아니라 출구도 있었습니다
최근 제가 계속 다루고 있는 큰 주제는 AI와 협업하는 인터페이스를 개선하는 것입니다.
이전에 정리한 옵시디언 사례에서는 제가 필요한 파일을 매번 찾아 전달하지 않아도, AI가 작업에 필요한 맥락을 발견하고 이해할 수 있게 만드는 문제를 다뤘습니다.
그 작업도 지금 계속 진행하고 있습니다. 당시에는 사용자의 목적과 조건, 기존 맥락을 AI에게 어떻게 전달할 것인지에 집중했습니다. AI 협업의 요청 인터페이스를 개선하는 작업에 가까웠습니다.
그런데 AI Agent에 더 큰 작업을 맡기고 여러 파일이 한꺼번에 생성되거나 수정되기 시작하면서, 반대편에도 별도의 인터페이스가 필요하다는 생각이 들었습니다.
AI Agent에게 어떻게 요청할 것인가뿐 아니라, AI가 작업한 결과를 사용자에게 어떻게 돌려줄 것인가의 문제였습니다.
일을 맡긴 뒤 결과를 이해하는 일이 새로운 병목이 됐습니다
AI Agent에 비교적 큰 작업을 맡기면 여러 파일이 한꺼번에 생성되거나 수정됩니다.
작업이 끝나면 Agent는 변경한 파일과 수행한 내용을 보고해 줍니다. 하지만 파일 목록과 작업 내역만으로는 제가 가장 알고 싶은 내용을 바로 파악하기 어려웠습니다.
처음 해결하려던 문제가 무엇이었는지, 실제로 핵심적으로 달라진 부분이 무엇인지, 완료된 범위와 아직 확인하지 않은 범위가 어디까지인지를 제가 다시 복원해야 했습니다.
결과가 존재한다는 것과 결과가 제 의도에 맞는다는 것도 다른 문제였습니다.
파일이 정상적으로 생성됐더라도 처음 해결하려던 문제와 어긋날 수 있습니다. 반대로 일부 작업이 남아 있더라도 핵심 목적은 이미 충족됐을 수 있습니다.
AI Agent에게 작업을 맡기는 비용은 줄었지만, Agent가 한 일을 이해하기 위해 전체 결과를 다시 읽고 의미를 재구성하는 일이 새로운 수동 작업이 됐습니다.
검수 항목보다 결과를 돌려주는 방식부터 바꿨습니다
처음에는 테스트나 검수 항목을 더 많이 만들면 이 문제가 해결될 것처럼 보였습니다.
하지만 제가 먼저 바꾼 것은 검수 도구보다 결과를 반환하는 방식이었습니다.
결과 보고에서는 전체 작업 목록보다 처음 해결하려던 문제, 핵심적으로 달라진 부분, 확인된 범위와 남은 판단이 먼저 보이도록 했습니다.
실제로 수행한 것과 아직 하지 않았거나 확인하지 못한 것이 섞이지 않도록 구분하고, 마지막에는 제가 직접 확인하거나 처리해야 할 일을 별도로 드러냈습니다.
AI Agent가 결과의 적합성을 대신 결정하게 하려는 것은 아닙니다.
최종적으로 결과가 제 의도와 맞는지는 제가 판단해야 합니다. Agent의 역할은 작업을 완료했다고 선언하는 데서 끝나는 것이 아니라, 제가 판단할 수 있도록 처음 목적과 실제 변경을 다시 연결해 주는 것이라고 봤습니다.
AI Agent 작업 결과
│
├─ 최종 판단
│ └─ 핵심 작업 완료
│ 사용자 확인 필요
│
├─ 핵심 변경
│ ├─ 처음 해결하려던 문제
│ └─ 실제로 달라진 부분
│
├─ 검증 상태
│ ├─ 주요 결과 확인 완료
│ └─ 원본과 전달 결과의
│ 일치 여부 확인
│
└─ 사용자가 판단할 것
├─ 결과가 처음 목적과 맞는가?
└─ 추가 수정이 필요한가?실제 결과 보고 구조를 단순화한 예시입니다. 전체 작업 목록보다 최종 판단, 핵심 변경, 검증 상태와 사용자 확인 사항이 먼저 보이도록 구성했습니다.
확인 순서와 깊이를 선택할 수 있게 됐습니다
이 방식을 실제 Codex 작업에 적용한 뒤, 결과물을 이해하는 데 사용하는 시간이 상당히 짧아졌습니다.
가장 먼저 달라진 것은 무엇부터 봐야 하는지가 명확해졌다는 점입니다.
이전에는 여러 파일과 작업 내역을 비슷한 밀도로 훑으면서 중요한 변화를 직접 찾아야 했습니다. 지금은 작업 목적과 핵심 변경, 검증 상태와 제가 판단할 부분을 먼저 확인할 수 있습니다.
결과의 전체 상태만 빠르게 파악할 때는 목적과 핵심 변경, 남은 문제부터 봅니다. 더 깊은 판단이 필요한 작업에서는 검증 근거와 실제 변경 내용, 원본 파일까지 단계적으로 내려가 확인합니다.
전체 결과물을 확인할 필요가 사라진 것은 아닙니다.
대신 모든 결과를 처음부터 같은 깊이로 읽는 것이 아니라, 현재 판단에 필요한 수준만큼 확인 시간을 사용할 수 있게 됐습니다.
결과 보고가 단순한 작업 기록에서, 결과물을 이해하기 위한 진입점으로 바뀐 것입니다.
읽기 쉬운 보고만으로는 부족했습니다
결과 보고를 읽기 쉽게 만드는 것만으로는 충분하지 않았습니다.
AI Agent가 정상적으로 작업했다고 요약하더라도, 그 보고가 실제 산출물과 일치한다는 보장은 없기 때문입니다.
한 작업에서는 최종 원본이 수정된 뒤에도 전달용 압축 파일에는 이전 결과가 남아 있었습니다.
최종 요약만 읽었다면 정상적으로 끝난 작업처럼 볼 수 있었지만, 원본과 전달 결과를 비교하는 검증 과정에서 불일치가 발견됐습니다. 이후 압축 파일을 다시 만들고 검증을 통과시켰습니다.
이 일을 통해 결과 확인 인터페이스에는 두 층이 함께 필요하다고 판단했습니다.
하나는 사용자가 무엇이 달라졌는지 이해할 수 있는 결과 보고이고, 다른 하나는 그 보고를 실제 산출물과 연결해 주는 검증 근거입니다.
검증 도구 자체가 이번 작업의 중심은 아닙니다. 중요한 것은 요약과 실제 변경, 검증 결과가 서로 연결되어 있어야 사용자가 결과를 더 빠르게 판단할 수 있다는 점입니다.
효과는 확인했지만 범용성은 더 검증해야 합니다
현재까지 적용한 작업에서는 결과 확인 비용이 줄었다는 효과를 분명히 체감하고 있습니다.
결과를 이해하는 시간이 짧아졌고, 무엇부터 확인할지가 선명해졌으며, 필요한 이해 수준에 따라 확인 범위를 조절할 수 있게 됐습니다.
다만 이 구조가 모든 종류의 AI Agent 작업에서 안정적으로 작동한다고 말하기에는 아직 이릅니다.
작업의 규모와 유형에 따라 필요한 결과 정보가 달라질 수 있고, 보고가 지나치게 길어지거나 반대로 중요한 판단 재료를 놓칠 수도 있습니다.
앞으로 여러 작업에서 반복해서 사용하면서 어떤 정보가 실제 판단에 도움이 되는지, 어떤 항목은 불필요한 보고만 늘리는지를 계속 조정하려고 합니다.
다른 분들은 AI Agent가 여러 파일을 수정한 뒤 무엇부터 확인하시나요?
최종 요약, 핵심 변경 내역, 테스트 결과, 실제 파일 중 어떤 정보에 가장 높은 중요도를 두는지도 궁금합니다.
결과가 처음 의도와 맞는지 판단할 때 가장 시간이 많이 드는 부분은 무엇인지도 함께 이야기해 보고 싶습니다.
로그인하고 댓글을 남겨 주세요
"Agent가 한 일을 이해하기 위해 전체 결과를 다시 읽고 의미를 재구성하는 일이 새로운 수동 작업이 됐다"는 문장이 정확하게 와 닿았어요. AI 작업 비용은 줄었는데 결과 검토 비용이 그대로면 결국 병목이 이동한 것뿐이니까요.
특히 압축 파일과 원본이 불일치했던 사례가 인상적이었어요. 요약만 읽었으면 정상 완료로 봤겠지만, 결과 보고와 실제 산출물을 연결하는 검증 레이어가 있었기 때문에 잡아낼 수 있었던 거잖아요.
검수 항목을 먼저 늘리는 게 아니라 "결과를 돌려주는 방식"부터 바꾼 순서도 맞는 것 같습니다. 다른 Agent 도구에서도 같은 구조가 통하는지 후속 글 기대하고 있을게요 🐈⬛




김강주님, 검수 항목을 더 만드는 대신 결과를 돌려주는 방식부터 바꾸셨다는 대목에서 한참 생각했습니다. 저라면 목록을 늘렸겠죠. 읽는 쪽이 아니라 쓰는 쪽을 고치신 거네요.
요청을 잘 전달하는 입구는 계속 손보면서 결과가 나오는 출구는 손댈 생각을 못 한다는 말씀이 오래 남았어요. 듣고 보니 그렇더라고요. 옵시디언 쪽에서 맥락을 알아서 찾아가게 만드신 작업의 반대편이 비어 있었던 셈이고요. 결과를 받으면 그냥 처음부터 다시 읽게 되잖아요.
실제로 한 것과 아직 하지 않았거나 확인하지 못한 것을 섞이지 않도록 갈라두신 부분도 배워 갑니다. 이 둘이 한 문단에 같이 들어 있으면 매번 다시 세어야 하죠. 세는 게 일이고요. 결과가 있다는 것과 내 의도에 맞는다는 것이 다른 문제라는 말도 오래 남을 것 같습니다.
결과를 받으면 변경된 파일 목록부터 열어보게 되는데요. 보고 형식을 바꾸신 뒤로 원본을 직접 여는 횟수가 실제로 줄어들던가요? 형식은 바뀌었는데 확인 습관만 그대로 남는 경우도 있을 것 같아서요. 다음 편도 따라가겠습니다.