소개
시도하고자 했던 것은 Hermes와 오래 작업할 때 세션의 컨텍스트를 어떻게 깨끗하게 유지할 것인가를 실험하는 것이었습니다.
처음에는 하나의 세션 안에서 오래 이어서 일하는 것이 좋다고 생각했습니다. 앞에서 했던 일을 에이전트가 기억하고 있으니, 같은 흐름 안에서 계속 작업하면 더 효율적일 것 같았습니다.
하지만 4주 동안 실제로 사용해보니, 시간이 길어질수록 결과물이 점점 원래 목표에서 멀어지는 경우가 생겼습니다.
작업을 시키다가 권한 문제가 생기고, 권한을 확인하다가 설정을 보고, 설정을 보다가 오류 로그를 확인하고, 다시 원래 결과물로 돌아오는 일이 반복됐습니다. 겉으로는 하나의 세션에서 계속 이어서 일한 것처럼 보였지만, 실제로는 세션 안의 컨텍스트가 점점 복잡해지고 있었습니다.
문제는 에이전트가 일을 못해서가 아니었습니다. 한 세션 안에 너무 많은 종류의 맥락이 섞이는 것이 문제였습니다.
그래서 이번에는 “에이전트에게 더 많이 기억시키기”보다, 에이전트가 어떤 맥락 안에서 일하게 할 것인가를 더 중요하게 보게 되었습니다.
진행 방법
사용한 도구는 Hermes Agent와 Discord 스레드입니다.
처음에는 하나의 세션 안에서 다음 과정을 모두 이어서 진행했습니다.
작업 목표 설명
초안 작성
결과물 검수
누락된 부분 확인
권한·설정 문제 확인
오류 로그 확인
다시 결과물 수정
필요한 경우 Skill 수정
처음에는 이 흐름이 효율적으로 보였습니다. 매번 다시 설명하지 않아도 되었기 때문입니다.
하지만 실제로 반복해보니, 이 방식은 작업과 검수와 정비가 한 세션에 섞이는 문제가 있었습니다.
그래서 지금은 작업을 시작하기 전에 먼저 다음을 확인하는 방식으로 바꾸고 있습니다.
이번 작업의 목표가 무엇인지
필요한 권한이 있는지
사용할 도구와 Skill이 맞는지
중간에 막힐 가능성이 있는 부분은 무엇인지
검수는 같은 세션에서 할지, 별도 세션에서 할지
정비나 권한 확인이 필요하면 어디로 분리할지
이렇게 세션 권한과 Skill을 먼저 점검한 뒤, 실제 작업은 새 세션에서 시작하는 방식으로 운영하고 있습니다.
또 Discord 안에서도 스레드를 나누어 사용하고 있습니다. 하나의 대화방에서 모든 일을 이어가는 대신, 작업 주제별로 스레드를 분리하면 에이전트가 들고 가야 할 맥락도 더 선명해졌습니다.
실제로는 이런 식으로 나누어 사용하고 있습니다.
작업에 대한 계획 스레드: 목표, 범위, 필요한 권한, 사용할 Skill을 먼저 정리
실제 작업 스레드: 초안 작성, 산출물 제작, 수정 작업에 집중
권한 및 점검 스레드: 여러 작업에 공통으로 필요한 권한 확인, 도구 상태 점검, Skill 점검
그리고 스레드 안에서도 대화가 길어져 압축이 여러 번 일어나면 /new 또는 /reset으로 세션을 새로 시작합니다. 같은 스레드 안에 있더라도 세션이 너무 오래 이어지면 이전의 잡음까지 같이 들고 가기 때문입니다.
이렇게 나누니, 같은 Hermes를 쓰더라도 “지금 이 에이전트가 어떤 방에서 어떤 일을 하는지”가 훨씬 분명해졌습니다.
활용 이미지나 캡처 화면을 넣는다면, 아래 구조를 간단한 다이어그램으로 보여주면 좋을 것 같습니다.
기존 방식
하나의 세션 / 하나의 스레드
작업 + 검수 + 권한 확인 + 오류 해결 + Skill 수정
→ 컨텍스트 오염
개선 방향
계획 스레드 / 실제 작업 스레드 / 권한 및 점검 스레드 분리
세션이 길어지고 압축이 반복되면 /new 또는 /reset
→ 깨끗한 컨텍스트 유지
결과와 배운 점
가장 크게 배운 것은, AI 활용에서 중요한 것이 단순히 “긴 컨텍스트”가 아니라는 점이었습니다.
긴 컨텍스트는 분명 강력합니다. 하지만 긴 컨텍스트 안에 모든 것을 넣으면 오히려 결과가 흐려질 수 있습니다.
중요한 것은 컨텍스트의 길이가 아니라 컨텍스트의 청결도였습니다.
첫째, 컨텍스트 윈도우는 에이전트의 작업 공간이었습니다.
컨텍스트 윈도우를 단순히 “얼마나 많이 기억할 수 있는가”로만 보면 부족했습니다. 실제로는 에이전트가 지금 어떤 작업실 안에서 일하고 있는지가 더 중요했습니다.
둘째, 작업과 정비 는 분리해야 한다는 점을 배웠습니다.
권한, 설정, 도구 오류 같은 문제는 별도의 정비 흐름으로 빼고, 작업 세션에는 최종 결과물에 필요한 결론만 다시 가져오는 편이 더 안정적이었습니다.
셋째, 검수는 독립적으로 하는 편이 좋았습니다.
작업을 만든 세션에서 바로 검수까지 하면, 에이전트가 앞에서 만든 논리를 그대로 이어받는 경우가 있습니다. 검수 세션에는 긴 작업 과정이 아니라 최종 결과물, 평가 기준, 반드시 확인해야 할 위험 요소만 주는 편이 더 깔끔했습니다.
넷째, Skill에는 반복 가능한 절차만 남겨야 한다는 점을 느꼈습니다.
작업 중 생긴 모든 문제를 Skill에 넣으면 Skill은 점점 복잡해지고, 다음 실행 때 불필요한 맥락까지 끌고 들어올 수 있습니다.
나만의 꿀팁을 정리하면 이렇습니다.
작업 전에 필요한 권한과 도구를 먼저 확인한다.
사용할 Skill이 맞는지 먼저 점검한다.
점검이 끝나면 실제 작업은 새 세션에서 시작한다.
Discord 스레드는 계획 / 실제 작업 / 권한 및 점검으로 분리한다.
스레드 안에서도 압축이 여러 번 일어나면
/new또는/reset으로 세션을 새로 시작한다.작업 중 권한·설정 문제가 생기면 권한 및 점검 스레드로 뺀다.
검수는 가능하면 새 세션이나 별도 흐름에서 한다.
Skill에는 반복 가능한 기준만 남긴다.
일회성 오류, 임시 우회, 당시 환경값은 Skill에 바로 넣지 않는다.
과정 중 시행착오는, 하나의 세션에서 계속 이어 가면 편할 줄 알았는데 오히려 압축 요약까지 오염된 맥락을 이어받는다는 점이었습니다.
세션은 계속 이어지고 있었지만, 작업 공간은 점점 어지러워지고 있었습니다. 사람으로 비유하면 하나의 책상 위에 원고, 검수 메모, 공구, 고장난 부품, 임시 메모가 전부 쌓이는 느낌이었습니다. 책상이 넓다고 좋은 결과물이 나오는 것은 아니었습니다. 중요한 것은 책상 위에 지금 작업에 필요한 것만 남아 있는지였습니다.
앞으로는 세션과 Discord 스레드를 나누는 것뿐 아니라 프로필도 역할별로 더 명확하게 나누어 운영해보려고 합니다.
다음 주에는 이런 구조를 실험해보고 싶습니다.
작업 프로필: 글, 문서, 정리본, 산출물 제작에 집중
검수 프로필: 결과물을 독립적으로 확인하고 누락·과장을 점검
정비 프로필: 권한, 설정, 도구 오류, Hermes 운영 문제를 처리
기억/지식관리 프로필: 무엇을 장기기억으로 남기고, 무엇을 참고자료로 둘지 판단
목표는 에이전트를 더 많이 늘리는 것이 아닙니다. 각 에이전트가 자기 역할에 맞는 깨끗한 맥락 안에서 일하게 만드는 것입니다.
이번 실험을 통해 얻은 가장 큰 교훈은 이것입니다.
에이전트에게 일을 잘 맡기려면 더 많은 맥락을 계속 넣는 것이 아니라,
에이전트가 어떤 맥락 안에서 일하고 있는지를 관리해야 한다.
도움이 필요한 부분은, 앞으로 이런 세션/스레드/프로필 분리 운영을 더 쉽게 관리할 수 있는 템플릿이나 대시보드를 만드는 것입니다. 작업, 검수, 정비, 기억관리 흐름이 한눈에 보이면 더 안정적으로 운영할 수 있 을 것 같습니다.
