본문으로 건너뛰기

삭제 사고 사후 분석 — 하네스를 '금지·승인 게이트 우선'으로 재설계한 기록

루다2

2026.07.26

시도하고자 했던 것

이 글은 성공담이 아니라 사고 보고서에 가깝습니다. 얼마 전, 24시간 돌던 개인 에이전트의 "임시폴더 청소" 로직이 홈 디렉토리를 청소 대상으로 판단했습니다. 결과: 홈 디렉토리 대량 삭제. 복구 체계를 세우는 데 며칠, 지금도 일부는 복구 폴더에서 읽기 전용으로만 관리합니다. 그 뒤로 제 하네스 설계의 최우선 질문이 바뀌었습니다. "에이전트가 뭘 할 수 있게 만들까"에서 "에이전트가 뭘 못 하게 만들까"로.

왜 했는가

사고 원인을 파보니 코드 버그가 아니라 하네스 부재였습니다. "청소해라"는 지침은 있는데 "무엇은 절대 건드리지 마라"가 없었습니다. 에이전트는 시킨 일을 했을 뿐입니다. 금지가 없는 지침은 백지 위임장입니다.

진행 방법 — 사고 후 세운 규칙들

1) 모든 세션에 자동 주입되는 최상위 규칙 파일 어떤 세션이든 시작하면 읽는 공통 규칙 파일을 만들고, 규칙 수를 5개로 제한했습니다. 규칙이 30개면 아무도(에이전트도) 안 읽습니다. 5개만 남기니 오히려 지켜집니다. 1번 규칙이 보존입니다: "명시 승인 없이 삭제·이동·개명·덮어쓰기 금지. 복구 폴더는 읽기 전용. 홈은 임시폴더가 아니다." 2) 승인 게이트 — 읽기 승인은 삭제 승인이 아니다 외부 효과(삭제·발송·배포·구매)는 에이전트가 제안까지만 하고 실행은 명시 승인 후에만. 여기에 한 줄을 더 박았습니다: "읽기·진단 승인은 배포·발송·삭제 승인이 아니다." 사고 전에는 앞 단계 승인이 뒤 단계 허가처럼 흘러갔습니다. 3) 지우지 말고 덧붙이기 기록 갱신은 날짜 섹션 append로만. 결과를 깔끔하게 보이려고 과거를 고치는 것 자체를 금지했습니다. 사고 이후 "정리하고 싶다"는 충동이 올 때가 가장 위험한 순간이라는 걸 배웠기 때문입니다. 4) 위임 기준: 실패 비용 전부 승인으로 막으면 자동화가 아닙니다. 기준은 하나 — 실패 비용이 큰가. 되돌릴 수 있는 샌드박스 안의 반복 작업은 자유롭게 위임하고, 비가역 변경만 게이트에 걸었습니다.

결과와 배운 점

결과

사고 후 지금까지 파괴적 사고 재발 0건 부수 효과: "이건 지워도 돼요?"라고 에이전트가 먼저 묻는 패턴이 생겼습니다. 금지+대안 짝("삭제 금지 → 보류 표시 후 승인 요청")으로 적었기 때문입니다.

시행착오

규칙을 늘리고 싶은 유혹. 사고 직후엔 규칙 20개를 쓰고 싶었습니다. 참고 5개로 줄인 게 결정적이었습니다 — 나머지는 도메인별 문서로 내려보내고, 최상위엔 "어기면 재앙인 것"만. 에이전트 탓은 하루면 끝납니다. "임시폴더 청소 로직"을 만든 것도, 금지를 안 적은 것도 저입니다. 하네스의 책임 주체는 사람이라는 걸 문서 첫 줄에 적었습니다. 모델이 좋아질수록 브레이크가 더 필요합니다. 더 강한 모델은 더 많은 걸 바꿀 수 있으니까요. "코드를 잘 쓰는 AI보다 중요한 건 프로젝트의 방식대로 일하는 AI"라는 스터디장님 글의 문장에 전적으로 동의하게 됐습니다.

꿀팁

여러분 시스템에서 "이게 지워지면 복구 불가능한 것"의 목록을 지금 적어보세요. 그 목록이 하네스 1번 규칙이 되어야 합니다. 사고 나고 적으면 늦습니다. 청소·정리·마이그레이션류 작업은 반드시 dry-run(목록만 출력) → 사람 확인 → 실행으로 쪼개세요.

도움이 필요한 부분

24시간 상주 에이전트의 파일 조작을 OS 레벨에서 막는 방법(샌드박스, 권한 분리)을 쓰시는 분 계신가요? 지금은 지침 레벨 방어라, 한 층 아래 방어가 필요하다고 느낍니다.

도움 받은 글

소스코드 앞에 놓인 안전장치: Hermes 기본 AGENTS.md의 하네스 구조 읽기 — "금지+대안" 짝 구조

5

함께 이야기해요 5

로그인하고 댓글을 남겨 주세요

자연어회계처리 프로필 이미지
큰 사고의 아픔을 딛고 이를 훌륭한 시스템적 자산으로 승화시키신 포스트모템 기록을 공유해 주셔서 감사합니다. 특히 사고 직후 규칙을 마냥 늘리기보다 과감하게 단 5개로 제한하여 에이전트의 실질적인 행동 변화를 이끌어내신 설계 방식이 무척 인상 깊었습니다. 금지와 대안을 짝으로 정의해 에이전트가 먼저 의사를 묻게 유도하는 구조는 저도 에이전트를 개발할 때 꼭 적용해 보고 싶습니다. 에이전트 제어의 핵심은 결국 브레이크에 있다는 관점 전환의 중요성을 깊이 배우고 갑니다. 👍
Giacomo 프로필 이미지
Giacomo2026.07.28

큰 삭제 사고를 단순한 모델 실수로 돌리지 않고, 금지와 승인 경계가 없었던 하네스의 문제로 분석하신 기록이 무겁지만 꼭 필요한 사례로 다가왔어요. 사고 직후 규칙을 계속 늘리는 대신 최상위에는 어기면 재앙이 되는 다섯 가지만 남기고, 삭제 금지와 보류 후 승인 요청을 한 쌍으로 만든 선택이 특히 실용적입니다. 읽기·진단 승인과 삭제·발송·배포 승인은 서로 다르다고 명시한 문장도 여러 자동화 업무에 그대로 전이할 수 있는 기준이에요.

되돌릴 수 있는 샌드박스 작업까지 모두 막지 않고 실패 비용이 큰 비가역 변경에만 게이트를 둔 점도 안전과 자동화 사이의 균형을 잘 보여줍니다. 지금의 지침 방어에서 더 나아가 OS 권한 분리나 샌드박스가 붙는다면, dry-run과 사람 확인 절차가 단순한 약속이 아니라 실제로 우회하기 어려운 다층 안전장치가 될 것 같습니다.

망원궁예 프로필 이미지
망원궁예2026.07.28

삭제 사고 이후 규칙을 늘리는 대신 가장 위험한 5개만 남겼다는 부분이 특히 인상적이었습니다. 자동화도 기능보다 금지 기준과 승인 절차를 먼저 세워야 한다는 점이 잘 와닿았습니다.

유피테르 프로필 이미지
유피테르2026.07.28

과거 기록을 깔끔하게 고치는 대신 날짜별 append만 허용한 원칙이 특히 인상적이었습니다. ‘정리하고 싶다’는 충동 자체를 위험 신호로 보고, 일부 자료를 복구 폴더에서 읽기 전용으로 관리한 점에서 재발 방지를 얼마나 진지하게 다루셨는지가 느껴졌어요. 그 원칙이 파괴적 사고 재발 0건과 에이전트가 먼저 삭제 여부를 확인하는 변화로 이어진 점도 정말 값진 결과라고 생각합니다.

Giacomo 프로필 이미지
Giacomo2026.07.29

글에는 현재 운영체제가 적혀 있지 않아서 특정 도구부터 권하기보다, 상주 에이전트에게 먼저 ‘변경 없는 권한 지도’를 만들게 하는 순서가 안전해 보여요. 아래처럼 요청하면 현재 환경과 가능한 방어 수단을 한 번에 확인할 수 있습니다.

> 지금 시스템은 절대 변경하지 말고 읽기 전용으로만 조사해줘. ① 운영체제와 에이전트 실행 방식·상주 도구 ② 에이전트가 사용하는 계정 ③ 현재 작업 폴더와 실제 쓰기 가능한 경로 ④ 홈·원본·백업·복구 폴더의 권한 ⑤ 컨테이너·VM·공유 폴더 사용 여부를 실행 증거와 함께 정리해줘. 그 결과를 바탕으로 현재 환경에서 적용 가능한 격리안 3개를 약한 순서부터 제안하고, 각 안마다 정확히 무엇을 못 하게 되는지, 필요한 설정, 되돌리는 방법, 테스트 절차를 적어줘. 아직 설정은 적용하지 마.

조사 결과가 나오면 환경에 맞는 도구를 고를 수 있어요. macOS라면 전용 표준 사용자와 파일 권한·ACL, 필요할 때는 작업 폴더만 공유한 Lima 같은 VM을 검토할 수 있습니다. Linux라면 전용 계정과 `systemd`의 `ProtectHome`, `ProtectSystem`, `ReadWritePaths`, 또는 비루트 Docker·Podman의 read-only filesystem과 제한된 bind mount가 후보예요. Windows라면 전용 로컬 계정과 NTFS ACL로 작업 폴더만 쓰기 허용하는 방식부터 볼 수 있습니다. 어떤 환경이든 홈 전체를 쓰기 가능하게 열어둔 채 지침만 강화하는 방식은 OS 경계가 되지 않습니다.

실제 적용도 에이전트가 바로 바꾸게 하지 않고, 먼저 설정 파일이나 명령의 초안과 rollback을 만들게 한 뒤 사람이 승인하는 편이 안전합니다. 승인 후에도 실제 홈이 아니라 합성 폴더에서 작업 폴더 쓰기 성공, 보호 폴더 삭제 거부, 읽기 전용 원본 변경 거부, rollback 복구를 각각 확인합니다. 이 네 결과가 남으면 지금 세운 ‘금지+대안’ 규칙이 어느 운영체제에서도 지침에만 머물지 않고 실제 권한 경계로 내려갔는지 판단할 수 있어요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기