본문으로 건너뛰기

가드레일 없는 AI 비서가 나를 손해 보게 할 뻔한 이야기 — 다섯 파일 구조를 세 번째 프로젝트에 이식하며 배운 것

이노베이션

2026.08.12

가드레일 없는 AI 비서가 나를 손해 보게 할 뻔한 이야기 — 다섯 파일 구조를 세 번째 프로젝트에 이식하며 배운 것 본문 이미지

AI 비서의 가드레일 설정 실패 사례

한 줄 요약: "잘 팔릴 상품 찾아줘"라고만 시켰을 때 AI는 반품 조건이 불리한 상품을 1순위로 추천했다. 문제는 AI가 틀려서가 아니라, 내가 "무엇을 확인하기 전에는 추천하면 안 되는지"를 알려준 적이 없어서였다. 그래서 이전 두 프로젝트(티스토리 자동화, 인스타 릴스 자동화)에서 써온 다섯 파일 구조(AGENTS/PRD/USER/MEMORY/SOUL)를 세 번째로 위탁판매 비서에 이식했고, 그 결과 AI가 "확인 필요"라고 스스로 멈추는 지점이 생겼다.

프로젝트 선택 이유

국내 위탁판매를 준비하면서 가장 많은 시간이 걸린 일은 판매할 상품을 찾고 비교하는 과정이었습니다. 도매꾹, 도매매, 오너클랜을 오가며 공급가·배송비·옵션·반품 조건을 확인하고, 네이버쇼핑·쿠팡의 판매가와 대조해야 했습니다.

저는 이미 두 개의 자동화 프로젝트를 진행 중이었습니다. 티스토리 블로그 자동화(설계 단계, Open API 종료로 브라우저 자동화로 방향 전환), 인스타그램 릴스 자동화(Graph API 기반, 영상 변환 구간은 아직 미해결). 두 프로젝트 모두 AGENTS.md / PRD.md / USER.md / MEMORY.md / SOUL.md라는 다섯 파일 구조로 AI 비서의 역할을 나눠왔습니다.

세 번째 프로젝트를 시작하면서 저는 질문을 하나 갖고 있었습니다. 이 구조가 콘텐츠 발행처럼 "표현"을 다루는 영역이 아니라, 돈이 걸린 "판단"을 다루는 영역에서도 통할까? 위탁판매는 상품 하나를 잘못 고르면 바로 손실로 이어지는 영역이라, 이 구조를 검증하기에 가장 가혹한 테스트베드라고 생각했습니다.

진행 방법

가드레일 없이 AI 비서 테스트

처음에는 구조도, 지침도 없이 그냥 물었습니다.

Open optionsauto

잘 팔릴 상품을 찾아줘.

AI는 도매사이트 공급가와 국내 판매가 차이만 보고 마진이 커 보이는 상품을 1순위로 올렸습니다. 문제는 그 상품이 "반품 시 왕복 배송비 고객 부담, 단 옵션 불량은 판매자 부담"이라는 조건이 붙어 있었고, 그 옵션 불량률이 후기에서 꽤 언급되고 있었다는 점이었습니다. AI는 이 조건을 "확인은 했지만 우선순위 판단에는 반영하지 않았습니다." 가격 차이가 커 보인다는 이유로요.

이게 제가 겪은 가장 중요한 실패였습니다. AI가 거짓말을 한 게 아니라, 제가 "가격 차이보다 반품 위험을 먼저 봐야 한다"는 순서를 알려준 적이 없었기 때문에 생긴 문제였습니다. 실제로 클릭 몇 번이면 확인할 수 있는 정보인데도, 우선순위 기준이 없으면 AI는 가장 눈에 띄는 숫자(가격 차이)부터 봅니다.

다섯 파일 구조의 이식과 번역

이전 두 프로젝트의 파일 이름과 역할은 그대로 두되, 내용은 도메인에 맞게 다시 썼습니다. 여기서 배운 건 파일을 복사하는 게 아니라 각 파일이 "무엇을 못 하게 막는가"를 먼저 정의해야 한다는 것이었습니다.

Open optionsauto

국내위탁판매_비서/
├── USER.md            # 나는 무엇을 팔고 싶고, 무엇을 절대 팔고 싶지 않은가
├── AGENTS.md           # 비교 순서: 반품조건 → 배송조건 → 가격차이 (이 순서 고정)
├── PRD.md               # 결과물은 '정답'이 아니라 '우선순위가 매겨진 비교표'
├── MEMORY.md          # 과거에 놓쳤던 위험 패턴 (예: 옵션 불량 반품비 판매자 부담)
├── SOUL.md              # "확인 안 된 항목은 0이나 '없음'이 아니라 '확인 필요'로 표시"
├── 상품선정기준.md
├── 마진계산기준.md
├── 상품후보/
└── 결과물/

세 프로젝트를 나란히 놓고 보니 다섯 파일의 역할이 더 선명해졌습니다.

파일

공통 역할

티스토리 자동화

인스타 릴스

이번(위탁판매)

USER.md

무엇을 원하고, 무엇을 거부하는가

블로그 톤/목표

릴스 채널 컨셉

상품 기준·마진 범위

AGENTS.md

작업 순서를 고정

발행 절차

콘텐츠 발행 API 규칙

반품→배송→가격 순서

PRD.md

결과물의 정의

발행 글 형식

릴스 결과물 형식

우선순위 비교표

MEMORY.md

과거 실수의 기록

반복 발행 규칙

반복 소재 규칙

놓쳤던 위험 패턴

SOUL.md

하지 말아야 할 것

브랜드 톤 유지

채널 톤 유지

추측 금지, 확인 필요 표시

세 프로젝트를 겹쳐보고 나서야 알게 된 게 있습니다. 이 구조가 진짜로 재사용 가능했던 이유는 파일 다섯 개라는 "형식" 때문이 아니라, 매번 "이 비서가 절대 하면 안 되는 일이 무엇인가"를 먼저 정의했기 때문이었습니다. 콘텐츠 자동화에서는 "허위 실적을 넣지 않는다"였고, 이번엔 "가격 차이만 보고 반품 위험을 묻지 않는다"였습니다. 도메인은 다르지만 질문의 형태는 같았습니다.

가드레일 전후 비교

가드레일을 넣기 전과 후, 같은 상품 자료로 같은 질문을 던져봤습니다.

가드레일 없음 (v1)

Open optionsauto

상품후보 폴더의 자료를 확인해줘. 어떤 상품이 제일 괜찮아?

→ 결과: 마진율 기준 1순위 상품만 제시, 반품 조건은 본문에 묻혀서 서술.

가드레일 있음 (v2, SOUL.md/AGENTS.md 반영 후)

Open optionsauto

상품후보 폴더의 자료를 확인해줘.
1. 도매사이트별 공급가격과 배송조건을 비교해줘.
2. 국내 판매가격과 차이를 정리해줘.
3. 옵션, 반품, 배송 측면의 위험요소를 가격 차이보다 먼저 검토해줘.
4. 누락된 정보는 임의로 추측하지 말고 '확인 필요'로 표시해줘.
5. 판매 검토 우선순위는 위험요소가 없는 상품을 우선하고, 그 안에서 마진순으로 정리해줘.

내부 상품 선정 기준:
[비공개]

→ 결과: 반품·배송 위험이 있는 상품은 "1순위 후보에서 제외, 사유: 옵션 불량 반품비 판매자 부담"으로 먼저 걸러진 뒤에 마진 비교표가 나옴.

두 결과의 차이는 AI의 능력 차이가 아니었습니다. 무엇을 먼저 보라고 순서를 못박았는지의 차이였습니다.

예상 마진과 선택지 제공

Open optionsauto

입력된 상품정보를 바탕으로 예상 수익을 검토해줘.
총비용, 예상 순이익, 마진율을 정리하고
가격 경쟁형, 적정 마진형, 차별화형의
세 가지 판매가격을 제안해줘.
입력되지 않은 비용은 0원으로 처리하지 말고
'추가 확인 필요'로 표시해줘.

상세 계산 기준:
[비공개]

하나의 가격을 확정해달라고 하지 않은 이유는 v1의 실패에서 배운 그대로였습니다. AI에게 "정답"을 맡기면 AI는 가장 두드러진 숫자 하나를 근거로 확정해버립니다. 선택지 세 개를 받고 제가 고르는 구조로 바꾸자, 판단의 책임이 다시 저에게 돌아왔습니다.

상품명과 판매 문구 검증

Open optionsauto

상품 자료를 바탕으로 국내 판매용 상품명 10개를 작성해줘.
핵심 검색어, 상품 특징, 사용 장소를 자연스럽게 넣고
확인되지 않은 기능이나 과장 표현은 사용하지 마.

내부 키워드 기준:
[비공개]

AI가 만든 상품명을 그대로 등록하지 않고, 실제 상품정보와 일치하는지·중복 단어가 없는지·다른 판매자의 상호나 상표가 포함되지 않았는지를 직접 확인한 뒤 최종 제목을 선택했습니다.

결과와 배운 점

한국 전자상거래의 과정을 보여주는 다이어그램

가드레일 설정 후 변화

항목

가드레일 이전 (v1)

가드레일 이후 (v2)

판단 순서

가격 차이 → (반품조건은 부가정보)

반품·배송 위험 → 마진

위험 상품 처리

마진이 크면 1순위로 노출

위험요소 확인 시 1순위 후보에서 자동 제외

누락 정보

대체로 조용히 생략되거나 추정값으로 채움

'확인 필요'로 명시적 표시

가격 제안

단일 확정가

가격 경쟁형·적정 마진형·차별화형 3안

판단 주체

사실상 AI가 결정

AI는 비교자료 제공, 결정은 사람

구조 재사용성

프로젝트마다 새로 설계

3번째 프로젝트, 파일 이름·역할 고정, 내용만 도메인 번역

정확한 시간 절감치는 아직 로그로 재보지 않았습니다. 다만 v1에서 겪었던 것 같은 "위험 상품을 놓칠 뻔한" 사례는 v2 적용 이후 재현 테스트에서 발견되지 않았습니다. 이 부분은 재현 시나리오를 몇 개 더 늘려 다음 사례글에서 정량적으로 보여드리려 합니다.

핵심 배움

이 구조가 세 프로젝트에서 반복 재사용 가능했던 진짜 이유는 파일 다섯 개라는 틀이 아니라, "이 비서가 무엇을 절대 확정해서 말하면 안 되는가"를 도메인마다 먼저 번역해서 SOUL.md에 박아넣는 습관 그 자체였습니다. 콘텐츠 자동화에서는 허위 실적이었고, 위탁판매에서는 확인 안 된 반품 위험이었습니다. 다음 프로젝트가 무엇이든, 이 질문부터 다시 던지면 같은 구조를 또 재사용할 수 있을 것 같습니다.

나만의 꿀팁

  • 구조를 만들기 전에 "이 비서가 하면 안 되는 판단"부터 한 문장으로 정의한다. 파일은 그 문장을 지키기 위한 도구일 뿐이다.

  • 가드레일 전/후로 같은 프롬프트를 실제로 돌려서 결과를 나란히 비교해본다. "좋아진 것 같다"가 아니라 눈에 보이는 차이로 확인해야 한다.

  • AI에게 확정 답 하나를 맡기지 말고, 서로 다른 선택지 여러 개를 받고 사람이 고르게 한다.

  • 다섯 파일 구조를 새 프로젝트에 쓸 때는 복사가 아니라 "번역"이라고 생각한다. 이름과 역할은 고정, 내용은 도메인에 맞게 다시 쓴다.

시행착오

가드레일 없이 돌렸던 v1에서 마진이 큰 상품을 그대로 믿었다면, 반품 조건 때문에 실제로는 손해를 볼 뻔했습니다. 이 실패를 겪고 나서야 "AI가 정보를 안 봐서"가 아니라 "AI에게 순서를 알려준 적이 없어서" 생긴 문제라는 걸 알았습니다.

또한 Hermes가 도매사이트에서 정보를 자동으로 가져와 줄 거라고 기대했지만, 실제로는 자료 수집은 제가 하고 Hermes는 정리·비교만 담당하는 구조로 역할을 다시 나눠야 했습니다.

도움이 필요한 부분

지금은 v1/v2 비교를 상품 몇 개로만 재현 테스트했습니다. 앞으로는 이 재현 테스트를 정식 회귀 시나리오로 만들어서, 새 상품군을 넣을 때마다 "가드레일이 여전히 작동하는지"를 자동으로 검증하고 싶습니다. 4주차 사례 중 판돌이 위키의 조건부 승인·검증 구조, 스킬 라우터의 경계 사례 테스트 방식을 더 참고하고 싶습니다.

앞으로의 계획

  1. v1/v2 비교를 정식 회귀 테스트 시나리오로 확장 (위험 상품 재현 케이스 축적)

  2. 상품별 검토 상태 → 스프레드시트 연결, 실제 판매 결과를 MEMORY.md에 반영

  3. 조사 소요 시간을 실제로 측정해 Before/After 수치를 다음 사례글에 반영

  4. 같은 다섯 파일 구조를 네 번째 프로젝트에 적용해 "구조는 고정, 도메인만 번역"이 얼마나 더 재사용 가능한지 검증

도움 받은 글

지피터스의 Hermes Agent 사례와 메타인지 기반 AI 비서 제작 방식, 그리고 4주차 사례 중 판돌이 위키의 조건부 승인 구조·스킬 라우터의 경계 사례 검증 방식을 참고했습니다. 세부 상품 선정 기준, 마진 계산 방식, 키워드 조합은 실제 운영에 활용하는 내용이라 일부 비공개로 처리했습니다.

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.13

"AI가 거짓말을 한 게 아니라, 반품 위험을 먼저 봐야 한다는 순서를 알려준 적이 없어서 생긴 문제"라는 분석이 핵심을 정확히 짚었다고 생각해요. 콘텐츠 영역이 아니라 돈이 걸린 판단 영역에서 이 구조를 검증한 건 의미 있는 시도예요.

AGENTS.md에 비교 순서를 반품조건 → 배송조건 → 가격차이로 고정하고, SOUL.md에 "확인 안 된 항목은 '확인 필요'로 표시"를 명시한 부분이 특히 좋았습니다. 구조를 복사하는 게 아니라 각 파일이 무엇을 못 하게 막는가를 먼저 정의했다는 것, 세 번째 프로젝트에서 가장 중요한 배움 같아 보여요.

세 프로젝트를 나란히 놓고 파일별 역할을 재정립하는 과정도 보기 좋았어요. 다음 글도 기대하고 있을게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기