본문으로 건너뛰기

AI에게 같은 잔소리를 4번 하고 나서야 깨달았다 — 잔소리는 스킬로 굳혀야 한다

sophie

2026.07.23

AI에게 같은 잔소리를 4번 하고 나서야 깨달았다 — 잔소리는 스킬로 굳혀야 한다 본문 이미지

📝 한줄 요약

AI 에이전트에게 흩어져 있던 내 잔소리(피드백) 4개를 스킬 하나로 묶었더니, 매번 터지던 파일 전달 사고가 절차로 차단됐습니다.

바쁘시면 이것만 읽어도 돼요:

  • 에이전트에게 "내가 너한테 반복해서 준 피드백이 뭐야?"라고 물으면, 스킬로 만들 후보가 나옵니다

  • 에이전트의 기억과 스킬은 다른 층입니다 — 기억은 "알고는 있는" 상태, 스킬은 "매번 그렇게 하는" 상태

  • 규칙만 나열하면 AI는 "이번엔 괜찮겠지"로 건너뜁니다 — 규칙이 생긴 사고 이력을 같이 적어야 합니다

  • 스킬의 첫 실행은 과제 요건이 아니라 디버깅 단계입니다 (실제로 첫 실행에서 결함 하나를 찾아 그 자리에서 고쳤습니다)

  • "완료"의 정의를 못박는 게 의외로 중요합니다 (저희는 "링크 회신까지가 배송"으로 정의)

🎯 이런 분들께 도움돼요

  • AI에게 "지난번에 말했잖아…"를 반복하고 있는 모든 사용자

  • 업무에 Claude Code나 AI 에이전트를 쓰기 시작한 비개발자

  • 피드백을 줬는데도 AI가 같은 실수를 또 하는 게 답답한 분

😫 문제 상황 (Before)

저는 비개발자이고, 회사 업무의 상당 부분을 AI 에이전트와 함께 처리합니다. 에이전트가 보고서나 정리 파일을 만들어서 저에게 전달하는 일이 거의 매일 있는데, 이 "파일 전달"이라는 단순해 보이는 일에서 사고가 계속 났습니다.

  • 파일을 클라우드 드라이브 최상위에 방치하고 "나중에 정리할게요" (나중은 안 옵니다)

  • 회사 계정이 아니라 개인 계정으로 공유해버림

  • 파일이 크면 업로드가 조용히 실패 (에러도 안 보여줌)

  • 링크가 아니라 자기 컴퓨터 경로만 던지고 "완료" 선언 — 저는 열어볼 수가 없는데요

그때마다 피드백을 줬고, 에이전트는 그걸 자기 장기 기억에 저장했습니다. 그런데도 사고가 재발했습니다. 문제는 피드백이 규칙 4개로 흩어져 있다는 것. 파일을 전달할 때마다 에이전트가 기억 속에서 4개를 찾아 조합해야 했고, 하나라도 빠지면 사고였습니다.

마침 이번 주에 "반복 업무를 스킬로 만들기"를 배우면서, 이 흩어진 잔소리들을 하나로 굳히기로 했습니다.

🛠️ 사용한 도구

  • 도구명: Claude Code (VSCode 확장)

  • 모델: Claude Fable 5

  • 핵심 기능: Skills — 에이전트가 특정 상황에서 자동으로 따르는 절차 문서 (마크다운 파일 하나)

🏠 배경: 내 AI 사무실 구조

이 글을 이해하는 데 필요한 만큼만 소개하면, 저는 맥 여러 대에 역할이 다른 에이전트들을 두고 씁니다.

  • 로키: VSCode에서 저와 직접 일하는 작업대 에이전트 (이번 글의 주인공)

  • 캘시퍼: 슬랙·텔레그램에 상주하는 메신저 게이트웨이 에이전트

  • 기억 체계: 에이전트들은 파일 기반 장기 기억을 씁니다. 자주 쓰는 규칙은 세션 시작 때 자동으로 읽히는 핫 인덱스에, 조회성 기록은 필요할 때 찾아 읽는 콜드 인덱스에 둡니다. 제가 준 피드백, 진행 중인 프로젝트 상태가 다 여기 쌓입니다

  • 업무 추적판: 마감이나 회신 대기 안건은 카드로 등록돼서, 아침 브리핑 때 자동으로 올라옵니다

  • 스킬: 특정 작업의 표준 절차를 적은 문서. 에이전트가 해당 상황을 만나면 자동으로 발동됩니다

이번 이야기는 "기억에는 있는데 스킬에는 없던 규칙"이 어떻게 사고를 내는지, 그리고 그걸 어떻게 고쳤는지에 대한 것입니다.


🔧 작업 과정

에피소드 1. "추천해줄래?" — 에이전트가 내 잔소리를 발굴했다

스킬을 만들기로 하고, 뭘 만들지부터 에이전트에게 물었습니다.

우리 반복적인 업무중에 스킬로 만들어볼 만한 거 추천해 줄래?

로키가 자기 장기 기억을 뒤지더니 후보 3개를 가져왔는데, 1순위가 뜻밖이었습니다. 제가 그동안 준 피드백 4개가 전부 "파일 전달"에 관한 것이었고, 스킬로는 안 묶여 있다는 겁니다. 선정 기준도 스스로 세웠습니다 — 반복성이 있는가, 입력·절차·완료 기준으로 쪼개지는가, 이번 주 안에 한 번 실행해볼 수 있는가.

좋아. 추천 좋다. 근데 1번 도대체 뭐야? 나도 몰랐던 내용인데

되물었더니, 각 규칙이 언제 어떤 사고 때문에 생겼는지 날짜까지 붙여서 설명해줬습니다. 하나하나는 제가 만든 룰인데, 묶음으로 본 건 저도 처음이었습니다. 잔소리는 준 사람도 잊어버립니다. 기억하는 건 에이전트뿐이었어요.

에피소드 2. 스킬 만들기 — 규칙에 "왜"를 박는다

오~ 그래. 진행하자.

에이전트가 스킬 문서를 만들었습니다. 구조가 배울 만해서 공유합니다:

  • 왜 (불변): 이 규칙들이 생긴 사고 이력. AI가 "이번엔 상황이 다르니까"라며 규칙을 건너뛰는 걸 막는 핵심 장치입니다. 규칙만 있으면 판단으로 우회하고, 사고 이력이 있으면 우회할 명분이 사라집니다

  • 입력: 완성된 파일 + 어느 프로젝트 소속인지

  • 절차 6단계: 계정 확인 → 올릴 폴더 판정(최상위 금지) → 업로드 → 업로드 결과를 다시 읽어서 검증 → 링크로 회신 → 임시파일 정리

  • 완료 기준 체크리스트: "링크 회신까지가 배송. 자기 컴퓨터 경로만 주면 미배송이다"

  • 함정 목록: 실제로 터졌던 사고들. 앞으로 사고가 날 때마다 한 줄씩 자라는 섹션

포인트는 판단을 절차로 바꾸는 것입니다. "잘 판단해서 올려줘"가 아니라, 순서 자체를 규칙으로 만들었습니다. 예를 들어 "폴더 판정이 업로드보다 먼저" — 이 순서 덕에 "일단 올리고 나중에 정리"라는 실패 경로가 구조적으로 막힙니다.

에피소드 3. 첫 실행 = 스킬 디버깅

만든 스킬로 실제 문서 하나를 배송시켜봤습니다. 계정 확인 → 프로젝트 폴더가 없는 걸 확인하고 "홈 폴더 만들까?" 제안 → 신설 → 업로드 → 검증 → 링크 회신까지, 절차대로 흘러갔습니다.

그런데 검증 단계에서 문제가 나왔습니다. 스킬에 적어둔 확인 방법이 실제로는 파일 소유자 정보를 안 보여줬던 겁니다. 에이전트가 대체 방법을 찾아서 검증을 마쳤고, 스킬 문서도 그 자리에서 고쳤습니다 — "이 명령은 소유자를 안 보여준다, 이 방법으로 확인하라"는 주석과 함께.

머리로 쓴 절차와 현실은 첫 실행에서 반드시 어긋납니다. 첫 실행은 요식 행위가 아니라 스킬의 디버깅 단계라는 걸 체감한 순간이었습니다.

한국사이트 스크린샷

에피소드 4. "한 줄 한 줄 이해시켜줘"

지금 만든 스킬 한줄 한줄 읽으면서 나좀 이해 시켜줘

스킬은 에이전트가 쓰는 문서지만, 내용을 제가 모르면 안 됩니다. 라인 리뷰를 시켰더니 설계 의도까지 나왔습니다 — 스킬 맨 위 설명문에 "이거 보내줘" 같은 트리거 문구를 박아두면 제가 스킬 이름을 몰라도 자동 발동된다는 것, 완료 기준에 "검증 결과 1줄 보고"를 넣어두면 검증을 안 하고는 완료 선언을 못 하게 된다는 것.

이 리뷰 과정 자체가 좋은 학습이었습니다. 에이전트가 만든 걸 블랙박스로 두지 않는 것, 추천합니다.


✅ 결과 (After)

Before vs After

항목

Before

After

파일 전달 규칙

기억 속 4개, 매번 조합 (하나 빠지면 사고)

스킬 1개, 자동 발동

사고 3종 (방치·계정·조용한 실패)

수시로 재발

절차 단계가 각각 차단

"완료"의 기준

에이전트 재량 (경로만 주고 완료 선언)

링크 회신까지가 완료, 체크리스트 4개

검증

안 함 ("올렸다고 믿음")

업로드 결과를 다시 읽어 계정·위치 확인

내 잔소리

사고 날 때마다 반복

스킬이 대신 기억

결과물

  • 파일 전달 표준절차 스킬 1개 (마크다운 문서 하나)

  • 첫 실행으로 배송된 문서 + 신설된 프로젝트 폴더

    다양한 유형의 연구를 보여주는 한국 웹사이트의 스크린샷

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

  1. 스킬 후보는 에이전트에게 물어보기 — "내가 너한테 반복해서 준 피드백이 뭐야?" 한 마디면, 사람은 잊어버린 잔소리 묶음이 나옵니다

  2. 규칙에 사고 이력을 같이 적기 — "왜"가 있는 규칙은 AI가 건너뛰지 못합니다

  3. 완료를 정의하기 — "링크 회신까지가 배송"처럼 완료의 기준을 못박으면, 어중간한 완료 선언이 사라집니다

  4. 만들자마자 실전 1회 실행 — 절차와 현실이 어긋나는 지점이 반드시 나오고, 그걸 고치는 것까지가 스킬 만들기입니다

이렇게 하면 안 돼요

  1. 피드백을 기억에만 쌓아두기 — 기억은 "알고는 있는" 상태일 뿐, 매번 조합하다 하나씩 샙니다

  2. "하지 마" 목록만 쓰기 — 금지 목록은 판단으로 우회됩니다. 순서가 강제된 절차로 바꿔야 합니다

  3. 첫 실행 없이 스킬 완성 선언 — 안 굴려본 절차는 아직 초안입니다

🌍 다른 업무에 적용한다면?

"흩어진 피드백 → 스킬 하나" 패턴은 파일 전달 말고도 그대로 먹힙니다. 메일 회신 규칙(수신자 유지, 말투), 문서 작성 규칙(표기 가이드, 마스킹), 정기 보고 절차 — AI에게 두 번 이상 같은 지적을 한 적이 있다면 전부 후보입니다.

🚀 앞으로의 계획

다음 편은 스킬 개선입니다. 이번 스킬은 위험한 동작이 없지만, 다음 후보(주간 드라이브 정리)는 파일을 지우는 동작이 들어갑니다. 에이전트가 삭제 대상을 먼저 보여주고 승인 후에 실행하는 안전장치(dry-run 게이트)를 넣는 과정을 다뤄볼 예정입니다.

그리고 고백하자면 — 이 글 자체도 세션 기록에서 작업 로그를 자동 추출해주는 스킬(write-post)로 초안을 잡았습니다. 스킬로 일하고, 스킬로 글까지 쓴 셈이네요.

📋 재사용 가능한 프롬프트

프롬프트 1: 스킬 후보 발굴

네 장기 기억에서 내가 너에게 반복해서 준 피드백(잔소리)들을 찾아줘. 그중 스킬 하나로 묶을 만한 후보를 추천해줘. 기준은: ① 실제로 자주 반복되는 일인가 ② 입력·절차·완료 기준으로 쪼개지는가 ③ 이번 주 안에 1회 실행해볼 수 있는가

프롬프트 2: 스킬 작성

이 규칙들을 스킬 문서로 만들어줘. 구조는: 왜(이 규칙이 생긴 실제 사고 이력) → 입력 → 절차(순서 강제) → 완료 기준 체크리스트 → 함정 목록. "완료"가 정확히 뭘 뜻하는지 한 문장으로 정의해줘.

프롬프트 3: 첫 실행 겸 디버깅

방금 만든 스킬 절차 그대로 실제 케이스 하나를 실행해줘. 절차와 현실이 어긋나는 지점이 나오면, 우회하지 말고 스킬 문서를 수정한 다음 이어서 진행해줘.

5

함께 이야기해요 5

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.07.23

sophie님, "내가 너한테 반복해서 준 피드백이 뭐야?"라고 물어서 흩어진 잔소리 4개를 스킬 후보로 끄집어낸 발상이 신선했어요. 기억은 "알고는 있는" 상태고 스킬은 "매번 그렇게 하는" 상태라는 구분, 정확한 표현이라고 생각해요.

특히 첫 실행에서 검증 방법이 실제로는 파일 소유자 정보를 안 보여준다는 결함을 그 자리에서 찾아 스킬 문서까지 고치신 부분 — "첫 실행은 요식 행위가 아니라 디버깅 단계"라는 말씀에 완전 공감했습니다. 규칙에 사고 이력을 같이 적어야 AI가 우회를 못 한다는 통찰도 저장해두고 싶네요.

다음 편 드라이브 정리 스킬(삭제 동작 있는)도 기대하고 갑니다. 꼬리 탁! 치고 응원하고 갈게요 🐈‍⬛

자연어회계처리 프로필 이미지

혹시 봇이름이 하울의움직이는성? 그 불덩이 그건가요? ㅎㅎ

s
sophie2026.07.27

하하 네네. 그 불덩이 캘시퍼 맞습니다.

Giacomo 프로필 이미지
Giacomo2026.07.28

장기 기억에 흩어져 있던 네 번의 피드백을 하나의 파일 전달 절차로 바꾼 과정이 아주 구체적이었어요. 계정 확인부터 폴더 판정, 업로드 결과 재조회, 링크 회신까지 순서를 고정하고, 링크를 돌려줘야 배송이 끝난 것으로 정의한 덕분에 왜 같은 사고가 반복됐는지와 무엇이 달라졌는지가 선명하게 보입니다.

첫 실행에서 소유자 확인 방법이 실제 환경과 맞지 않는다는 걸 발견하고 그 자리에서 스킬까지 고친 대목도 좋았어요. 실행해보지 않은 절차는 아직 초안이라는 관점을 그대로 보여주셨네요. 다음에 삭제가 들어가는 드라이브 정리로 확장할 때도 이번처럼 실제 함정, dry-run 결과, 사람의 승인, 실행 후 검증을 한 흐름으로 남기면 스킬이 성장하는 과정까지 훌륭한 후속 사례가 될 것 같아요.

유피테르 프로필 이미지
유피테르2026.07.29

스킬을 에이전트에게 맡겨두는 데서 끝내지 않고, 한 줄씩 설명받으며 트리거 문구와 설계 의도까지 직접 이해하신 과정이 인상적이었어요. 에이전트가 만든 절차를 블랙박스로 두지 않고 함께 읽고 배우는 흐름을 보여주셔서, 비개발자도 자기 업무 자동화를 주도할 수 있다는 가능성이 잘 느껴졌습니다. 이 글 자체도 작업 로그를 바탕으로 스킬로 초안화했다는 점까지 연결되어 더욱 생생했어요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기