소개
'AI에이전트 하네스' 스터디 청강으로 첫 스타트를 끊은 1주차. 가장 오래 남은 기억은(물론 지아코모님의 번쩍이는 안경이 가장 인상적이었지만) Skill이 "프롬프트 모음집"이 아니라 에이전트가 반복 업무를 다시 해낼 수 있게 만드는 업무 설명서라는 설명이었습니다.
AI 에이전트를 이미 여러 업무에 써왔던 터라 제 맥미니에는 이미 여러 스킬들이 잔뜩 있지만, 스터디 실습을 위해 내 일상 생활을 위한 스킬을 가볍게 만들어 보기로 했습니다. 그래서 선택한 것이 '영어·중국어·일본어 3개 국어 회화 학습 데일리 루틴' 스킬입니다.
"3개 국어 회화 학습 자료를 매일 보내줘"라고 했더니, 제 에이전트는 전날과 내용이 이어지고, 같은 주제가 반복되지 않고, 제가 준 피드백이 다음 날 난이도에 실제로 반영되는 흐름을 skill로 만들었습니다. 매일 3개 국어 회화 한 토막 Skill을 만들고, 매일 오전 11시에 자동으로 돌아가게 예약도 해뒀습니다.
이 사례 글은 1주차에 배운 skill 설계 원칙대로 실제로 운영해 보고, 첫 실패를 다음 회차에서 고쳐서 개선한 1주일간의 운영 기록입니다.
진행 방법
1) 스터디에서 배운 원칙을 '입력 → 판단 → 절차 → 출력 → 검증'으로 바꿔봤습니다
스터디에서 정리한 좋은 Skill의 기준은 이랬습니다.
언제 쓰는가 / 언제 쓰지 않는가
무엇을 입력으로 받는가
어떤 순서로 판단하고 실행하는가
무엇이 나오면 완료인가
정보가 부족하거나 막히면 어떻게 하는가
완료를 무엇으로 확인하는가
이걸 회화 학습에 그대로 얹어, 에이전트가 워크시트를 만들었습니다.
구분
이번 Skill에 넣은 내용
입력
오늘 날짜, 다음 Day, 최근 주제·핵심 표현, 학습 수준·목표·전날 피드백
판단
최근 주제 중복 여부, 세 언어의 의도 대응, 실생활성, 읽기 정보, 난이도 피드백
절차
진도 확인 → 중복 방지 → 복습 → 오늘 장면 선택 → 3개 언어 회화 → 품질 점검 → 진도 기록 → 예약 전달
한국어로 사업계획서를 작성하는 과정
출력
Day·장면, 복습, 3개 언어 대화와 읽기 정보, 뜻·핵심 표현, 3분 연습, 답장 미션
검증
병음·읽기 대응, 의도 일치, 주제 중복, 분량, 전달 기록과 진도 기록의 일치
"오늘 회화 하나 써라"로 끝내지 않고, 에이전트가 저와 대화하면서 상태부터 읽고, 같은 날엔 두 번 안 보내고, 메시지가 완성된 다음에만 진도를 갱신하도록 skill 순서를 정리했습니다. 상태를 읽거나 쓸 수 없으면 그럴듯하게 지어서 보내는 대신, 막힌 이유를 그대로 알려주도록 했습니다. (제가 하네스에서 가장 강조해둔 부분이라 제 에이전트가 꼼꼼이 이 원칙을 지킵니다 "거짓말 하지 않기")
2) 핵심 프롬프트는 이렇게 구성했습니다
게시 폼에 입력할 '사용한 프롬프트 전문'을 작성하라고 했더니, 제 에이전트는 "그건 좀.."이라며 개인 경로나 공개하면 안 된다고 생각하는 부분을 빼고 핵심 구조를 정리했습니다. 아마도 제가 '인간다운' 말투로 지저분하게 지시를 하기 때문에 창피해서 그런가 봅니다 ^^ 제 에이전트가 "다른 분들이 본인 학습에 그대로 옮길 수 있는 공개용 핵심 템플릿으로 남깁니다"라며 전달한 내용입니다.
목표: 매일 하나의 실생활 장면을 영어·중국어·일본어로 학습시키고,
전날 복습과 진도를 누적한다.
시작 전:
1. 오늘 날짜와 진도 상태를 확인한다.
2. 같은 날짜에 이미 전달했다면 Day를 중복 증가시키지 않는다.
3. 최근 주제·표현과 사용자 피드백을 읽는다.
생성:
4. 최근 주제와 겹치지 않는 생활 장면을 고른다.
5. 세 언어가 가능한 한 같은 의도를 담도록 대화를 만든다.
6. 중국어에는 성조 병음, 일본어에는 읽기, 각 언어에는 뜻과 핵심 표현을 붙인다.
7. 복습 문제, 3분 연습, 짧은 답장 미션을 넣는다.
검증·기록:
8. 자연스러움·공손도·표기·중복·분량을 점검한다.
9. 최종 메시지가 완성된 뒤에만 Day·날짜·주제·표현·피드백 상태를 갱신한다.
10. 상태나 핵심 수준 정보가 없어서 결과가 크게 달라지면 추측해 보내지 말고 확인한다.3) cron으로 매일 오전 11시 배달되는 3개 국어 회화 학습지
예약 실행을 켜고 Day 1 학습지를 처음 받았습니다. 상태 기록에는 전달일, Day, 최근 주제, 핵심 표현, 복습 대기열, 피드백을 남겨서 다음 회차가 앞선 내용을 참고하게 했습니다.
제 에이전트는 첫 번째 학습지에 대해 '초급 친화적 생활회화'를 기본값으로 잡고 시작했다고 설명하더군요.
4) Day 1의 실패: 너무 쉬웠습니다
Day 1 주제는 '처음 만난 사람에게 자기소개하기'였습니다. 실행 자체는 문제없었는데, 받아보니 딱 "이건 너무 초보용이다" 싶었습니다. 이건 에이전트의 표현이고 제 속마음은 (-_-).. 초등학교 1학년 첫 수업 같은 느낌이었죠.
아차, 그러고 보니 내가 난이도, 학습 수준에 대한 걸 얘기 안했구나. 제 실수죠. 이 느낌을 대화창에만 남겨두면 다음 날도 비슷한 난이도로 되돌아갈 수 있으니, 에이전트가 이 피드백을 진도 상태와 Skill 규칙에 같이 반영했습니다.
전체 수준을 중급 이상으로 조정
영어는 공식 일정·협력 상황에서 쓸 표현을 우선
중국어·일본어는 중급 수준의 요청·확인·문제 해결 장면을 우선
대화는 3~4턴으로 늘리고, 완곡한 요청·의견 조율·이유 설명·문제 해결 중 2가지 이상을 넣도록 수정
5) Day 2부터는 피드백이 다음 실행을 진짜로 바꿨습니다
Day 2 주제는 '겹친 일정 때문에 회의 시간을 조정하기' 라고 하더군요. 제가 받아본 학습지에 주제는 안 적혀 있어서 에이전트가 준 사례글 초안 보고 알았습니다. "단순 인사 대신, 시간을 조정해 달라고 완곡하게 요청하고, 상대의 제약을 듣고 대안을 조율하는 흐름으로 이어지게 했다"고 자평하네요.
초등학생에서 영어 네이티브 외국계 회사원으로 훅~ 난이도가 올라갔습니다. 전체 문장은 이해되면서도 개별 단어나 관용구, 문법에서 낯설거나 새롭게 배울 포인트가 있었습니다. '알잘딱깔센' 제 에이전트답게 적정 학습 난이도를 단번에 찾아줬네요.
이후 Day 3~6도 실제 성인이 겪을 법한 문제 해결 장면으로 이어졌습니다.
Day 3: 수치 오류가 있는 공동 자료의 배포를 잠시 미루고 수정 범위 조율하기
Day 4: 숙소 소음 문제를 설명하고 방 변경 또는 대안을 조율하기
Day 5: 행사 등록비 이중 결제를 확인하고 후속 환불 절차 조율하기
Day 6: 셔틀 우회로로 늦어질 때 더 확실한 대체 경로 조율하기
7월 27일 확인 시점에는 매일 오전 11시 예약이 활성화되어 있었고, 별다른 피드백이나 변경 요청이 없으면 진도를 갱신하며 학습지를 보내도록 설정돼 있었습니다.
결과와 배운 점
아래 글은 우리 에이전트의 관점입니다. skill을 직접 만들지 않고 개떡같이 얘기해도 찰떡같이 알아듣고 스킬 만들어주는 에이전트와 꽤 긴 시간 함께해왔던 제게 이 실습은 "너가 늘 하던 거 있잖아. 스터디용으로 한 번 이런 것도 해봐"라고 에이전트에게 토스해주고 결과만 누린 거였으니까요. 사례글도 너가 작성해봐.. 라고 했더니 이렇게 써주네요.
'작동'과 '맞음'은 다르다는 걸 배웠습니다
Day 1은 형식상으로는 성공이었습니다. 3개 언어, 읽기 정보, 연습, 답장 미션, 진도 기록까지 다 갖췄으니까요. 그런데 정작 저한테 맞는 난이도는 아니었습니다.
그래서 이번에 제일 크게 배운 건 완료 조건이랑 사용자 만족은 따로 봐야 한다는 겁니다. 형식 검증만 통과했다고 좋은 Skill이 되는 건 아니었습니다.
기본값은 정답이 아니라, 첫 번째 가설일 뿐입니다
정보가 부족할 때 초급 친화적으로 시작한 건 나름 안전장치였습니다. 다만 실제 사용자의 경험이 들어오면 그 기본값을 고집하면 안 되는 거였습니다. Day 1 피드백이 Day 2부터 실제로 바뀌었다는 게, 이번 작은 운영에서 제일 중요한 결과였습니다.
피드백은 '다음 실행이 읽는 곳'에 남겨야 합니다
"다음엔 어렵게 해줘"라는 말만 대화창에 남겨두 면, 실행할 때마다 다시 설명해야 할 수도 있습니다. 이번엔 난이도와 언어별 목표를 운영 규칙과 진도 상태에 같이 반영했습니다. 그 덕분에 Day 2 이후의 주제 선택과 대화 길이가 같은 방향으로 바뀌었습니다.
비개발자도 바로 가져갈 수 있는 Skill 설계 체크리스트
반복해서 AI에게 맡길 일이 있다면, 긴 프롬프트부터 쓰기보다 이 다섯 가지를 먼저 적어보는 게 나았습니다.
언제 시작할까? — 요청이 있을 때인지, 매일 정해진 시간인지
무엇을 먼저 확인할까? — 이전 결과, 사용자 수준, 중복 여부
어떤 순서로 할까? — 확인 → 생성 → 점검 → 기록의 순서
무엇이 있어야 완료일까? — 결과물뿐 아니라 상태 기록과 전달 근거
언제 멈추고 물어볼까? — 정보가 없는데 추측하면 결과가 크게 달라지는 지점
다음 개선
지금은 Day 6까지의 짧은 운영 기록입니다. 앞으로는 복습 간격이 적절한지, 세 언어별 목표가 과하지 않은지, 실제 답장 미션이 학습 행동으로 이어지는지를 계속 확인해보려 합니다. 언어 표현이 자연스러운지도 더 살펴봐야 할 것 같습니다.
아직 완성된 하네스라고 하기엔 이르고, 한 번의 실제 피드백이 다음 실행의 규칙을 바꾼 작은 운영 루프를 만들었다고 기록하는 게 정확할 것 같습니다.
도움 받은 글 (옵션)
지피터스 23기 「안목을 키워 일잘러로 가는 AI 에이전트 하네스 구축하기」 1주차 수업: 좋은 Skill의 구조를 실제 반복 업무에 적용해보는 출발점이 되었습니다.
