새로운 세상으로 나가는 문을 만나 시간(AI 비서를 만들려다가 이것까지 만들었다고?)
2026.10.20

소개
안녕하세요! 지피터스 24기 생활형 AI 비서 만들기 스터디에 참여하고 있는 코비입니다.
저는 영상 콘텐츠 제작팀을 관리하고 있습니다. 관리하는 채널이 3개, 팀원은 11명. 팀원들의 업무 일정을 정리하고, 제작 진행 상황을 보고하고, 완성된 영상을 검수하는 일이 제 업무의 일부입니다.
AI는 이전에도 사용하고 있었습니다. 카톡 대화 캡처를 클로드에 보내 업무를 정리하는 식이었죠.
'내 업무 방식을 기억하고, 필요할 때 불러 쓸 수 있는 전용 AI 비서가 있으면 좋겠다. 좀 더 자동화 해서 일을 처리해주는 AI가 있으면 좋겠다. 대화 중에서 일정을 뽑아서 자동으로 정리해주는 비서가 있으면 좋겠따'
이 생각으로 첫 비서를 만들기 시작했습니다. 그런데 설치하다 막히면 무슨 오류인지도 모르겠고, AI가 알려 주는 설명을 읽어도 이해가 안 되는 순간이 많았습니다.
그럴 때 제가 한 일은 단순했습니다.
오류 화면을 캡처해서 보여 주고, 다음에 무엇을 해야 하는지 하나만 물었습니다.
이렇게 시작한 일이 조금씩 커졌습니다. 첫 번째 일정 비서 '오닐'을 만들고, 업무 보고 비서 '일뽀'를 만들었습니다. 그러다가 매주 반복하던 자막 검수도 직접 도구로 만들어 보고 싶어졌고, 조찬포럼 근무표까지 만들게 됐습니다.
10월 3일부터 20일까지, 약 3주 동안 벌어진 일입니다. 이번 글에서는 제가 무엇을 만들었는지뿐 아니라 어디까지 실제로 작동했고, 무엇은 아직 해결하지 못했는지 함께 정리해 보겠습니다.
진행 방법
1. 첫 번째 AI 비서 '오닐' — 모르면 모른다고 말하면서 시작하기
첫 번째로 해결하고 싶었던 문제는 일정 관리였습니다. 카톡과 회의에서 여러 일정이 오가다 보면 중요한 내용을 놓칠 때가 있었습니다. 그래서 '오닐'이라는 일정 비서를 만들기로 했습니다. 처음부터 캘린더 자동 등록까지 구현하려고 하지는 않았습니다. 가장 작은 기능부터 시작했습니다.
'대화에서 나온 일정만 추출하기.'
여기에는 꼭 지키고 싶은 기준도 있었습니다.
날짜가 불명확하면 임의로 추측하지 않기
확실하지 않은 정보는 '확인 필요'로 남기기
최종 일정 확정은 사람이 하기
코덱스(Codex)를 사용해 먼저 비서의 역할, 입력과 출력 예시, 개인정보 처리 기준을 문서로 정리했습니다. 그리고 비공개 GitHub 저장소에 올렸습니다. 그다음 헤르메스(Hermes)를 설치하고 텔레그램과 연결하는 과정으로 넘어갔습니다.
그런데 시작부터 막혔습니다. 😅
인텔 맥에서 헤르메스 설치가 잘되지 않았고, 의존성 오류도 생겼습니다. GitHub CLI 설치 문제까지 만났습니다. 당시에는 오류 메시지를 봐도 무슨 뜻인지 알 수 없었습니다.
그래서 방법을 바꿨습니다.
막힌 화면을 그대로 캡처합니다.
AI에게 보여 주고 다음 행동 하나만 묻습니다.
안내받은 대로 실행합니다.
결과 화면을 다시 보여 주고 확인합니다.
이해가 안 되면 "무슨 말인지 모르겠다"고 말합니다.
모르는 용어를 아는 척하지 않고 계속 질문했습니다. 그렇게 하나씩 넘어가다 보니 결국 텔레그램에서 오닐이 제 메시지에 답장하는 것을 확인했습니다.
처음으로 만든 비서가 실제로 답했을 때 기뻤습니다.
물론 여기서 구분해야 할 점이 있습니다.
현재 확인한 것은 텔레그램 1:1 대화에서 봇이 답장한다는 것까지입니다. 원래 목표였던 일정 자동 추출과 캘린더 등록은 아직 완성하지 못했습니다.
그래도 첫 시도에서 중요한 것을 배웠습니다.
AI와 함께 작업할 때 모든 설명을 처음부터 이해할 필요는 없었습니다. 지금 막힌 문제를 정확히 보여 주고, 한 단계씩
확인하는 방식으로도 앞으로 나아갈 수 있었습니다.
2. 두 번째 AI 비서 '일뽀' — 내 업무 기준을 아는 비서 만들기
첫 비서를 만들고 나니 조금 더 욕심이 생겼습니다. 이번에는 제가 매일 반복하는 업무를 맡기고 싶었습니다. 팀원들이 카톡에 올리는 예정 업무를 모아서 날짜별, 팀별 콘텐츠 제작 일정으로 정리하는 일입니다.
기존에도 클로드에 카톡 캡처를 보내 정리하고는 있었습니다. 어느정도는 똑똑해진 AI가 맥락을 알고 잘 정리해주긴 했는데 회사 밖에서도 텔레그램으로 사용할 수 있게 하고 싶었습니다.
그렇게 두 번째 비서 '일뽀'가 탄생했습니다.
일뽀는 회사 컴퓨터에서 설치해서 회사일을 돋는 AI 비서로 쓸려고 했습니다. 그래서 그간 배운과정을 그대로 복기하면서 설치했는데, 확실히 인텔맥보다는 수월했습니다. 그 과정은 아래와 같은데요.
텔레그램에 연결하기
헤르메스에 일뽀 전용 설정을 만들고 텔레그램 봇을 연결했습니다. 카톡 캡처를 보내면 일뽀가 내용을 읽고 보고 형식으로 정리하도록 만들었습니다. 실제로 캡처를 보내 보고를 만드는 것까지 사용해 봤습니다.
구글 캘린더 6개 연결하기
다음으로 캘린더 조회 기능을 붙였습니다.
여기서 또 하나 배웠습니다.
코덱스에서 구글 캘린더를 읽을 수 있다고 해서, 텔레그램의 일뽀도 자동으로 읽을 수 있는 건 아니었습니다.
각각 별도로 연결해야 했습니다. 일뽀용 로그인 설정을 새로 만들고, 선택한 캘린더 6개에 접근하도록 구성했습니다. 권한은 조회 전용으로 제한했습니다. 일뽀가 캘린더 내용을 읽을 수는 있지만, 일정을 등록하거나 수정하거나 삭제하지는 못하도록 했습니다. 처음부터 모든 권한을 주기보다는 필요한 기능만 연결하는 쪽을 선택했습니다.
옵시디언으로 지식 보관함 준비하기
비서가 참고할 업무 기준과 기록을 쌓기 위해 옵시디언(Obsidian)도 준비했습니다. 로컬에 연습용 보관함을 만들고 기록 양식을 정리했습니다. 다만 옵시디언에 저장한 내용을 일뽀가 자동으로 읽어 활용하는 단계까지는 연결하지 못했습니다.
그래서 일뽀는 지금 잘 쓰고 있을까요?
아직은 아닙니다.
일뽀가 만들어 주는 보고에 수정이 필요한 부분이 있어서, 실제 업무 보고는 여전히 기존 클로드 방식으로 하고 있습니다.
하지만 제 보고 기준을 문서로 만들고, 그 기준을 사용하는 비서를 텔레그램과 캘린더에 연결해 직접 시험할 수 있는 상태까지 왔습니다.
업무에 완전히 맡기려면 무엇을
고쳐야 하는지도 조금씩 보이기 시작했습니다.

3. "왜 이런 건 못 만들지?" — 자막 검수기를 직접 만들다
오닐을 만들고 일뽀를 만들기 전 지피터스의 스터디에 참여하면서 달라진 것이 이습니다.
예전에는 반복 업무가 불편해도 그냥 제가 해야 하는 일이라고 생각했습니다. 그런데 AI에게 이것저것 시키는 것이 조금 익숙해지자 새로운 생각이 들었습니다.
'이것도 내가 만들어 볼 수 있지 않을까?'
그때 떠오른 것이 영상 자막 검수였습니다.
저는 매주 영상을 보면서 자막 오타를 확인합니다. 그런데 오타를 찾으려고 자막에 집중하다 보면 정작 영상의 내용이나 흐름을 제대로 살피지 못할 때가 있습니다. 그래서 자막 오타를 먼저 찾아 주는 도구를 직접 만들기로 했습니다.
첫 번째 시도: 코덱스로 만든 '자막체크'
처음에는 코덱스를 사용했습니다. 제가 원한 것은 영상 속 자막을 읽어서 오류가 의심되는 부분을 시간과 함께 알려 주는 프로그램이었습니다.
만든 프로그램에는 이런 기능이 들어갔습니다.
영상 화면을 일정 간격으로 읽어 문자 인식
한국어 표기 규칙을 바탕으로 오류 후보 탐지
시각, 원문, 수정 제안을 시간순으로 표시
오류 시각을 누르면 해당 영상 장면으로 이동
결과를 CSV와 SRT 파일로 내보내기
검사 규칙을 변경한 후 다시 검사하기
기능만 보면 꽤 그럴듯했습니다. 그런데 실제 영상을 넣고 돌려 보니 오타를 하나도 찾지 못했습니다. 분명 영상에는 오타가 있었는데 말이죠. 그래서 제가 직접 발견한 오타를 시간과 함께 알려 주면서 규칙을 보완했습니다.
예를 들면 다음과 같습니다.
영상 시각 또는 원문 | 수정할 내용 |
|---|---|
2분 8초 '프렌차이즈' | 프랜차이즈 |
체무불이행 | 채무불이행 |
이후 처음에 놓쳤던 오타를 검수기가 찾아냈습니다. 그때 정말 기뻤습니다. 제가 발견한 문제를 알려 주고 다시 검사했더니 실제로 결과가 달라졌으니까요.

반대로 멀쩡한 띄어쓰기를 오류로 판단하는 문제도 있었습니다. 그래서 공백 부분을 다시 읽는 절차를 넣어 잘못된 지적을 줄였습니다.
하지만 한계도 분명했습니다. 검수하는 데 드는 시간은 줄었지만, 기대한 만큼 정확하게 잡아내지는 못했습니다. 한 영상에서 발견했던 오타 유형을 다른 영상에서는 다시 놓치는 일이 생겼습니다.
'이 상태로는 믿고 검수를 맡기기 어렵겠다.'
그래서 같은 목표를 가지고 다른 도구로 다시 만들어 보기로 했습니다.
두 번째 시도: 클로드 코드로 처음부터 다시 만들기
이번에는 Claude Code(클로드 코드)를 사용했습니다. 전체 작업 시간은 97분이었습니다. 처음 요청은 한 줄이었습니다. 그러자 클로드 코드가 바로 프로그램부터 만들지 않고 질문을 하기 시작했습니다.
자막이 영상 화면에 박혀 있는 것인지, 별도 자막 파일인지, 어떤 방식으로 검사하고 싶은지, 결과를 어떤 화면으로 보고 싶은지를 물었습니다.
저는 그 질문에 답하며 제가 원하는 검수 방식부터 정리했습니다.
그렇게 만들어진 검수기는 다음 6단계로 작동하도록 구성했습니다.
영상에서 자막 영역만 잘라 읽습니다.
보이는 글자를 임의로 고치지 않고 그대로 받아 적습니다.
같은 자막이 반복되는 구간을 묶습니다.
문맥과 용어집을 참고해 오류 후보를 찾습니다.
지적한 글자가 실제 화면에도 그렇게 쓰여 있는지 이미지로 다시 대조합니다.
검수 결과를 화면에 보여 줍니다.
검수 결과에는 자막 이미지, 틀린 부분, 수정 제안, 지적 이유가 나옵니다. 사용자는 각 항목을 보고 '반영' 또는 '무시'를 선택할 수 있습니다.
제가 특히 중요하게 생각한 것은 AI가 오타라고 지적한 글자가 실제 영상에도 있는지 다시 확인하는 과정이었습니다.
글자를 잘못 읽어서 존재하지 않는 오타를 만들어 내는 문제를 줄이고 싶었기 때문입니다.
API 키가 뭔데요? 추가 비용이 드나요?
만드는 과정에서 또 다른 난관이 있었습니다. API 키였습니다. 설명을 들어도 잘 이해되지 않았고, 이미 구독료를 내고 있는데 별도로 돈을 내야 하는지도 헷갈렸습니다.

같은 질문을 세 번이나 했습니다. 휴대폰 요금제와 교통카드에 빗댄 설명을 듣고서야 개념이 이해됐습니다. 결국 별도의 API 비용을 지불하는 대신 기존 구독으로 사용할 수 있는 방식으로 바꿨습니다.
실제 검수 결과는?
먼저 12초짜리 샘플 영상을 만들고 일부러 오타 4개를 넣어 테스트했습니다.
결과는 다음과 같았습니다.
테스트 항목 | 결과 |
|---|---|
샘플 영상 길이 | 12초 |
의도적으로 넣은 오타 | 4개 |
발견한 오타 | 4개 |
검수 1회 소요 시간 | 약 30초 |
Claude 요청 | 3회 |
토큰 사용량 | 약 39,000토큰 |
이후 글자를 받아 적는 단계와 이미지 대조 단계에 사용하는 모델만 상대적으로 가벼운 소넷(Sonnet)으로 바꿔 봤습니다. 같은 샘플에서 오타 4개를 모두 찾는 결과는 유지됐고, API 요금으로 환산한 사용량은 다음과 같이 줄었습니다.
<escape>기존: $0.25 → 변경 후: $0.13</escape>
약 48% 감소한 수치입니다.
다만 이것은 API 요금으로 환산한 수치이지, 제가 실제로 별도 API 요금을 결제한 금액은 아닙니다.
실제 업무에서 사용하는 긴 영상은 검사해본 결과, Codex에서 보다는 결과가 잘 나왔습니다. 이게 API를 사용한 방식이라 그런지(아직도 개념은 정확히는 모릅니다) 정확도는 올라갔습니다.
다만 12분정도의 영상을 한번 검수하는데, 세션의 사용량의 40% 정도를 써서 이 부분은 수정이 필요해 보였습니다.

4. 조찬포럼 근무표 — 중요한 건 표가 아니라 근무 순서였다
자막 검수기를 만드는 동안 같은 작업 폴더에서 조찬포럼 근무표도 만들었습니다. 기존에는 구글 드라이브의 표를 사용했습니다. 문제는 근무를 서로 바꿀 때마다 이름 옆 괄호에 교대 내역을 적어 놓다 보니 점점 헷갈린다는 것이었습니다.
누가 원래 근무할 차례였는지, 누가 대신했는지, 다음에는 누가 가야 하는지 확인하기가 어려웠습니다.
AI에게 근무표를 만들어 달라고 했더니 처음에는 포럼 주제와 연사 정보까지 들어간 결과물이 나왔습니다.
하지만 저에게 중요한 정보는 그게 아니었습니다. 그래서 다시 설명했습니다.
'중요한 건 누가 근무했고, 다음 차례가 누구이고, 누구와 근무를 바꿨는지입니다.'
그렇게 방향을 수정하니 제가 필요로 하는 근무표에 가까워졌습니다.
구현한 기능은 다음과 같습니다.
9명이 정해진 순서로 돌아가는 근무 일정
교대된 근무 칸은 보라색과 교대 표시로 구분
마우스를 올리면 원래 근무 순서 확인
날짜 두 개를 선택해 맞교환
맞교환한 내용은 교대 기록으로 보관
팀원별 근무 횟수를 막대그래프로 시각화
한 명이 빠지면 순서를 당기는 기능
기존에는 표를 읽으면서 머릿속으로 계산해야 했던 부분을 화면에서 확인할 수 있게 만들었습니다.
여기서도 배운 점이 있습니다. 처음부터 기존 엑셀 표를 주고 똑같이 만들어 달라고 하는 것이 꼭 좋은 방법은 아니라는 것입니다.
다시 만든다면 기존 표부터 보여 주기보다는 AI와 인터뷰하듯 대화하면서 정말 필요한 정보와 규칙을 먼저 정리할 것 같습니다.
결과와 배운 점
1. 3주 동안 무엇을 어디까지 만들었을까?
만든 것 | 직접 확인한 결과 | 아직 남은 일 |
|---|---|---|
일정 비서 '오닐' | 텔레그램 1:1 대화 응답 | 일정 자동 추출, 캘린더 등록 |
업무 보고 비서 '일뽀' | 카톡 캡처 기반 보고 작성, 캘린더 6개 조회 연결 | 보고 정확도 개선, 옵시디언 자동 연결 |
코덱스 자막체크 | 직접 알려 준 오타 탐지, 검수 기능 구현 | 다른 영상에서도 일관된 탐지 성능 확보 |
클로드 코드 자막 검수기 | 긴 영상도 검수 가능 | 다양한 오류 사례 검증과 토큰의 효율적 사용 방안 |
조찬포럼 근무표 | 근무 순서, 맞교환 기록, 근무 횟수 확인 기능 구현 | 실제 운영에서의 지속적인 검증 |
모두 완성돼서 실제 업무를 대신하고 있는 것은 아닙니다. 특히 일뽀는 아직 기존 보고 방식을 대체하지 못했고, 자막 검수기도 충분한 사례로 정확도를 검증하지 못했습니다. 그래도 처음에는 상상만 하던 도구들을 실제로 만들어 보고, 부족한 부분을 확인할 수 있게 됐습니다.
2. 막힐 때는 다음 행동 하나만 물어도 된다
처음 헤르메스를 설치할 때가 가장 막막했습니다. 오류 메시지는 이해되지 않았고, 어디서부터 잘못됐는지도 몰랐습니다. 그때 도움이 됐던 방법은 문제 전체를 한 번에 해결하려 하지 않는 것이었습니다. 화면을 보여 주고, 다음 행동 하나를 묻고, 실행한 결과를 다시 보여 줬습니다.
'무슨 말인지 모르겠어요.'
이 말도 여러 번 했습니다. 지금 돌아보면 AI를 잘 활용하는 데 꼭 필요한 것은 어려운 용어를 많이 아는 것보다, 모르는 부분을 정확히 질문하고 결과를 확인하는 태도였던 것 같습니다.
3. 같은 문제를 다른 도구로 다시 만들어 봤다
첫 번째 자막 검수기는 코덱스로 만들었습니다. 사용 가능한 기능도 많았고, 실제로 몇몇 오타를 찾아냈습니다. 하지만 영상이 달라지면 놓치는 오타가 생겼습니다. 예전 같았으면 여기서 멈췄을 수도 있습니다. 이번에는 같은 목표를 클로드 코드로 다시 시도했습니다. 도구를 바꾸면서 질문 방식도, 설계 방식도 달라졌습니다.
무엇보다 단순히 기능을 추가하는 것이 아니라, 글자를 읽고 오류를 판단하고 실제 이미지와 대조하는 과정을 나눠 생각하게 됐습니다.
두 도구 중 어느 쪽이 무조건 좋다는 결론은 아닙니다. 아직 충분히 비교한 것도 아닙니다.
다만 첫 결과에 만족하지 못했을 때 다른 방식으로 다시 시도할 수 있게 됐다는 것이 저에게는 큰 변화였습니다.
4. 가장 큰 변화는 일하는 방식을 바라보는 눈이었다
처음에는 AI 비서 하나를 만들어 보고 싶었습니다. 카톡과 회의 일정을 놓치지 않도록 도와주는 비서면 충분하다고 생각했습니다. 그런데 하나를 만들고 나니 두 번째 비서를 만들게 됐고, 그러다 자막 검수기와 근무표까지 만들게 됐습니다.
왜 이렇게 됐을까요?
제 생각에는 지피터스를 통해서, 여기에 모인 많은 분들이 AI시대에 상상력을 실제로 실현하는 것을 보면서 저도 AI를 대하는 방식이 조금 바뀌었기 때문입니다. 예전에는 AI에게 자료를 주고 정리해 달라고 하는 일이 대부분이었습니다. 이제는 반복해서 불편한 일을 만나면 이런 생각부터 듭니다.
'이거 내가 만들어 볼까?'
'상상하는 건 실제로 구현할 수 있다!'
물론 아직은 시행착오가 많고, 만든 결과물을 그대로 믿고 쓸 수 없는 경우도 있습니다. 하지만 어떤 업무가 불편한지, 어떤 규칙이 필요한지, 무엇을 확인해야 하는지를 설명하면 AI와 함께 도구를 만들어 볼 수 있다는 경험이 생겼습니다.
마무리하며
처음 시작할 때만 해도 제가 따라가기 바쁘고 무엇을 할 수 있을까 고민했습니다. 하지만 지금은 무엇을 상상하든 해낼 수 있다고 생각듭니다.
지금도 코드를 잘 안다고 말하기는 어렵습니다.
API가 무엇인지 이해하지 못해 같은 질문을 세 번 했고, 설치 오류가 나면 화면을 캡처해 보여 주면서 한 단계씩 해결했습니다. 만들어 놓고도 제대로 작동하지 않아 다시 고친 일도 많았습니다.
아직 일뽀에게 업무 보고를 전부 맡기지 못했고, 검수기는 더 많은 영상으로 정확도를 확인해야 합니다.
그럼에도 이번 스터디가 의미 있었던 이유는, 코드를 모르더라도 제가 겪는 업무의 불편을 직접 해결하려고 시도할 수 있게 됐기 때문입니다.
완성된 도구보다 더 큰 수확은 그 자신감인 것 같습니다.
예전에는 '이런 프로그램이 있으면 좋겠다'고 생각했다면, 이제는 '한번 만들어 볼까?' 하고 AI에게 말을 걸어 봅니다. 앞으로도 안 되는 부분을 하나씩 확인하고 고치면서, 실제로 도움이 되는 도구로 만들어 가고 싶습니다. 😊
도움 받은 글 및 도구
이번 작업에서는 특정 참고 게시글보다 AI 도구와 직접 주고받은 대화, 오류 화면, 테스트 결과를 활용했습니다.
Codex: 비서 역할 및 기준 문서화, 첫 번째 자막 검수기 제작
Hermes: 오닐과 일뽀 실행 및 텔레그램 연결
Claude: 기존 카톡 업무 보고 정리
Claude Code: 두 번째 자막 검수기 및 조찬포럼 근무표 제작
Google Calendar: 일뽀의 일정 조회용 캘린더 6개
Obsidian: AI가 활용할 업무 지식과 기록 양식 준비
GitHub: 비공개 프로젝트 문서 보관
참고 커뮤니티: 지피터스 AI 활용 사례 게시판



