[24기 CTO 3주차] AI 도구 한도 알리미, 내가 알아볼 수 있게 만들기
2026.10.21
안녕하세요, 24기 CTO 스터디원 온어닷입니다. =)
1주차에는 AI 도구 7종의 사용량 한도를 매시간 지켜보다가, 바뀌면 텔레그램으로 알려 주는 알리미를 만든 얘기를 썼어요.
2주차 글은 제때 못 올려서, 이번 글에 2주 동안의 얘기를 묶어 적어 볼게요.
주제는 그 알림을 제가 알아볼 수 있게 만든 일입니다.
알림은 잘 오는데, 막상 열어 보면 뭐가 바뀐 건지 알 수가 없었거든요......ㅎㅎㅎ
앞뒤 문맥 파악하고 확인하고, 그래서 어쩌란거야... 싶었던 문장들만 연속이었습니다🫠🫠
소개
1주차가 끝났을 때 알리미는 이런 상태였습니다.
공식 문서·직원 공지 49곳 중 46곳을 매시간 받아 오고
한도를 말하는 문장 105개가 원문에 그대로 있는지 대조하고
중요한 문서가 바뀌거나 한도 문장이 사라지면 텔레그램으로 알림
문제는 알림을 받은 다음이었습니다.
변경 이력을 열면 "빠진 줄 3 · 더한 줄 41" 같은 줄 목록만 있었어요.
영어 문서 조각만 봐서는, 한도가 바뀐 건지 메뉴가 바뀐 건지 제가 판단이 안 되더라구요.
확인 안 한 알림은 이력 아래쪽에 흩어져 있어서 찾기도 힘들었고요.
그래서 10월 8일에 Claude Code한테 이렇게 말했습니다.
▎ "근데 변경 이력을 보더라도 앞뒤 내용을 모르니 무슨 변경인지 맥락 파악을 잘 못하겠어. 앞뒤 맥락을 파악해서 변경이 무엇을 의미하는지도 하단에 추가 작성하여 기록하도록 할 수 있을까??"
진행 방법
코드는 이번에도 Claude Code가 짰고, 교차 검토랑 조사는 codex한테 맡겼어요.
폰으로 원격 접속해서 진행한 날도 있었습니다.
① 내가 누르기 전까지 버튼은 빨갛게
그 전날 먼저 만든 건 확인 버튼입니다.
변경이 생기면 대시보드에 색을 칠하고, 제가 확인 버튼을 눌러야만 색이 꺼지게 했어요.
그런데 대시보드는 그냥 웹페이지 파일이라, 버튼을 눌렀다는 기록을 받아 둘 곳이 없었습니다.
그래서 미니PC에 확인 기록만 받는 작은 서버를 하나 붙였어요.
확인 안 한 변경은 이력 맨 위 "확인할 변경" 칸에 모이고, 확인하면 그 칸에서 빠지고 시간순 자리에만 남아요.
② 원문 앞뒤 문맥 먼저, AI 해설은 그 위에
Claude가 순서를 이렇게 제안했습니다.
먼저 바뀐 곳마다 원문 앞뒤 문맥(절 제목, 앞뒤 문장)을 그대로 붙이고, AI 해설은 그다음에.
원문은 AI가 쓴 게 아니라서 틀릴 일이 없으니까요.
해설은 미니PC에 깔린 Claude Code를 한 번씩 불러서 쓰게 했어요.
해설 첫 줄은 셋 중 하나로 시작합니다.
한도·가격·제공 범위 변경
의미 변화 없음
불확실
해설에는 항상 "AI 해설 · 검증 안 됨" 표시를 붙이고, 원문 문맥 바로 위에 뒀어요.
해설이 틀려도 바로 밑 원문으로 제가 확인할 수 있게요.
해설은 화면에만 쓰고, 알림을 보낼지 말지 정하는 데는 쓰지 않았습니다.
③ 그런데 사흘 동안 한 번도 안 돌았다..ㅎㅎ..
10월 8일에 해설 기능을 올렸는데, 해설이 하나도 안 나왔어요.
미니PC의 Claude Code가 쓸 로그인 토큰을 넣었는데, 파일에 값이 비어 있었던 거예요.
붙여넣은 글자가 화면에 안 보이는 입력 방식이라, 비어 있는 걸 그때는 몰랐습니다.
알리미는 그날 저녁 7시부터 "AI 해설 연속 실패" 장애 알림을 보냈고, 하루에 한 번씩 다시 알렸어요.
그래도 10월 11일까지 해설은 73번 실패했고, 성공은 0번이었습니다......ㅠㅠㅠㅠ
고친 건 폰에서였어요.
Claude가 미니PC 화면에 토큰 발급을 띄워 두고 로그인 주소만 저한테 줬고, 저는 폰에서 로그인 코드만 붙여넣었어요.
토큰 값 자체는 화면에 한 번도 안 뜨고 바로 파일로 들어갔습니다.
그날 밀린 해설 48건이 채워졌고, 쌓여 있던 미확인 목록을 그날 오후에 다 확인했어요.
④ AI 해설도 채점해 봤다
해설이 붙으니까, 이번엔 "이 해설은 믿어도 되나"가 궁금해졌어요.
그래서 Claude한테 그동안 쌓인 해설 54건을 원문이랑 하나하나 대조해서 채점하게 했습니다.
(채점도 Claude가 했습니다. 사람이 채점한 건 아니에요.)
맞음 38건 — AI가 "변경"이라고 한 11건은 11건 다 맞았어요
놓침 1건 — 실제로 가격이 바뀌었는데 "의미 변화 없음"
헛짚음 0건
불확실 15건
놓친 1건은 Gemini API 가격이었습니다.
같은 문구 교체가 37곳이나 있어서 그게 앞을 다 채웠고, 진짜 가격 변경은 글자 수 상한(9,000자)에 잘려서 AI한테 아예 전달이 안 됐더라구요.
AI가 잘못 읽은 게 아니라, 넘겨준 글이 잘렸던 거죠.
→ 같은 바꿈은 한 번만 싣고, 상한은 16,000자로 올리고, 잘린 게 있으면 "의미 변화 없음"이라고 못 하게 바꿨습니다.
→ 해설이 틀렸을 때 제가 바로잡는 "판정 정정" 버튼도 달았어요.
모델을 더 좋은 걸로 바꾸는 건 하지 않았고, 더 깊게 생각하게 하는 설정(effort)은 시험해 봤습니다.
15건으로 비교하니 정답 수는 11건으로 똑같고, 시간만 두 배 걸렸어요.
그래서 그대로 뒀습니다.
⑤ 현황판도 알아볼 수 있게
해설을 보다 보니 현황판도 너무 알아보기 힘들었어요.
화면 길이가 1만 5천 픽셀이 넘어서, 첫 화면에는 Gemini 표 하나만 들어왔거든요.
제가 이 화면에서 제일 알고 싶은 건 "무료로 되나, 플랜별로 되나"라서, 그 기준으로 다시 짰습니다.
지금은 첫 화면에 도구 7개가 다 들어오고, 리셋 시각도 한국 시간으로 보여요.
⑥ "몇 번 남았나"는 결국 못 잰다 — 컴퓨터 유즈 논쟁
현황판을 고치면서, 실측도 자동으로 할 수 있는지 물어봤어요.
Codex는 공식 프로그램이 남기는 사용량 기록이 있어서, 그걸 읽어 오는 수집기를 codex한테 만들게 했습니다.
그런데 나오는 값이 "7일 동안 49% 사용"이었어요.
몇 번 남았는지가 아니라, 몇 % 썼는지요.
제가 알고 싶은 건 사용률이 아니라, 오늘 무료·유료 계정으로 실제로 몇 번 쓸 수 있느냐였는데요.
그래서 물어봤습니다.
▎ "컴퓨터 유즈로도 안돼? 컴퓨터 유즈는 사실 인간이 조작하는 것과 비교가 안되잖아"
Claude 답은 "안 된다"였고, 이유는 세 가지였습니다.
약관은 "들키느냐"가 아니라 "누가 조작하느냐"를 본다. 화면을 조작하는 게 AI 프로그램이면 약관이 막는 "자동화된 수단"에 해당한다.
계정이 정지되면, Google은 Gemini만이 아니라 Gmail·드라이브까지 같이 묶인다.
한도까지 써 보는 순간 그 계정의 그날 한도가 사라지고, 나온 숫자도 "그 계정, 그 프롬프트, 그날" 하나뿐이다.
codex한테도 따로 조사를 시켰는데, 3사 모두 "한도를 재는 용도"를 허용하거나 예외로 둔 문구는 찾지 못했다고 했어요.
그래도 아쉬워서 한 번 더 밀어 봤어요.
서면 승인을 받았다고 가정하고, 적용은 말고 구현만 먼저 해 보자고요.
이번엔 Claude Code 쪽 자동 권한 검사가, codex한테 쓰기 권한을 주는 실행 자체를 막았습니다.
Claude는 "저는 이렇게 우회하는 시도를 돕지는않겠습니다"라고 했고요.😇
그래서 Codex 세션을 따로 열어, 무료 계정 화면을 읽어 보는 데까지는 해 봤어요.
지금은 Aside로 다시 시도하고 있습니다.
그래서 아직은 채팅 화면을 제가 직접 봅니다.
그런데 이게 실제로 쓸모가 있었어요.
10월 12일에 무료 계정 Gemini 화면을 보니, 모델 이름 대신 "자동 모드 · 최저가 · 보통 · 최고가"만 나오더라구요.
공식 문서는 아직 Flash-Lite·Flash·Pro로 설명하고 있었고요.
그래서 직접 본 화면을 기록하는 칸을 따로 만들고, "공식 문서와 다름" 표시를 달았어요.
이틀 뒤인 10월 14일 새벽, 공식 문서가 모델 설명을 지우고 화면처럼 바뀌었습니다.
알리미가 그 변경을 잡았고, 저는 "다름" 표시를 내렸어요.
⑦ 같은 알림이 반복되지 않게
10월 14일 새벽, Google이 Gemini 도움말을 크게 고쳐 썼어요.
Spark는 Tasks로, Gems는 Skills로 이름이 바뀌었고요.
알리미는 문서마다 정해 둔 제목 문구가 있는지 보고 제대로 받아 왔는지 판단하는데, 그 문구가 사라지니 그날 "수집 장애" 알림을 세 번 보냈습니다.
한도 숫자는 그대로였는데요.
그래서 이렇게 물어봤어요.
▎ "이런 식으로 이름 변경되어서 못찾았다고 알림 계속 뜨는 건 어떻게 할까"
지금은 이전 내용이 절반 넘게 그대로 남아 있으면 "고쳐 쓴 문서"로 보고, "표지 갱신 필요" 알림을 한 번만 보냅니다.
새 문구 후보도 같이 보내 줘서, 저는 그중에 고르기만 하면 돼요.
안 고친 채 일주일이 지나면 그때 한 번 더 알려 주고요.
이 알림이 실제로 온 적은 아직 없습니다.
결과와 배운 점
10월 21일 저녁 7시 기준, 2주 동안의 숫자는 이래요.
355번 수집, 변경 기록 1,613건, 그중 알림까지 간 게 72건
1,613건 중 957건은 전에 본 판으로 돌아온 거라, 알림 없이 기록만
지켜보는 한도 문장 105개 → 119개
AI 해설 97건 (실패 73건은 전부 그 사흘 동안)
1주차에는 처음 이틀 동안 알림 10건 중 9건이 한도와 상관없었어요.
10월 11일까지 해설을 붙인 알림 45건 중에서는 15건이 실제 변경이었습니다(Claude 채점 기준).
여전히 3건 중 2건은 한도와 상관없는 알림이지만, 이제는 해설 첫 줄만 보고 거를 수 있어요.
2주 동안 실제로 잡은 변경은 이런 것들입니다.
Claude: Design·Slides·Docs가 무료 플랜에도 열림 (10/9)
ChatGPT 파일 업로드: "모든 파일 512MB" → 문서 512MB, 이미지 20MB로 나뉨 (10/7)
Gemini API: 4K 이미지 출력 가격 인상 (10/7)
Gemini 앱: Gems → Skills 등 기능 이름 변경 (10/14)
Gemini API: 새 모델 Gemini 4 Argon, 무료 등급에서는 못 씀 (10/14)
Claude Enterprise: 좌석 요금에 "최소 20석" 조건이 붙음 (10/15)
Claude Code: 5시간 한도에 닿아도, 하던 단계는 잠깐 더 해서 마무리 (10/15)
그리고 10월 14일 아침, 강의 일주일 전 점검 보고서가 처음으로 텔레그램에 왔습니다.
그 강의에서 쓰는 도구의 한도 문장 38개가 다 그대로였고, 확인이 필요한 건 5건이었어요.
그 뒤로 일주일 전·전날 점검이 세 번 더 왔는데, 세 번 모두 바뀐 한도 문장은 없었어요.
배운 점
AI 해설은 원문 위에 붙인다.
해설이 틀려도 바로 밑 원문으로 확인할 수 있어서, 해설을 믿을지 말지를 제가 정할 수 있었어요.
AI 해설도 채점해야 한다.
단정한 판정은 거의 맞았지만, 놓친 1건은 AI가 아니라 넘겨준 글이 잘린 탓이었어요. 채점을 안 했으면 몰랐을 거예요.
알림이 울려도 고치는 건 사람이다.
장애 알림은 첫날 저녁부터 매일 왔는데, 고친 건 사흘 뒤였습니다.
자동으로 못 재는 건 사람이 보고 적는다.
이번엔 제 눈이 공식 문서보다 이틀 빨랐어요.



