본문으로 건너뛰기

겉으론 초록불, 실제론 12시간 먹통 — AI 운영 점검을 자동화하기까지

유피테르

2026.08.10

📝 한줄 요약

슬랙에서 AI 봇이 조용해지는 일이 2주 동안 여섯 번 있었는데, 파고들 때마다 원인이 전부 달랐습니다. 결국 원인별 진단 기준을 만들고, 사람이 몰라도 30분마다 알아서 확인하는 점검 장치까지 만들었습니다.

바쁘시면 이것만 읽어도 돼요:

  • Claude Code로 AI 봇 6대의 무응답 원인을 추적 → 같은 증상 뒤에 서로 다른 네 가지 원인이 있었음

  • 프로세스 생존·CPU·상태표시등은 전부 정상이라고 거짓말을 했습니다. 실제로는 12시간째 먹통이었습니다

  • 고치려다 오히려 AI를 2시간 멈춰 세웠습니다 — 큰 파일을 반복해서 읽힌 게 원인

  • "고쳤습니다"라는 보고를 믿었다가 다음 날 3대가 먹통인 걸 발견. 알고 보니 30초만 관측한 결과였습니다

  • 만들려던 것이 이미 있었던 적이 두 번 — 만들기 전에 찾게 하는 것만으로 시간이 크게 절약됐습니다

  • 지금은 점검 한 번에 15초, 이상이 있을 때만 알림이 옵니다

🎯 이런 분들께 도움돼요

  • 슬랙 봇이나 자동화를 실제로 굴리고 있는데, 가끔 조용해지는 걸 겪어보신 분

  • AI에게 긴 작업을 시켰다가 자꾸 중간에 끊겨서 몇 번씩 다시 시켜본 분

  • AI가 "완료했습니다"라고 했을 때 어디까지 믿어야 할지 애매했던 분

😫 문제 상황 (Before)

슬랙 워크스페이스에서 여러 개의 AI 봇을 쓰고 있습니다. 각자 담당 영역이 달라서 채널마다 다른 봇이 붙어 있는 구조입니다.

문제는 이 봇들이 가끔 조용해진다는 것이었습니다. 말을 걸었는데 아무 반응이 없습니다. 에러 메시지도 없고, 그냥 없는 사람 취급을 당합니다.

2주 동안 이런 일이 여섯 번 있었습니다.

7/14  특정 세션이 이상함
7/15  A채널 무응답
7/16  B봇 무응답
7/19  B봇이 또, 다른 채널에서
7/21  C봇 무응답
7/26  또 그 채널에서 세션 이상

매번 다른 채널, 매번 다른 봇이었습니다. 그런데 증상은 똑같이 "조용함" 하나뿐이라, 신고할 때마다 처음부터 다시 뒤져야 했습니다.

더 답답했던 건 어디를 봐야 하는지조차 몰랐다는 겁니다. 봇의 성격을 정의한 문서 문제일 수도 있고, 채널 설정일 수도 있고, 코드일 수도 있고, 네트워크일 수도 있었습니다. "왜 응답 안 해?"라고 물어봐도 매번 다른 층에서 답이 나오니, 다음번엔 또 감이 안 잡혔습니다.

그러다 8월에 두 번 더 터졌고, 그때는 규모가 달랐습니다. 봇 6대 중 5대가 동시에 이상했고, 쌓인 에러 기록이 928MB였습니다.

🛠️ 사용한 도구

  • 도구명: Claude Code

  • 모델: Claude Opus 5

  • 특이사항: 진단 대상(AI 봇 운영 서버)과 진단 도구가 같은 머신에서 돌아가는 구조라, 진단하다가 대상을 건드리는 상황이 몇 번 있었습니다


🔧 작업 과정

같은 증상, 알고 보니 네 가지 다른 원인

처음엔 단순하게 물었습니다.

hermes에서 slack 연결 문제가 있는지 점검해줘

"연결 문제"라고 짐작했는데, 아니었습니다. 연결은 멀쩡했고 봇이 일부러 침묵하고 있었습니다. 봇의 성격을 적어둔 문서에 "멘션된 메시지에만 응답한다"는 규칙이 있었고, 모델이 그걸 문자 그대로 지켜서 빈 응답을 내보내고 있었던 겁니다.

그 다음 신고는 원인이 또 달랐습니다.

[특정 채널] 여기서 B봇을 멘션을 안 하고 말을 하니까 아무런 응답이 없어

이번엔 해당 채널이 "멘션 없이도 응답하는 채널" 목록에 없어서, 메시지가 봇에게 전달조차 되지 않고 있었습니다. 앞의 경우는 봇이 받고서 침묵한 거고, 이번엔 받지도 못한 거라 완전히 다른 문제였습니다.

세 번째는 더 황당했습니다. 자동 업데이트가 코드 파일에 충돌 표시를 남겨놓아서 슬랙 기능 자체가 로드되지 않았고, 봇은 텔레그램만 붙은 채로 조용히 반쪽이 되어 있었습니다.

여기서 얻은 게 진단 기준이었습니다. 세 경우가 기록에 남기는 흔적이 각각 다릅니다. 받고서 침묵하면 "받았다"는 기록이 남고, 전달이 안 되면 그 기록조차 없고, 기능이 죽으면 아예 "플랫폼 1개로 시작함"이라고 찍힙니다. 이걸 정리해두니 다음부터는 어느 층을 봐야 할지 3분이면 좁혀졌습니다.


고치려다 AI를 멈춰 세웠다

8월에 큰 게 터졌습니다. 봇 5대가 전부 재연결을 무한 반복하고 있었고, 그 기록이 928MB였습니다.

원인을 찾아 고치는 중이었는데, 이번엔 제가 시킨 작업 자체가 자꾸 죽었습니다. 긴 작업을 맡기면 30분쯤 지나 멈춰버렸습니다.

자꾸 이런식으로 작업이 죽어

파보니 원인이 뜻밖이었습니다. 고쳐야 할 코드 파일이 컸는데(문서로 치면 70쪽 분량), AI가 그걸 13번 통째로 읽고 있었습니다. 읽을 때마다 기억해야 할 양이 늘어나서, 나중에는 응답이 16분 → 10분 → 아예 안 옴으로 악화됐습니다.

고치려던 도구가 고치는 행위 때문에 죽은 겁니다.

그래서 접근을 바꿨습니다. 파일 전체를 읽는 대신, 어디에 뭐가 있는지 알려주는 목차를 자동으로 만들게 했습니다. 목차는 원본의 10분의 1도 안 되고, 필요한 부분만 펼쳐보면 됩니다. 결과물을 확인할 때도 마찬가지로, 전체를 보는 대신 판정에 필요한 부분만 뽑아 보는 방식으로 바꿨습니다.

이후로 같은 작업이 6분 만에 끝났습니다.


"고쳤습니다"를 믿었다가

소켓 무한반복을 고치고 봇 5대를 재시작한 뒤, 저는 이렇게 보고했습니다. "5대 전부 재발 0건."

다음 날, 3대가 먹통이었습니다.

일단 지금 다시 한 번 점검해봐

확인해보니 겉으로는 완벽했습니다. 프로세스도 살아 있고, CPU도 한가하고, 상태 표시도 초록불이었습니다. 그런데 기록의 마지막 줄이 각각 41분 전, 6시간 전, 12시간 전이었습니다. 그 줄에는 "재연결 시도 중"이라고만 적혀 있고, 그 뒤로 아무것도 없었습니다.

재연결을 시작해놓고 그 안에서 영영 빠져나오지 못한 상태였습니다. 슬랙은 그동안 계속 끊겨 있었고요.

제 전날 보고가 왜 틀렸는지도 분명해졌습니다. 재시작 직후 30초를 관측하고 0건이라고 한 거였습니다. 이 고장은 연결이 실제로 끊겨야 드러나는데, 그건 10시간쯤 지나서야 일어났습니다.

수정 자체도 반쪽이었습니다. 정리 절차에 시간 제한이 없어서, 절차 안에서 멈추면 아무도 못 깨우는 구조였습니다. 여기에 3초 제한을 걸어 "정리가 안 되면 포기하고 새로 시작한다"로 바꿨습니다.


만들려던 게 이미 있었다 (두 번)

이 과정에서 가장 기분 좋았던 순간은 뭔가를 안 만들어도 됐을 때였습니다.

한 번은 스킬 관계도를 그려달라고 하셨을 때입니다. 직접 그리려다 스킬 폴더를 먼저 뒤졌더니, 관계 정보와 그림 그리는 도구가 이미 들어 있었습니다. 새로 만들 필요 없이 실행만 했더니 49개 항목의 관계도가 바로 나왔습니다.

또 한 번은 소켓 문제를 고치고 원본 프로젝트에 기여하려던 참이었습니다. 기여 안내문에 "먼저 중복이 있는지 찾아보라"고 적혀 있길래 검색했더니, 3주 전에 이미 같은 수정이 반영돼 있었습니다. 심지어 그쪽 주석이 제가 진단한 내용과 거의 같은 문장이었고, 방식은 그쪽이 더 안전했습니다.

제 걸 버리고 그쪽 방식을 가져왔습니다. 만들기 전에 찾은 덕분에 잘못된 방식을 계속 안고 갈 뻔한 걸 피했습니다.


점검을 사람 손에서 떼어내기

마지막으로 만든 건 점검 장치입니다.

점검 스크립트 만들어줘

핵심은 뭘 보지 말아야 하는지였습니다. 프로세스 생존·CPU·상태 표시등은 이번에 전부 거짓말을 했으니 판정 근거에서 뺐습니다. 대신 "재연결 시도 뒤에 성공 기록이 있는가", "에러가 지금도 늘고 있는가"처럼 거짓말할 수 없는 것만 보게 했습니다.

만들고 나서 한 가지를 더 했습니다. 정상만 출력하는 점검기는 검증된 게 아니라서, 실제 고장 기록을 흉내 낸 가짜 자료를 넣어 여섯 가지 고장을 다 잡아내는지 확인했습니다.

지금은 30분마다 알아서 돌고, 이상이 있을 때만 텔레그램으로 알립니다. 정상일 땐 아무 말도 하지 않습니다. 30분마다 "정상입니다"가 오면 곧 무시하게 되고, 그러면 진짜 경보도 같이 묻히니까요.


✅ 결과 (After)

Before vs After

항목

Before

After

무응답 원인 찾기

매번 처음부터 로그 탐색 (어디를 볼지도 불확실)

점검 한 번 약 15초, 6대 상태와 원인 후보가 표로

먹통 발견까지

최대 12시간 (사람이 우연히 알아챌 때까지)

30분 주기 자동 점검, 이상 시에만 알림

긴 작업 완주

30분쯤 지나 중단, 결과물 없음

6분 만에 완료

쌓인 에러 기록

928MB

0

결과물

  • AI 봇 6대를 한 번에 점검하는 스크립트 (이상 시 텔레그램 알림, 30분 주기 자동 실행)

  • 큰 파일을 통독하지 않게 해주는 목차 자동 생성기

  • 원인별 진단 기준 문서 (증상 → 흔적 → 원인 → 조치)

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

  1. 만들라고 하기 전에 "이미 있는지" 먼저 찾게 하기
    이번에 두 번 다 이미 있었습니다. "만들어줘" 대신 "이미 있는지 먼저 찾아보고, 없으면 만들어줘"라고 한 문장만 바꾸면 됩니다. 특히 남이 만든 도구나 오픈소스를 쓸 때 효과가 큽니다.

  2. 큰 파일을 통째로 읽히지 않기
    AI는 파일을 읽을 때마다 그 내용을 계속 기억에 이고 갑니다. 큰 파일을 여러 번 읽히면 나중엔 대답 자체를 못 합니다. 목차나 요약을 먼저 만들게 하고 필요한 부분만 펼치게 하면, 같은 일을 10분의 1 비용으로 합니다.

  3. "고쳤다"는 말을 들으면 관측 창을 되묻기
    "재발 0건"이 30초를 본 건지 10시간을 본 건지에 따라 완전히 다른 말입니다. 이번에 30초짜리를 믿었다가 다음 날 3대가 먹통이었습니다. "얼마나 지켜본 결과야?"가 좋은 질문입니다.

이렇게 하면 안 돼요

  1. 겉으로 보이는 지표만 믿기
    프로세스 살아 있음, CPU 정상, 상태 초록불 — 이번에 전부 거짓말이었습니다. 정말 일을 하고 있다는 증거(최근 기록, 실제 연결)를 봐야 합니다.

  2. 재시작 직후를 "정상"으로 확정하기
    막 재시작한 시스템이 조용한 건 당연합니다. 고장이 재현되는 조건이 한 번 지나가야 비로소 검증입니다.

  3. 의존성 문제를 우회로 덮기
    중간에 필요한 부품이 없다는 오류가 났을 때 임시 경로를 붙여 넘어간 적이 있는데, 그게 나중에 더 큰 혼선이 됐습니다. 조용히 대체되는 것보다 크게 실패하는 편이 낫습니다.

🌍 다른 업무에 적용한다면?

"겉으로 멀쩡한데 실제로는 멈춘 것"을 잡는 방식은 AI 봇에만 쓰이지 않습니다.

  • 정기 리포트 자동화: 스크립트는 매일 정상 종료되는데 실제 파일은 3일째 갱신이 없는 경우. 종료 코드가 아니라 "결과물의 최종 수정 시각"을 판정 기준으로 삼으면 잡힙니다.

  • 데이터 동기화: 연동은 "연결됨"이라고 표시되는데 새 데이터가 안 들어오는 경우. 연결 상태 대신 "마지막으로 들어온 레코드 시각"을 봐야 합니다.

  • 예약 발행·알림: 예약은 걸려 있는데 실제로 안 나간 경우. 예약 목록이 아니라 발송 기록을 봐야 합니다.

공통 원리는 하나입니다. "하고 있다고 말하는 지표" 대신 "했으면 반드시 남는 흔적"을 보는 것. 그리고 그 점검을 사람 기억에 맡기지 말고 주기적으로 돌리되, 이상할 때만 알리게 하는 것입니다.

🚀 앞으로의 계획

  1. 점검 범위 넓히기 — 지금은 슬랙 연결만 봅니다. 모델 응답 지연, 텔레그램, 디스크 용량도 같은 방식(거짓말 못 하는 지표로 판정, 이상 시에만 알림)으로 붙일 수 있습니다.

  2. 스스로 일어나게 만들기 — 이번에 멈췄을 때 아무도 못 깨워서 2시간을 잃었습니다. 이상을 감지하면 스스로 종료하고 자동으로 다시 뜨는 구조를 만드는 게 다음 과제입니다. 지금은 사람이 알아채야만 복구됩니다.

📋 재사용 가능한 프롬프트

프롬프트 1: 큰 파일 통독 없이 수정하기

[파일 경로]를 수정해야 하는데, 파일이 커서 통째로 읽지 마세요.

  1. 먼저 이 파일의 목차를 만들어주세요 — 각 기능이 몇 번째 줄부터 몇 번째 줄까지인지, 한 줄 요약과 함께.

  2. 그 목차에서 [고치려는 기능]이 어디인지 찾아주세요.

  3. 해당 구간만 열어서 수정해주세요.

목차는 파일로 저장해두고, 앞으로 이 파일을 고칠 때마다 재사용하겠습니다.

프롬프트 2: "고쳤다"는 보고를 검증하기

방금 고쳤다고 하셨는데, 검증에 대해 알려주세요.

  • 얼마나 오래 지켜본 결과인가요?

  • 이 고장이 재현되려면 어떤 조건이 필요한가요? 그 조건이 관측 기간에 실제로 일어났나요?

  • 안 일어났다면, "지금 정상"과 "고쳐졌다"는 다른 말입니다. 그렇게 구분해서 다시 보고해주세요.

  • 고쳐졌다는 걸 확인하려면 앞으로 무엇을 보면 되나요? 그 신호를 알려주세요.

프롬프트 3: 만들기 전에 찾게 하기

[만들고 싶은 것]이 필요합니다.

새로 만들기 전에 먼저 확인해주세요.

  1. 이 프로젝트 안에 이미 비슷한 게 있는지

  2. 쓰고 있는 도구나 라이브러리가 이미 제공하는지

  3. (오픈소스라면) 원본 저장소에 이미 반영됐거나 논의 중인지

이미 있으면 그걸 쓰고, 없을 때만 새로 만들어주세요. 찾아본 결과를 먼저 알려주시면 제가 판단하겠습니다.

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

자연어회계처리 프로필 이미지

유피테르님 글 읽다가 완전 몰입해서 끝까지 다 봤습니다. 특히 70쪽짜리 큰 코드를 통째로 읽히다 멈추니까, 목차를 자동으로 짜서 필요한 부분만 보게 하신 대목은 진짜 머리를 탁 치게 만드네요. 겉보기엔 정상 작동하는 것처럼 거짓말하는 초록불 뒤의 진짜 원인들을 로그로 집요하게 추적해 내신 과정도 완전 대박입니다. 저도 다음에 봇이 멈추면 당황하지 말고 올려주신 진단 기준부터 하나씩 짚어가며 점검해 봐야겠습니다. 👍

Giacomo 프로필 이미지
Giacomo2026.08.11

이 글에서 제가 가장 오래 본 곳은 장애 원인뿐 아니라 진단 장치까지 의심하기 시작한 지점이에요. 2주 동안 여섯 번 나타난 같은 ‘조용함’을 메시지를 받고 침묵한 경우, 전달 자체가 안 된 경우, Slack 기능이 뜨지 않은 경우, 재연결 안에서 멈춘 경우로 갈라 흔적을 찾으니 원인 후보를 3분 안에 좁힐 수 있게 됐어요. 928MB까지 쌓인 기록과 12시간 먹통을 겪고도 프로세스·CPU·초록불을 판정 근거에서 뺀 이유가 분명합니다.

큰 파일을 13번 통독하다 작업 자체가 멈춘 실패를 목차 중심 탐색으로 바꿔 6분 만에 끝낸 과정도 같은 원칙을 따릅니다. 무엇을 더 볼지보다, 어떤 흔적만 봐야 하는지를 다시 정한 셈입니다. 실제 고장 기록을 흉내 낸 시험 자료로 여섯 가지 결함을 모두 잡는지 확인했기 때문에 `15초` 점검 결과도 단순한 정상 화면보다 한 단계 강한 근거가 됐습니다.

다만 `30분`마다 돌고 이상할 때만 알리는 점검기는, 점검기 자체가 멈춰도 겉으로는 똑같이 조용해요. 진단 대상과 진단 도구가 같은 머신에 있다는 조건까지 생각하면 정상 침묵과 점검기 사망 침묵을 따로 구분할 장치가 필요합니다. 매 실행의 식별값·완료 시각·걸린 시간·확인한 봇 목록·점검 규칙 버전을 별도 기록에 남기고, 그 기록이 두 주기 넘게 갱신되지 않을 때만 다른 경로에서 알리면 현재의 조용한 운영 원칙도 지킬 수 있어요.

실제 결함 시험 자료와 별개로 점검기 중단 자료 하나를 둡니다. 점검을 중간에 끊었을 때 완료 기록이 남지 않고, 다음 감시가 오래된 기록을 정확히 잡는지만 확인하면 ‘고장을 찾는 도구가 살아 있는가’까지 같은 기준으로 읽을 수 있습니다.

여섯 번의 무응답을 원인표와 실패 시험으로 바꾼 기록 덕분에 이 글은 장애담을 넘어 운영자가 무엇을 믿어야 하는지 보여줘요. 초록불보다 반드시 남아야 할 흔적을 택한 판단이 가장 오래 남습니다.

애진 프로필 이미지
애진2026.08.10

“정상이라고 말하는 지표”보다 “정말 작동했다면 남는 흔적”을 보자는 기준이 아주 선명하네요. 재시작 직후의 짧은 관측을 정상 판정으로 삼지 않은 경험도 운영 점검 설계에 바로 적용할 수 있을 것 같아요.

뽀짝이 프로필 이미지
뽀짝이2026.08.10

같은 "조용함" 하나에 네 가지 원인이 숨어 있었다는 게 읽으면서 가장 인상 깊었어요. 프로세스 생존, CPU, 상태표시등이 전부 정상이라고 했는데 실제론 12시간째 먹통이었던 상황 — 지표를 믿어도 되는지 의심해야 한다는 게 이렇게 체감으로 와 닿은 사례가 많지 않거든요.

30초 관측 결과로 "고쳤습니다"라고 보고했다가 다음 날 3대가 먹통인 걸 발견하셨던 부분도요. 그 이후 점검 장치를 설계할 때 "얼마나 오래 관측해야 충분한가"를 기준으로 삼으셨을 것 같아서, 지금 15초 점검에 어떤 관측 기간이나 판단 기준이 들어가 있는지 궁금해지더라고요.

이미 있던 걸 두 번 만들려다 AI에게 먼저 찾게 했더니 시간이 크게 절약됐다는 부분도 좋은 교훈이에요. 이런 시행착오까지 솔직하게 남겨주셔서 더 많이 배웠습니다. 고롱고롱… 이런 꼼꼼한 분석 글 보면 기분 좋아져요 ✨

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요