본문으로 건너뛰기

“헬스 체크” 한마디로 7개의 Slack AI 봇을 점검하고 복구하기 🤖

벤쿠버쪼

2026.08.08

Hermes와 OpenClaw에 흩어진 7개의 AI 봇. 이제 매일 오전 7시에 자동으로 상태를 확인하고, 복구 가능한 문제는 스스로 고친 뒤 실제 답변까지 다시 검증합니다.

소개

🟢 봇이 살아 있는데, 왜 대답은 없지?

여러 AI 에이전트를 Slack 봇으로 운영하다 보니 묘한 문제가 하나 생겼습니다.

분명 Slack에는 봇이 떠 있습니다.
서버에 접속해 보면 프로세스도 실행 중입니다.

그런데 말을 걸면 대답이 없습니다.

처음에는 단순히 프로세스가 살아 있는지만 확인하면 될 거라고 생각했습니다. 하지만 실제 장애를 하나씩 겪어보니 AI 봇의 상태는 그렇게 단순하지 않았습니다.

  • Gateway 프로세스는 살아 있지만 Slack 연결이 끊겨 있을 수 있습니다.

  • Slack은 정상적으로 연결됐지만 모델 인증에 실패할 수 있습니다.

  • 모델 호출 자체는 성공했지만 실제 결과는 NO_REPLY일 수 있습니다.

  • 원격 서버는 온라인인데 SSH 인증에 실패해 점검 자체가 불가능할 수도 있습니다.

결국 running이라는 한 단어만으로는 “이 봇이 정상이다”라고 말할 수 없었습니다.

그래서 생각을 바꿨습니다.

프로세스를 확인하는 것이 아니라, 사용자가 실제 답변을 받을 수 있는지를 확인하자.

이 생각에서 Slack AI 봇을 위한 헬스 체크 시스템을 만들기 시작했습니다.

목표는 간단했습니다.

Slack에서 딱 한마디,

헬스 체크

라고 입력하면 다음 과정이 자동으로 실행되는 것입니다.

호스트 확인
→ Gateway 확인
→ Slack 연결 확인
→ 모델 호출
→ 실제 응답 확인
→ 선택적 자동 복구
→ 복구 후 재검증

그리고 같은 점검을 매일 오전 7시에도 자동 실행하도록 만들었습니다.


진행 방법

1. 먼저 관리 중인 봇부터 정리했습니다

현재 관리하는 Slack AI 봇은 총 7개입니다.

Hermes

  • Baymax

  • Karpathy

  • Kongming

  • Robin

OpenClaw

  • 스티브 잡스

  • 팀 쿡

  • 안드레 카파시

여기서부터 예상하지 못한 일이 하나 있었습니다.

처음에는 OpenClaw에 스티브 잡스와 팀 쿡, 두 개의 봇만 있는 줄 알았습니다.

그런데 실제 에이전트 목록과 Slack 바인딩을 조회해 보니 별도의 안드레 카파시 에이전트도 존재했습니다.

이 경험 때문에 헬스 체크 시스템을 고정된 봇 목록에 의존하도록 만들지 않았습니다.

대신 실행할 때마다 현재 활성화된 Slack 계정과 연결된 에이전트를 다시 탐색하도록 구성했습니다.

봇이 추가되거나 구성이 바뀌더라도 헬스 체크 코드의 목록을 매번 수정하지 않도록 한 것입니다.


2. Hermes: running을 믿지 않고 실제 모델까지 호출했습니다

먼저 Hermes의 프로필과 Gateway 상태를 확인했습니다.

hermes profile list
hermes gateway list

운영 중인 Slack 프로필은 다음 네 개였습니다.

baymax      running
karpathy    running
kongming    running
robin       running

표면적으로는 모두 정상처럼 보였습니다.

하지만 일부 프로필을 자세히 확인하니 오래된 Gateway 프로세스가 남긴 오류 흔적이 있었습니다.

여기서 전체 서비스를 재시작하지 않았습니다.

문제가 있는 Gateway만 골라 재시작했습니다.

launchctl kickstart -k \
  gui/$(id -u)/ai.hermes.gateway-karpathy

launchctl kickstart -k \
  gui/$(id -u)/ai.hermes.gateway-kongming

launchctl kickstart -k \
  gui/$(id -u)/ai.hermes.gateway-robin

모든 명령이 종료 코드 0으로 끝났습니다.

하지만 여기서 헬스 체크를 종료하면 처음과 똑같은 문제가 생깁니다.

“프로세스가 재시작됐으니 정상일 것이다.”

그 가정을 하지 않기로 했습니다.

각 프로필에서 실제 모델 요청을 다시 실행했습니다.

for profile in baymax karpathy kongming robin
do
  HERMES_PROFILE="$profile" \
    hermes -z 'Reply only: OK'
done

결과는 다음과 같았습니다.

baymax    → OK
karpathy  → OK
kongming  → OK
robin     → OK

이제서야 네 개의 Hermes 봇을 정상이라고 판단했습니다.

즉, 판단 기준은 단순한 프로세스 상태가 아니라

Gateway
→ Slack Socket Mode
→ 모델 호출
→ 실제 응답

까지 이어지는 전체 경로였습니다.


3. OpenClaw: 서버는 살아 있는데 들어갈 수가 없었습니다

다음은 OpenClaw였습니다.

OpenClaw는 다른 Mac에서 실행되고 있기 때문에 SSH를 통해 원격 점검해야 했습니다.

그런데 첫 번째 장애는 OpenClaw가 아니었습니다.

서버에 들어가는 것부터 실패했습니다.

ssh \
  -i ~/.ssh/<HEALTHCHECK_KEY> \
  -o BatchMode=yes \
  <REMOTE_USER>@<OPENCLAW_HOST> \
  'hostname'

결과는 다음과 같았습니다.

Permission denied (publickey,password,keyboard-interactive)

서버는 온라인이었습니다.

SSH 포트도 열려 있었습니다.

하지만 자동화 시스템이 사용할 수 있는 인증 수단이 없었습니다.

그래서 헬스 체크 전용 SSH 키를 만들었습니다.

ssh-keygen \
  -t ed25519 \
  -N '' \
  -C 'agent-healthcheck' \
  -f ~/.ssh/<HEALTHCHECK_KEY>

생성된 공개키를 원격 계정에 등록한 뒤 다시 접속했습니다.

SSH_OK

이제 자동화 시스템이 사람의 비밀번호 입력 없이 OpenClaw 서버를 점검할 수 있게 됐습니다.


4. SSH는 됐는데 이번에는 openclaw: command not found

SSH 문제가 해결됐으니 이제 끝이라고 생각했습니다.

그런데 바로 다음 문제가 등장했습니다.

ssh <REMOTE_HOST> \
  'openclaw --version'

결과는:

zsh: command not found: openclaw

처음에는 OpenClaw 설치 자체에 문제가 생긴 줄 알았습니다.

하지만 원인은 다른 곳에 있었습니다.

OpenClaw가 없는 것이 아니라 비대화형 SSH 셸에서 로그인 환경의 PATH를 불러오지 못하고 있었습니다.

로그인 셸을 명시해서 다시 실행했습니다.

ssh <REMOTE_HOST> \
  "zsh -lic 'command -v openclaw; openclaw --version'"

이번에는 정상적으로 찾았습니다.

/Users/<REMOTE_USER>/.npm-global/bin/openclaw
OpenClaw 2026.7.1-2

이후 자동 점검에서는 환경에 따른 PATH 문제를 줄이기 위해 OpenClaw의 절대 경로도 사용하도록 구성했습니다.

작은 차이지만, 사람이 터미널에서 직접 실행할 때는 되는데 자동화하면 실패하는 전형적인 문제였습니다. 😅


5. Gateway와 Slack까지는 모두 정상이었습니다

이제 OpenClaw Gateway를 확인했습니다.

openclaw gateway status

결과:

Service: LaunchAgent loaded
Runtime: running
Connectivity probe: ok
Listening: 127.0.0.1:18789

Slack 계정도 실제 연결 상태까지 검사했습니다.

openclaw channels status --probe

결과:

Slack default: running, connected, healthy
Slack timcook: running, connected, healthy
Slack andre: running, connected, healthy

에이전트와 Slack 계정의 연결 관계도 확인했습니다.

openclaw agents list --bindings
main     → 스티브 잡스 → Slack default
timcook  → 팀 쿡       → Slack timcook
andre    → 안드레      → Slack andre

여기까지만 보면 모든 것이 완벽하게 정상입니다.

하지만 마지막 검사가 남아 있었습니다.

“그래서 실제로 대답하는가?”


6. 가장 재미있었던 장애: status=ok인데 답변은 NO_REPLY

각 OpenClaw 에이전트에게 실제 모델 요청을 보냈습니다.

openclaw agent \
  --agent main \
  --session-id "health-main-$(date +%s)" \
  --message "Reply only: OK" \
  --thinking minimal \
  --timeout 180 \
  --json

그리고 예상하지 못한 결과가 나왔습니다.

스티브 잡스 → status=ok, 응답=NO_REPLY
팀 쿡       → status=ok, 응답=OK
안드레      → status=ok, 응답=NO_REPLY

명령은 성공했습니다.

status=ok입니다.

그런데 세 개 중 두 개는 사용자에게 보여줄 답변이 없습니다.

이 상태에서 status=ok만 검사했다면 헬스 체크는 스티브 잡스와 안드레를 정상이라고 잘못 판정했을 것입니다.

그래서 테스트 프롬프트 자체를 바꿨습니다.

단순히 OK라고 대답하라고 요청하는 대신, 이것이 운영자가 요청한 런타임 헬스 체크이며 반드시 사용자에게 보이는 응답을 생성해야 한다고 명시했습니다.

openclaw agent \
  --agent main \
  --session-id "visible-main-$(date +%s)" \
  --message "This is an operator-requested runtime health check.
Produce a visible response containing exactly STEVE_OK.
Do not suppress the response." \
  --thinking minimal \
  --timeout 180 \
  --json

이번에는 원하는 결과를 얻었습니다.

스티브 잡스 → STEVE_OK
팀 쿡       → OK
안드레      → ANDRE_OK

Claude CLI 자체도 별도로 검사했습니다.

claude -p \
  "Reply only: PROVIDER_OK" \
  --output-format text

결과:

PROVIDER_OK

이 과정에서 이번 시스템의 가장 중요한 운영 원칙이 만들어졌습니다.

종료 코드 0이나 status=ok만으로는 AI 봇이 정상이라고 판단할 수 없다. 사용자가 볼 수 있는 실제 응답까지 확인해야 한다.


7. 장애를 발견하는 데서 끝내지 않고 자동 복구까지 연결했습니다 🔧

처음 목표는 여러 봇의 상태를 한 번에 확인하는 것이었습니다.

하지만 운영하면서 생각이 바뀌었습니다.

매일 똑같은 장애를 사람이 확인하고, 똑같은 Gateway를 사람이 다시 시작한다면 헬스 체크를 자동화한 의미가 절반밖에 없습니다.

그래서 점검 → 장애 판단 → 안전한 복구 → 재검증까지 하나의 워크플로로 묶었습니다.

자동 점검은 다음 과정을 수행합니다.

  1. Hermes와 OpenClaw의 활성 Slack 봇 탐색

  2. Gateway 상태 확인

  3. Slack 연결 상태 확인

  4. 에이전트별 실제 모델 응답 검사

  5. 문제가 명확한 Gateway만 한 번 재시작

  6. 재시작 후 Slack 연결 상태 재확인

  7. 실제 모델 응답 재검증

  8. 최종 결과를 Slack으로 보고

여기서 중요한 원칙이 하나 더 있습니다.

자동화할 수 있다고 해서 모든 문제를 자동으로 고치지는 않습니다.

Gateway 재시작처럼 영향 범위가 명확하고 되돌리기 쉬운 조치는 자동화했습니다.

반면 다음과 같은 작업은 자동으로 수행하지 않습니다.

  • 모델 재인증

  • 보안 설정 변경

  • 버전 업데이트

  • 예상하지 못한 구성 변경

이런 문제는 시스템이 임의로 수정하지 않고 조치 필요 상태로 보고하도록 했습니다.

즉, 목표는 무조건적인 자가 복구가 아니라 안전한 범위 안에서의 자동 복구였습니다.


8. 그리고 매일 오전 7시에 스스로 점검하도록 만들었습니다 ⏰

마지막으로 이 헬스 체크를 매일 실행하도록 예약했습니다.

0 7 * * *

Scheduler 상태도 확인했습니다.

hermes cron status
Gateway is running
Ticker heartbeat: 정상
Health-check job: active

이제 사람이 출근해서 7개의 봇을 하나씩 확인할 필요가 없습니다.

매일 오전 7시가 되면 시스템이 먼저 움직입니다.

활성 봇 탐색
        ↓
Gateway 점검
        ↓
Slack 연결 점검
        ↓
모델 호출
        ↓
실제 응답 확인
        ↓
복구 가능한가?
   ↙          ↘
 YES           NO
 ↓             ↓
자동 복구     조치 필요 보고
 ↓
재검증
        ↓
Slack 결과 보고

그리고 필요할 때는 Slack에서

헬스 체크

라고 입력하는 것만으로 같은 절차를 즉시 실행할 수 있게 했습니다.


결과와 배운 점

🎯 최종 결과: 7개 봇을 위한 자동 복구 시스템 완성

최종적으로 7개의 Slack AI 봇을 하나의 헬스 체크 흐름에서 점검할 수 있게 됐습니다.

플랫폼

봇

결과

Hermes

Baymax

정상

Hermes

Karpathy

복구 후 정상

Hermes

Kongming

복구 후 정상

Hermes

Robin

복구 후 정상

OpenClaw

스티브 잡스

STEVE_OK

OpenClaw

팀 쿡

OK

OpenClaw

안드레 카파시

ANDRE_OK

처음에는 단순히 “7개 봇의 프로세스가 살아 있는지 확인하는 스크립트” 정도를 생각했습니다.

하지만 실제 장애를 따라가다 보니 시스템은 점점 달라졌습니다.

프로세스 체크
    ↓
연결 상태 체크
    ↓
실제 모델 호출
    ↓
사용자에게 보이는 응답 검증
    ↓
선택적 자동 복구
    ↓
복구 후 End-to-End 재검증

결과적으로 만든 것은 단순한 상태 확인 스크립트가 아니라 AI 봇 운영을 위한 작은 자동 복구 시스템에 가까워졌습니다.

💡 첫 번째 배움: running은 정상이라는 뜻이 아니다

이번에 가장 많이 본 단어가 running, connected, healthy, ok였습니다.

그런데 그중 어느 하나도 단독으로는 사용자가 실제 답변을 받을 수 있다는 것을 보장하지 않았습니다.

특히

status=ok
response=NO_REPLY

를 직접 확인하면서 이 점이 명확해졌습니다.

AI 서비스의 헬스 체크에서는 인프라 상태뿐 아니라 실제 모델의 출력까지 검사하는 End-to-End 테스트가 중요했습니다.

💡 두 번째 배움: 복구 성공도 다시 검증해야 한다

Gateway 재시작 명령의 종료 코드가 0이라고 해서 장애가 해결됐다고 판단하지 않았습니다.

복구 후 다시

Gateway
→ Slack
→ 모델
→ 실제 응답

을 검사했습니다.

즉,

복구 명령의 성공과 서비스 복구의 성공은 서로 다른 문제입니다.

💡 세 번째 배움: 자동 복구에는 경계선이 필요하다

자동화의 목표를 “문제가 생기면 무엇이든 알아서 고친다”로 잡지 않았습니다.

대신 다음과 같이 구분했습니다.

안전하고 영향 범위가 명확한 작업
→ 자동 복구

인증·보안·업데이트처럼 위험도가 높은 작업
→ 조치 필요 보고

이 기준 덕분에 자동 복구를 도입하면서도 운영 환경을 예상하지 못한 상태로 변경할 위험을 줄일 수 있었습니다.

💡 네 번째 배움: 목록도 자동으로 발견해야 한다

안드레 카파시 봇을 뒤늦게 발견한 것도 중요한 경험이었습니다.

고정된 봇 목록을 코드에 넣었다면 새 에이전트는 헬스 체크 대상에서 빠졌을 것입니다.

그래서 현재는 실행 시점의 활성 Slack 계정과 에이전트 바인딩을 기준으로 점검 대상을 찾습니다.

모니터링 대상 자체도 동적으로 발견해야 한다는 것을 배웠습니다.


🚀 이제 “헬스 체크”는 단축어가 아닙니다

Slack에서 제가 입력하는 것은 여전히 아주 짧습니다.

헬스 체크

하지만 그 한마디 뒤에서는 꽤 많은 일이 일어납니다.

호스트 확인
→ Gateway 확인
→ Slack 연결 확인
→ 모델 호출
→ 실제 응답 확인
→ 선택적 자동 복구
→ 복구 후 재검증
→ 결과 보고

그리고 사람이 요청하지 않더라도 매일 오전 7시에 같은 과정이 자동으로 실행됩니다.

이번 작업을 통해 제가 생각하는 AI 봇의 “정상” 기준도 달라졌습니다.

AI 봇 운영에서 “정상”은 프로세스가 살아 있다는 뜻이 아니다.

사용자가 실제 답변을 받을 수 있고, 문제가 생겼다면 안전하게 복구한 뒤 그 사실을 다시 검증했을 때 비로소 정상이다.

앞으로는 단순한 헬스 체크를 넘어 장애 유형별 기록과 통계를 쌓고, 반복되는 장애 패턴을 찾아 “고장 난 뒤 복구하는 시스템”에서 “고장 나기 전에 이상을 발견하는 시스템”으로 발전시켜 보고 싶습니다. 🛠️

도움 받은 글

Hermes는 공식 프로젝트 문서에서 메시징 Gateway를 통해 Slack을 지원하며, Slack 연동에는 Socket Mode가 사용됩니다. 또한 CLI에는 여러 프로필의 Gateway 상태를 확인하는 기능이 제공되어 이번 멀티 봇 운영 구조를 이해하는 데 참고했습니다.

  • Hermes Agent 공식 GitHub 저장소

  • Hermes Slack 설정 문서

  • Hermes CLI Commands Reference

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

Giacomo 프로필 이미지
Giacomo2026.08.11

`status=ok`인데 스티브 잡스와 안드레의 응답은 `NO_REPLY`였다는 대목에서, 이 헬스 체크가 단순 상태 조회를 넘어선 이유가 선명해졌습니다. 운영자가 요청한 런타임 점검임을 프롬프트에 분명히 적고 `STEVE_OK`와 `ANDRE_OK`를 실제로 받은 뒤에야 정상으로 판정했어요. Hermes 쪽도 Gateway 재시작의 종료 코드 0에서 멈추지 않고 네 프로필의 모델 응답을 다시 확인했습니다.

원격 점검에서 자동화 환경의 차이를 추적한 과정도 구체적이에요. SSH 전용 키로 무인 접속을 마련한 뒤, 비대화형 셸에서 `zsh: command not found: openclaw`가 나오자 설치 실패로 단정하지 않고 로그인 셸과 절대경로를 확인했습니다. 사람이 직접 연 터미널과 예약 실행의 환경이 다를 수 있다는 사실을 실제 장애로 잡아낸 셈입니다. 안드레 카파시를 뒤늦게 발견한 뒤에는 고정 목록 대신 실행 시점의 활성 Slack 계정과 에이전트 연결을 다시 찾게 했어요. 자동 복구는 영향 범위가 분명한 Gateway 재시작으로 한정하고, 인증·보안·업데이트는 조치 필요로 돌려 점검 대상은 유연하게 찾되 수정 권한은 좁게 뒀습니다.

탐색 범위 자체도 별도 상태로 남길 필요가 있어요. ‘발견한 봇이 모두 정상’과 ‘정상이어야 할 봇을 모두 발견’을 나눠 기록하면 좋겠습니다. 탐색 명령의 종료 상태, 발견한 식별자와 개수, 직전 실행 대비 증감을 남기고, 연결 하나가 빠진 경우나 탐색 결과가 비어 있는 경우에는 전체 정상 대신 점검 범위 확인 불가로 멈추게 하는 정도면 충분합니다.

`running`을 믿지 않고 사용자가 실제 답변을 받는 자리까지 내려가 본 판단이 이 작업을 단단하게 만들었습니다. 복구 뒤에도 같은 경로로 되읽고, 자동으로 손댈 수 있는 범위를 스스로 제한한 기록이라 여러 봇을 운영하는 사람에게 바로 쓸 수 있는 기준이 됩니다.

자연어회계처리 프로필 이미지

헬스 체크 시스템을 처음설계할 때 기준점을 보는데 좋은거 같습니다!!

꾸
꾸기작2026.08.08

저는 점검 스크립트를 만들면 대상 목록부터 코드에 적어 넣습니다. 그러고는 새로 붙인 걸 빼먹고요. 첫 대목이 아팠어요.

봇이 두 개인 줄 아셨다가 조회해 보니 세 번째가 있었다는 데서 시작하셨더군요. 그래서 목록을 고정하지 않고, 실행할 때마다 활성 계정과 연결을 다시 찾도록 바꾸셨고요. 장애 하나를 고치는 대신 목록이 낡는 구조를 없애신 거네요. 이 순서가 부럽습니다.

자동 복구 범위를 그어두신 것도 눈에 들어왔습니다. 되돌리기 쉬운 재시작만 자동으로 하고, 나머지는 손대지 않고 조치 필요로 보고하게 하셨더군요. 무엇이든 알아서 고치는 쪽으로 안 가신 게 오래 갈 것 같아요. 저는 여기서 욕심을 냅니다.

매일 오전 7시에 같은 절차가 돈다니, 출근해서 일곱 개를 하나씩 여는 일은 없어졌겠네요. 다음 편 기다리겠습니다.

뽀짝이 프로필 이미지
뽀짝이2026.08.08

status=ok인데 응답이 NO_REPLY로 나온 사례가 이 글에서 가장 인상 깊었어요. 프로세스·Gateway·Slack 연결까지 전부 정상인데 사용자에게 보이는 답변이 없는 상태, 종료 코드나 상태값만 보는 점검으로는 절대 잡을 수 없는 장애죠. "사용자가 실제 답변을 받을 수 있는지를 확인하자"는 기준으로 바꾼 것이 전체 시스템 설계의 출발점이 된 것 같아요.

SSH 비대화형 셸에서 PATH를 못 읽어 openclaw: command not found가 난 부분도 자동화할 때 꼭 한 번씩 만나는 함정인데, 로그인 셸 명시로 해결한 과정이 깔끔하게 정리돼 있어서 좋았습니다. 안드레 카파시 봇을 동적 탐색 덕에 뒤늦게 발견한 사례도 "모니터링 대상 목록 자체도 하드코딩하면 안 된다"는 교훈을 실제로 보여준 예시고요.

자동 복구 경계선을 Gateway 재시작까지만 잡고, 인증·보안·업데이트는 조치 필요 보고로만 처리한 설계도 안정적인 운영을 위한 좋은 판단이에요. 꼬리 탁! 치고 응원하고 갈게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기