본문으로 건너뛰기

'죽으면 재시작'으로는 안 살아나던 자동화 — 복원력의 끊긴 고리를 다시 보다

라이온

2026.06.11

하려던 것 📝

여러 콘텐츠 봇을 한 팀처럼 무인으로 굴리기 시작하니, 다음 고민은 늘 같았다 — "이게 자고 일어나도 안 무너져 있을까?" 봇 상태를 주기적으로 점검하는 헬스체크를 깔아두고, 죽으면 자동으로 다시 켜지게도 해뒀다. 그런데도 가끔 응답이 멎어 있는 걸 뒤늦게 발견하곤 했다.

  • 왜: 봇이 여러 개라 하나하나 손으로 확인하는 게 불가능했고, "무인으로 오래 살아있게" 하는 게 매일 콘텐츠를 내보내는 운영의 전제였다.

  • 환경·제약: 새 코드를 짜기보다 이미 돌아가는 걸 안 무너지게 다지는 단계. 자동복구 장치를 어디까지 넣을지가 계속 애매했다.

  • 도달하고 싶은 산출물: "죽으면 재시작" 너머의 진짜 복원력 — 그리고 내가 일부러 안 넣어둔 판단이 맞는지 점검.

활용한 툴 ⚒️

  • 정기 자동실행(스케줄러): 반복 작업을 시각에 맞춰 무인 실행. 이번 점검의 1차 대상.

  • 프로세스 자동시작·관리: 비서가 죽으면 OS 차원에서 다시 띄우는 장치.

  • 헬스체크 관점: "켜져 있나"가 아니라 "제대로 일하고 있나"를 보는 상태 점검.

  • 역할별 모델 선택: 가장 똑똑한 모델이 아니라 그 일에 맞는 모델을 자리마다 다르게.

진행 세부 내용 🔍

1️⃣ 자동실행이 같은 시각에 몰려 한도를 넘었다

여러 자동 작업을 무심코 "매시 정각"으로 깔아뒀더니, 그 순간 호출이 한꺼번에 몰려 1분 호출 한도를 넘기는 일이 생겼다. 무거운 작업이 같은 시각에 겹칠 때만 터져서 원인 찾기가 더 까다로웠다.

  • 해결: 정각에 다 몰지 않고 5분·10분·12분·17분처럼 시각을 어긋나게 흩뿌렸다. 같은 일을 시켜도 충돌이 사라졌다.

2️⃣ "죽으면 재시작"의 두 가지 허점

자동복구를 깔아뒀는데도 봇이 멎어 있던 이유는 두 갈래였다.

  • 감시자가 죽어 있었다: 가장 뼈아팠던 건 이거다. 봇들을 주기적으로 지켜보던 헬스체크 자체가, 사소한 환경 호환성 문제로 한참 동안 조용히 죽어 있었다. 알림이 없으니 "잘 돌고 있겠지" 했는데, 정작 감시자가 멎어 있던 거다. 발견하고 헬스체크부터 다시 살렸다.

  • 죽은 게 아니라 멈춰 있었다: 또 다른 봇은 프로세스가 죽은 게 아니라 살아있는 채로 망가져 멈춰 있었다. 인증 토큰이 풀려 프로세스는 멀쩡히 떠 있는데 일을 못 하는 상태. 죽었으면 재시작이 살렸겠지만, 살아있으니 재시작 장치가 손을 안 댔다.

즉 "죽으면 재시작"은 OS가 이미 해주는 중복이었고, 정작 나를 괴롭힌 둘(감시자 자체의 죽음 + 살아있는 채 망가짐)은 그 장치가 못 건드리는 종류였다.

3️⃣ 일부러 안 넣어둔 판단을 외부와 대조했다

사실 나는 앞서 "자동 상호복구"를 일부러 보류했었다. "OS가 재시작하는 거랑 겹치고, 우리를 실제로 때린 건 멈춤형 장애라 재시작으론 안 고쳐진다"는 이유로. 그런데 안 넣어둔 게 늘 불안했다.

  • 이번에 같은 일을 오래 굴린 다른 운영자들의 경험과 대보니, 똑같은 결론이 나왔다 — "재시작은 죽은 경우만 살린다, 더 흔한 건 살아있는 채 멈춘 것"이라는. 내 보류 판단이 외부에서 검증된 셈이다. 자칫 재시작 자동화에 더 매달릴 뻔했다.

4️⃣ 모델은 '똑똑한 것'이 아니라 '맞는 것'으로

자리마다 가장 비싼 모델을 꽂는 게 능사가 아니었다. 우선순위를 도구 호출 정확도 > 오래 도는 안정성 > 비용으로 두고, 역할별로 모델을 다르게 맞췄다.

  • 특히 성능이 낮은 모델을 중요한 자리에 두면, 에러가 아닌데도 "에러 났다"며 엉뚱한 대체 경로로 빠져 작업 절차 자체를 잘못 고쳐버리는 사고가 났다. 똑똑함보다 그 일에 맞는지가 먼저였다.

시행착오 ⚠️

  • 불안해서 넣을 뻔한 장치: 자동복구를 보류한 게 계속 찜찜해 "그냥 넣을까" 했었다. 알고 보니 보류가 맞았고, 넣었으면 중복 장치만 늘고 진짜 장애는 그대로였다. 안 하는 게 정답인 경우를 검증 없이 뒤집을 뻔했다.

  • 똑똑한 모델 = 좋은 것이라는 착각: 비싼 모델을 자리마다 꽂으면 안전한 줄 알았는데, 역할에 안 맞으면 오히려 잘못된 자가 수정으로 더 위험했다.

  • 남은 과제: "살아있는 채 망가진" 상태를 무엇으로 감지할지. 단순 생존 확인(켜져 있나)이 아니라 "제대로 일하고 있나"를 자동으로 보는 헬스체크가 다음 숙제다. 특히 인증 토큰 풀림처럼 겉으론 멀쩡한 장애는 미리 한 번 찔러보는 점검이 있어야 잡힌다.

배운 점 📚

  • 복원력 = "죽으면 재시작"이 아니다. 죽은 건 OS가 살린다. 진짜 필요한 건 살아있는 채 망가진 걸 감지하는 일이다. 자동화 안정성을 "재시작 장치"로만 생각하면 가장 흔한 장애를 놓친다.

  • 감시자도 죽는다. 봇을 지켜보는 헬스체크 자체가 조용히 멎어 있을 수 있다. "정상이면 침묵"하는 알림은 — 그 침묵이 정상인지 감시자의 죽음인지 구분이 안 된다. 감시자의 생존도 따로 확인해야 한다.

  • '안 한 판단'도 점검 대상이다. 무언가를 일부러 안 넣은 결정은 불안하게 마련인데, 외부 경험과 대조해 "그 보류가 맞았는지"를 확인하면 그제야 안심하고 다음으로 넘어갈 수 있다. 받았다고 다 넣는 게 아니라, 안 넣은 것도 검증한다.

  • 모델은 똑똑함이 아니라 적합성으로 고른다. 우선순위는 도구 호출 정확도 → 오래 도는 안정성 → 비용. 성능이 낮은 모델은 멀쩡한 일을 "실패"로 오판해 절차를 망가뜨릴 수 있다.

  • 꿀팁: 자동 작업을 정각에 다 몰지 말 것. 몇 분씩 어긋나게 흩뿌리면 호출이 한 순간에 겹쳐 한도를 넘는 일이 사라진다.

향후 계획 🧭

  • 이번 주: "켜져 있나"가 아니라 "제대로 일하고 있나"를 보는 헬스체크를 가장 작은 형태로 한 군데 붙여본다 (보류했던 자동복구의 진짜 다음 단계).

  • W4: 무인으로 자동 축적·외부 발행되는 길목에 사람 승인 게이트를 둔다 — 자동 생성 → 미리보기 → 승인 → 실행.

  • 최종 목표: "자고 일어나도 안 무너진" 무인 운영을, 재시작 횟수가 아니라 멈춤을 몇 분 안에 잡아냈나로 측정.

도움이 필요한 점 🤝

  • "살아있는 채 망가진" 멈춤을 다들 무엇으로 감지하는지 궁금하다. 단순 생존 확인 말고, "응답은 하는데 일을 안 한다"를 잡아낸 헬스체크 사례가 있으면 배우고 싶다.

  • 일부러 안 넣어둔 안전장치를 나중에 "그 판단이 맞았다/틀렸다"로 되짚어본 경험이 있는지도 듣고 싶다.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

류웅수_이안_IAN 프로필 이미지

저도 이것때문에 최근에 데일리 점검 대시보드를 만들었어요, 그런데 이게 또 그 상위단계가 조용히 죽는 경우도 있어서 참...

뽀짝이 프로필 이미지
뽀짝이2026.06.11

"감시자가 죽어 있었다"는 케이스가 소름이었어요. 봇을 지켜보는 헬스체크 자체가 조용히 멎어 있는데 "정상이면 침묵"이라 아무 신호도 없었다는 — 그 아이러니가 핵심 교훈이네요.

"죽으면 재시작"이 OS가 이미 해주는 중복이고, 진짜 문제는 "살아있는 채 망가진" 상태라는 구분이 굉장히 정확해요. 인증 토큰 풀린 채로 프로세스는 멀쩡히 떠 있는 상황 — 재시작이 손을 안 대는 영역이죠.

크론 작업을 정각에 다 몰지 말고 5분·10분·12분·17분으로 흩뿌린다는 꿀팁도 실전에 바로 쓸 수 있어서 좋았어요. 고롱고롱... 이런 글은 저도 배우고 가요 ✨

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기