본문으로 건너뛰기

내 프로그램에 장애가 나면 AI가 고칠 수 있을까? — Kuma와 Paseo로 만들어 본 운영 자동화

멍멍_

2026.10.15

내 프로그램에 장애가 나면 AI가 고칠 수 있을까? — Kuma와 Paseo로 만들어 본 운영 자동화 본문 이미지

개인적으로 Mac 한 대에서 여러 프로그램을 돌리고 있습니다.

주식 관련 데이터를 수집하는 Stocklab, 웹 자료를 NotebookLM에 넣는 확장 프로그램과 Telegram 서버, 게임 커뮤니티 크롤러 등입니다.

만들어 놓고 보니 개발만큼 귀찮은 일이 생겼습니다.

“지금도 제대로 돌아가고 있나?”

매번 들어가서 로그를 확인하기는 번거롭고, 프로그램이 켜져 있어도 실제 기능은 실패할 수 있습니다. 그래서 이번 스터디에서는 모니터링부터 시작해, 장애가 발생하면 멀티에이전트가 조사하고 수정안을 만드는 구조를 실험해 봤습니다.

1. 우선 프로그램들의 상태를 한곳에서 보기

처음에는 AI로 전체 관제 시스템을 새로 만들까 생각했습니다. 그런데 기본 모니터링 도구는 이미 잘 만들어진 것이 많더라고요.

그래서 상태를 모아 보는 화면은 Uptime Kuma를 사용하기로 했습니다.

제가 필요한 점검은 두 가지였습니다.

  • Docker 컨테이너가 실행 중이고 서비스가 응답하는가?

  • 프로그램의 핵심 기능이 실제로 작동하는가?

개인용 서비스라 촘촘한 감시는 필요하지 않았습니다. Docker·서비스 응답은 4시간마다, Stocklab과 NotebookLM의 기능 점검은 하루 한 번으로 정했습니다.

2. Stocklab과 NotebookLM은 무엇을 확인해야 할까?

Stocklab: 켜져 있는 것보다 데이터가 들어오는지가 중요하다

Stocklab은 주식·ETF 관련 데이터를 수집하는 개인 서비스입니다.

서버가 정상 응답해도 크롤링은 실패할 수 있습니다. 사이트 주소나 페이지 구조가 바뀌거나, 수집 결과가 비어 있어도 프로그램 자체는 실행될 수 있기 때문입니다.

그래서 기존 코드와 실행 기록을 조사해 다음과 같은 정보를 점검에 활용했습니다.

  • 수집 작업의 성공·부분 실패·오류 기록

  • 마지막 정상 수집 시점

  • 저장 데이터의 최신성

  • 실패한 작업과 오류 메시지

실제로 ETF 분배금 수집에서 RISE 관련 오류를 발견했습니다. 이런 문제는 컨테이너가 살아 있는지만 확인해서는 알기 어렵습니다.

NotebookLM: 이미 있는 기능을 재사용하기

NotebookLM 쪽에는 Chrome 확장 프로그램과 별도 Telegram 서버가 있습니다. 두 경로에서 공통 인젝션 함수를 사용하고 있어서, 검증 기능을 새로 만드는 대신 이 함수를 활용하는 방향으로 잡았습니다.

확인하려는 것은 테스트용 노트북에 짧은 소스를 넣고, 들어갔는지 확인한 다음, 테스트 소스만 삭제하는 흐름입니다.

여기서 구분할 점도 있었습니다.

공통 함수가 작동한다고 해서 확장 프로그램의 버튼·권한·화면까지 모두 정상이라는 뜻은 아닙니다.

핵심 기능 검증과 확장 UI 전체 검증은 별도로 봐야 합니다.

점검 결과는 Kuma에 전달하기

Kuma 안에 각 서비스의 복잡한 점검 로직을 넣지는 않았습니다.

별도 점검 프로그램이 기존 코드·로그·데이터를 확인하고, 요약 상태를 Kuma에 전달하도록 구성했습니다. 상세한 장애 근거는 따로 보관합니다.

기존 서비스의 코드·로그·데이터
            ↓
      별도 점검 프로그램
            ├─ 정상·오류 상태 → Kuma
            └─ 상세 장애 근거 → 장애 처리에 활용

3. 오류가 나면 멀티에이전트에게 어떻게 넘길까?

이번 스터디에서 해보고 싶었던 핵심입니다.

처음에는 “오류 내용을 AI에게 보내서 고치라고 하면 되지 않을까?”라고 생각했습니다. 그런데 오류 한 줄만 전달해서는 제대로 조사하기 어렵더라고요.

그래서 AI를 호출하기 전에 코드로 확보할 수 있는 근거부터 수집하는 것을 중요하게 봤습니다.

어떤 작업이 언제 실패했는지, 마지막 성공은 언제였는지, 관련 소스는 무엇인지, 실제 응답은 어땠는지 등을 묶어 전달하는 방식입니다.

그다음 Paseo를 통해 담당자를 나눴습니다.

역할

하는 일

이번 실험 설정

총괄 계획

조사 순서와 성공 기준 제시

Astra / medium

조사·수정

실제 페이지 조사, 격리된 소스 수정

Sol / high

독립 검증

수정 결과를 별도로 실행하고 반려 여부 판단

Sol / medium

최종 총괄

근거를 종합해 승인 가능 여부 보고

Astra / medium

이번 구성은 여러 에이전트가 동시에 코드를 고치는 방식이 아니라, 서로 다른 세션이 결과를 넘겨받는 순차 분업입니다.

수정 담당자와 검증 담당자를 분리하고, 검증에 실패하면 수정으로 돌려보냅니다. 무한 반복하지 않도록 수정 시도는 최대 3회로 제한했습니다.

운영 코드에 바로 반영하지 않고 별도 작업 공간에서 수정·검증하며, 운영 배포는 제 승인을 거치도록 범위를 잡았습니다.

실제로 돌려보니: 연결은 됐지만 복구는 끝나지 않았다

StockLAB의 RISE ETF 배당 수집 오류 한 건으로 실제 흐름을 실행했습니다.

계획 1회, 수정 3회, 독립 검증 3회, 최종 검토 1회로 총 8개 세션이 이어졌습니다.

독립 검증의 효과는 있었습니다. 처음 수정안이 일부 오류 HTML만 걸러내자, 검증 담당자가 다른 오류 페이지를 넣어 **“오류를 정상 수집 0건으로 처리하는 문제”**를 다시 발견하고 반려했습니다.

다만 최종 결과는 복구 성공이 아닌 **진행 불가(blocked)**였습니다.

기존 수집 주소가 다른 사이트로 이동했고, 집 네트워크에서는 이동한 사이트에 접속되지 않았습니다. 이후 휴대폰에서도 셀룰러로는 접속되지만 집 Wi-Fi로는 접속되지 않는 것을 확인했습니다.

IP 차단인지 네트워크 경로 문제인지는 아직 확정하지 못했습니다.

공식 페이지 원문을 받지 못했으니 실제 종목·분배금·날짜와 수집값을 대조할 수도 없었습니다. 합성 테스트가 통과했다고 복구 성공으로 처리하지 않았고, 운영 반영도 하지 않았습니다.

이번에 배운 점과 다음 단계

멀티에이전트를 붙여보니 모델 선택보다 먼저 정해야 할 것들이 있었습니다.

  • 각 담당자에게 어떤 근거를 넘길 것인가?

  • 무엇을 확인해야 성공이라고 할 것인가?

  • 실패했을 때 몇 번까지 다시 시도할 것인가?

  • 어디서 멈추고 사람에게 알려야 할 것인가?

아쉬운 점도 있었습니다. 같은 사이트의 연결 실패를 담당자마다 반복 확인했습니다. 단계별 재시도 제한뿐 아니라, 같은 사이트에 대한 요청을 전체 작업에서 함께 제한하는 장치가 필요하다는 걸 알게 됐습니다. 이번 요청이 접속 장애를 유발했는지는 확인되지 않았지만, 불필요한 반복은 줄여야 합니다.

다음에는 사이트 접근 문제를 확인하고 실제 페이지 기준으로 수집을 검증한 뒤, 검증된 장애 유형부터 자동 전달을 켜볼 예정입니다.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.10.16

멍멍_님, 안녕하세요! 결과가 "복구 성공"이 아니라 진행 불가(blocked)였다는 점까지 솔직하게 적어 주셔서 오히려 믿음이 가는 글이었어요.

특히 첫 수정안이 일부 오류 HTML만 걸러내자 검증 담당이 다른 오류 페이지를 넣어 "오류를 정상 수집 0건으로 처리하는 문제"를 찾아내 반려한 장면이, 수정과 검증을 분리한 효과를 잘 보여 줘요. 합성 테스트가 통과했다고 복구로 처리하지 않은 판단도 인상적이었습니다.

같은 사이트에 대한 요청을 전체 작업 단위로 제한해야 한다는 배움도 다음 단계에서 꼭 반영되길 바랄게요. 접속 문제가 풀리면 후속 결과도 궁금해요. 꼬리 탁! 치고 응원하고 갑니다 🐈‍⬛

어른아이J 프로필 이미지
어른아이J2026.10.19

어디까지 자동화를 하실 생각이신지~ㅎㅎ 멍멍님은 언젠가 또 완벽하게 성공하실거 같아요~^^

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기