본문으로 건너뛰기

경고 알림 시제품에 정답 표시를 달아 정밀도 재기

Fri-mer

2026.10.26

경고 알림 시제품에 정답 표시를 달아 정밀도 재기 본문 이미지

소개

3주차에 만든, macOS 작업 스케줄러(launchd)로 돌아가는 작업을 위한 경고 알림 시제품이 과거 로그에서 알림 163건과 36건 사이를 오갈 뿐 어느 쪽이 맞는지는 정하지 못했습니다. 이 글에서는 로그에 나온 문제 20건에 정답 표시를 달고, 알림 정책 세 가지의 정밀도를 사전에 정한 기준과 견줘 연결 여부를 판정했습니다. 혼자 운영하는 자동화에 경고 알림을 붙이려는데 알림이 너무 많이 올까 걱정하는 분, 알림 규칙을 정할 때 무엇을 정답으로 삼을지 막막한 분이 읽으면 도움이 될 것 같습니다.

저는 바이오, 제약 데이터 분석을 20년 넘게 해 왔고, 본업 밖에서는 경제 뉴스를 매일 저녁 정리해 보내는 econ-radar 등을 혼자 운영합니다. 사업장자동화 스터디는 청강생으로 듣고 있습니다.

4주차 강의는 24기의 마지막 주차였고, 스터디장의 파티룸 자동화 4주 전과 지금 비교, 수강생 네 분의 발표, n8n 시연으로 진행됐습니다. 채팅과 자막 어디에도 새 과제 문구는 없었습니다. 그래서 강의에서 나온 말 가운데 제 작업에 바로 대 볼 수 있는 둘을 기준으로 골랐습니다. 띤띤띤 님이 발표에서 "한 주에 한 시간 걸리는 일에 몇 주를 쓰지 말고 프로젝트의 끝과 시간의 끝을 정해야 한다"고 한 말과, 스터디장이 "네 개를 할 수 있어도 하나를 테스트까지 끝내고 익숙해지면 늘리라"고 한 말입니다. 측정은 2026-10-24에 했습니다.

이번에는 launchd 설정과 대상 스크립트를 고치지 않았고, 3주차에 만든 시제품은 읽기 전용으로 가져다 썼습니다.


진행 방법

사용 도구: Claude Code, Python 3.12, pytest, git(읽기 명령만), macOS launchd

Step 1. 강의 기준의 측정 항목화

강의에서 나온 말

잴 것

끝을 미리 정한다(띤띤띤)

결과를 보기 전에 "이 기준을 넘으면 연결하고 못 넘으면 멈춘다"를 적었는가

하나만 테스트까지 끝낸다(스터디장)

3주차 계획 후보 다섯 가지 중 몇 개를 실행했는가

예상 못 한 규칙은 시험에서 드러난다(스터디장)

시험에서 알림이 헛울리는 경우를 찾았는가

같은 4주를 같은 정의로 다시 본다(마지막 주차)

1주차부터 쓴 수치를 같은 명령으로 다시 재면 어떻게 달라졌는가

Step 2. 3주차 계획 다섯 가지의 실행 여부

3주차 참고_다음주계획에 적은 후보 다섯 가지를 파일 수정 시각, 로그, git으로 판정했습니다.

ls -lT ~/.local/bin/{repos-pull,autobiox-fetch,skills-guard}.sh
grep -cE "osascript|terminal-notifier|telegram|curl|mail" ~/.local/bin/{repos-pull,autobiox-fetch,skills-guard}.sh
ls ~/.claude/skills-archive/*/MANIFEST.txt
git -C ~/projects/paper-radar status -sb | head -1

순위

3주차 후보

실행 여부

근거

1

알림 36건에 정답 표시

이번에 실행

아래 Step 3부터. 알림은 그새 40건이 됐습니다

2

실제 발송 시험

미실행

상태 파일이 없고 --send macos를 부른 기록이 없음

3

launchd 작업에 알림 호출 연결

미실행

알림 코드 일치가 세 스크립트 모두 0

4

사라진 스킬 52개의 원인 읽기

이번에 실행(읽기 전용)

52개가 모두 보관 폴더에 있음

5

paper-radar 건너뜀 해소

미실행

로컬 변경이 남아 있고 원격이 19커밋 앞섬

4번은 1번의 정답 표시에 필요해서 함께 읽었습니다. 2, 3, 5번은 이번에 손대지 않았고 스터디가 끝난 뒤 이어 갈 일로 남겨 두었습니다.

Step 3. 중단 기준을 결과 앞에 적기

정답 표시를 달기 전에, 코드 맨 위에 기준을 상수로 적었습니다. 제가 이 기준을 적을 때 알던 것은 3주차의 건수(163, 36, 24)뿐이었고 정밀도는 아직 재지 않은 상태였습니다.

PRECISION_BAR = 0.5   # 같은 날 실패를 묶은 정밀도가 이 값 이상이고
RECALL_BAR = 1.0      # 조치가 필요했던 문제를 하나도 놓치지 않아야 launchd 연결 계획을 세운다

정답 표시는 세 가지로 나눴습니다.

표시

정의

증거

조치가 필요했던 문제(ACTION)

계속되고 있는 문제이거나, 문제가 풀린 시점에 사람이 바꾼 흔적이 있음

오늘도 조건이 남아 있음, 해소 구간의 내 커밋

의도한 변화(INTENDED)

사람이 일부러 바꿔서 생긴 경고

변경 기록의 날짜가 시작일에서 하루 안

스스로 풀린 문제(TRANSIENT)

다음 실행에서 사라졌고 그 사이 스크립트, launchd 설정, 저장소에 바꾼 흔적이 없음

파일 수정 시각, 커밋 시각

"사람이 바꾼 흔적"을 보는 구간은 마지막으로 문제가 관측된 실행부터 다음 실행까지로 한정했습니다. 같은 날 새벽에 스크립트를 고쳤어도 그날 밤 실행의 오류는 고친 뒤에 난 것이기 때문입니다.

Step 4. 검사 작성과 실패 확인

정답을 정하는 규칙이라 구현보다 검사를 먼저 썼습니다. 참값을 아는 합성 에피소드를 만들어 경계(구간의 시작은 제외, 끝은 포함), 묶기, 정밀도 계산, 기준 판정을 적었습니다. 예를 들어 같은 날 새벽에 스크립트를 고친 경우입니다.

def test_change_before_the_last_run_does_not_count():
    e = ep("autobiox-fetch/A/fetch-error", 16, 16)
    assert la.label_episode(e, "autobiox-fetch", [T(16, 1, 57)], [], False) == la.TRANSIENT

구현 파일이 없는 상태에서 처음 돌렸더니 ModuleNotFoundError로 수집 오류가 나고 검사 14개가 하나도 실행되지 않았습니다. 구현 뒤에는 14개가 모두 통과했습니다. 통과만 보면 검사가 제 구실을 하는지 알 수 없어서 구현 사본에 결함을 일부러 넣어 보았습니다.

python3 -m pytest -q test_label_alerts.py
python3 mutation_check.py

그림 오른쪽처럼 결함 6개가 모두 검사에 걸렸습니다. 이 검사는 규칙이 의도대로 짜였는지를 보며, 정답 표시의 기준 자체가 알맞은지는 다른 문제입니다.

Step 5. 에피소드 20건에 증거 붙이기

3주차 시제품이 같은 문제가 이어진 구간을 에피소드로 묶습니다. 이번 로그(08-05~10-24)에서 20개가 나왔습니다. 증거는 모두 읽기 전용 명령으로 모았습니다.

python3 label_alerts.py --out ../assets/정답표시.json
  • 사라진 스킬 52개: 점검 기준 목록 53개 가운데 지금 ~/.claude/skills에 남은 것은 1개이고, 나머지 52개가 보관 폴더(skills-archive)에 모두 있었습니다. 보관 폴더의 설명 파일에는 10-08에 6주간 호출이 없던 스킬을 옮겼다고 적혀 있고, 점검 로그가 처음 "사라짐 52"를 적은 날도 10-08입니다. 제가 직접 정리한 것이어서 의도한 변화로 표시했습니다.

  • econ-radar pull 건너뜀(08-08~10-04): 해소 구간(10-04 21시~10-05 21시)에 CI가 아닌 제 로컬 커밋 3건이 있었습니다. 건너뜀이 끝난 날과 맞아서 조치가 필요했던 문제로 표시했습니다.

  • paper-radar pull 건너뜀(08-08~): 오늘 git status -sb에서 로컬 변경이 있고 원격이 19커밋 앞서 있어 조건이 그대로입니다. 조치가 필요했던 문제입니다.

  • 가져오기 실패 13건과 실행 기록 없음 4건: 해소 구간에 스크립트, 설정, 저장소의 바뀐 흔적이 없어 스스로 풀린 문제로 표시했습니다

로그에서 뽑은 에피소드 20건과 정답 표시. 빨간 막대 2건은 조치가 필요했던 pull 건너뜀, 주황 1건은 의도한 스킬 정리, 회색 17건은 하루에서 사흘 안에 스스로 풀린 문제

autobiox-fetch 스크립트는 10-16 01시 57분에 수정됐습니다. 그날 22시 실행의 오류는 수정 뒤에 났고 다음 날 사라졌으므로 수정 시각이 해소 구간 밖이어서 스스로 풀린 문제로 표시됐습니다. 구간을 날짜 단위로 잡았다면 이 한 건이 조치가 필요했던 문제로 잘못 분류됩니다. 그래서 검사에 이 경우를 따로 적었습니다.

Step 6. 정책별 정밀도와 판정

같은 에피소드에 알림 정책 세 가지를 적용하고, 알린 에피소드 중 유용한(조치가 필요했거나 의도한) 비율을 구했습니다. 같은 날 같은 호스트(github.com)로 난 가져오기 실패는 두 저장소에서 함께 나므로 사건 하나로 묶은 값도 냈습니다.

정책

알림

알린 에피소드

에피소드 기준 정밀도

사건으로 묶은 정밀도

놓친 조치 필요 문제

판정

매번 알림

186건

20개

15%

20%

0개(2개 중)

연결하지 않음

새 문제와 재알림

40건

20개

15%

20%

0개(2개 중)

연결하지 않음

연속 2일 이상만

27건

7개

43%

60%

0개(2개 중)

연결 계획 가능

알림 정책별로 알린 것 중 유용한 비율. 매번 알림과 새 문제와 재알림은 15~20%이고 연속 2일 이상만 알리면 43%, 사건으로 묶으면 60%로 사전 기준 50%를 넘는다

연속 2일 이상만 알리는 정책만 사전 기준 50%를 넘었습니다. 다만 이 판정에는 단서가 셋 붙습니다. 첫째, 조치가 필요했던 문제가 2개뿐이고 둘 다 두 달 가까이 계속된 것이라 "하나도 놓치지 않았다"는 근거가 약합니다. 둘째, 3주차에 로그 사본에 하루짜리 오류를 주입했을 때 이 정책은 그날 알림을 내지 않았고 이번에 다시 돌려도 같았습니다. 셋째, 스스로 풀린 문제 17건은 "다음 실행이 정상이었다"만 확인했을 뿐 그 사이 데이터가 밀리지 않았는지는 확인하지 않았습니다.

Step 7. 3주차와 같은 명령으로 다시 재기와 4주 변화

cd 3주차/실습
python3 -m pytest -q test_launchd_warn.py
python3 launchd_warn.py replay --out ../../4주차/assets/재생결과_4주차.json

항목

3주차(10-15 기록)

4주차(10-24)

달라진 이유

시제품 검사

14개 통과

14개 통과

코드를 고치지 않음

경고와 오류 사건

163건

186건

새 로그 10일치. paper-radar 12(실행 블록 기준, 날짜로는 9일), 사라진 스킬 10, 가져오기 실패 2

새 문제와 재알림

36건

40건

새 문제 2(10-16 가져오기 실패, 저장소 둘), 재알림 2(paper-radar와 사라진 스킬의 7일 재알림)

연속 2일 이상

24건

27건

새 문제는 그대로이고 오래 계속된 두 문제의 재알림이 늘었음

에피소드

18개

20개

10-16 가져오기 실패 2개

지금의 경고 알림

0건

0건

알림 코드가 세 스크립트 모두 0

1~3주차 글의 수치 가운데 로그만으로 다시 잴 수 있는 것을 같은 정의로 구간만 바꿔 다시 쟀습니다.

python3 weeks.py --out ../assets/주차비교.json

구간(실행 기록이 있는 날 기준)

paper-radar 건너뜀

econ-radar 건너뜀

BioProject01 가져오기 실패

사라진 스킬 점검

econ-radar 데일리 생성일

1주차 09-05~10-04

29/29

29/29

2/29

0/29

29일

2주차 10-05~10-12

8/8

0/8

3/8

5/8

8일

3주차 10-13~10-14

2/2

0/2

0/2

2/2

2일

4주차 10-15~10-23

9/9

0/9

1/9

9/9

9일

같은 정의로 다시 잰 4주간의 경고 일수. paper-radar 건너뜀은 네 구간 모두 실행한 날 전부이고 가져오기 실패는 1주차 2일에서 4주차 1일로 오르내리며 사라진 스킬 점검은 10-08부터 계속된다

1주차 글에서 쓴 "33회 중 33회"는 실행 블록 수였고, 하루에 두 번 돌린 날 때문에 날짜로는 29일입니다. 이번 표는 날짜 단위로 통일했고 블록 단위로 세면 같은 구간에서 33으로 맞습니다.


결과와 배운 점

측정 결과 (2026-08-05~10-24 로그 3개와 launchd 스크립트 3개, 해소 증거는 파일 수정 시각, 읽기 전용 git, 보관 폴더 대조. 실제 알림 수신은 제외)

확인한 것

결과

3주차 계획 다섯 가지

실행 2개(4번은 읽기 전용), 미실행 3개

로그에서 나온 에피소드

20개 중 조치 필요 2, 의도한 변화 1, 스스로 풀림 17

알림 정책별 정밀도(사건으로 묶은 값)

매번 20%, 새 문제와 재알림 20%, 연속 2일 이상 60%

사전 기준(50%, 놓친 조치 필요 문제 0)

연속 2일 이상만 충족. 조치 필요 문제는 2개뿐

알림 코드가 있는 스크립트

4주 내내 3개 중 0개

검사

14개 통과, 일부러 넣은 결함 6개 모두 포착

배운 점

  1. 기준을 먼저 적으니 "연결할까" 대신 "넘었는가"를 묻게 됐습니다. 기준을 결과 앞에 적었으므로, 정책 둘이 못 미치고 하나가 넘은 결과를 보고 기준을 고르는 일이 없었습니다. 띤띤띤 님이 말한 "끝을 정한다"가 일을 줄이는 방법이라는 점을 이번에 처음 제 작업에서 확인했습니다. 다만 50%라는 값이 적절한지는 근거가 없어서 제 판단으로 정한 값이라고 적어 둡니다.

  2. 스스로 풀린 문제와 오래 계속된 문제는 알리는 방식이 서로 달라야 했습니다. 20개 중 17개가 하루에서 사흘 안에 사라졌고, 계속된 2개는 두 달 넘게 알림 없이 남아 있습니다. 모든 경고를 같은 무게로 알리면 알림 수가 늘기만 합니다. 스터디장이 말한 "예상하지 못한 상황은 시험에서 드러난다"를 로그 20건이 대신 보여 주었습니다.

  3. 하나만 하고 나머지는 남겨 두는 것이 이번에는 맞았습니다. 정답 표시와 읽기 전용 확인만 하고 설정 연결과 발송 시험은 건드리지 않았기 때문에, 연결을 하지 않은 상태에서 기준을 먼저 판정할 수 있었습니다. 연결까지 했다면 하루짜리 장애를 놓치는 정책을 먼저 붙여 놓고 판정해야 했습니다.

시행착오

  • 처음 정의는 해소 구간을 날짜 단위로 잡아, 10-16 새벽에 고친 스크립트가 그날 밤 오류의 해소 증거로 잡혔습니다. 검사에 시각 경계 경우를 적고 실행 시각 기준으로 바꿨습니다.

  • 1주차 글의 "33회 중 33회"를 다시 세었더니 날짜 기준 29일이 나와 당황했는데, 블록 단위와 날짜 단위의 차이였습니다. 두 단위를 모두 적었습니다.

  • 사라진 스킬 52개를 "알림이 반복해서 나오는 문제"로만 보다가 보관 폴더를 열어 보고 제가 정리한 것임을 알았습니다. 알림을 받는 쪽이 "이건 의도한 변화"라고 표시할 방법이 없으면 이 경고는 계속 옵니다.

  • 연속 2일 이상 정책은 하루짜리 장애를 놓치는 단점이 그대로입니다. 이번 정답 표시로는 이 단점을 키우거나 줄일 근거를 얻지 못했습니다.


도움 받은 글

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.10.26

안녕하세요, 뽀짝이예요. 163건이냐 36건이냐 결론을 못 낸 알림을 '정답 표시'로 풀어 보겠다는 문제 설정이 좋았어요.

결과를 보기 전에 PRECISION_BAR 0.5, RECALL_BAR 1.0을 코드 맨 위에 상수로 먼저 적고, 그때 알던 것이 건수뿐이었다고 밝힌 부분이 특히 설득력 있었어요. 정답 표시를 ACTION·INTENDED·TRANSIENT로 나누고, '사람이 바꾼 흔적'을 마지막 관측 실행부터 다음 실행까지로 한정한 이유(같은 날 새벽에 고친 스크립트가 그날 밤 오류와 무관하다)도 납득이 갔어요. 3주차 후보 다섯 가지 중 손댄 것과 남긴 것을 표로 나눠 둔 점도 읽기 편했어요.

꼬리 한 번 살랑, 다음 편도 기다릴게요 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기