고친 파일과 관련된 테스트만 고르는 hook 만들기

소개

저장소의 전체 테스트가 편집할 때마다 돌리기에는 느릴 때, 고친 파일과 이어진 테스트만 골라 돌리는 선택기와 hook 시제품을 만들고 효과를 잰 기록입니다. AI가 코드를 고칠 때마다 검사를 걸고 싶은데 전체 테스트가 오래 걸려 망설이는 분이 읽으면 좋겠습니다.

3주차는 2주차처럼 새 강의 없이 참여자 사례 발표 여덟 편이 중심이었고, 스터디장 개발자F 님이 마지막에 총평을 했습니다. 이 글에 가져온 발표 내용은 네 가지입니다. 물결 님은 훅이 못 막은 것을 커밋 단계에서 한 번 더 막고, 훅 규칙을 바꾸려면 사람의 허락을 받게 했습니다. 상상러 님은 코드를 고치면 바로 시험을 보는 장치를 두고, 안전장치를 일부러 고장 냈을 때 잡아내는지까지 확인했습니다. nini 님은 같은 요구를 하네스를 씌운 것과 씌우지 않은 것으로 두 번 시켜, 작업 시간이 한 시간 조금 넘는 쪽과 30분 정도인 쪽으로 갈렸다고 비교했습니다. 총평에서는 "닭 잡는 데 소 잡는 칼"을 쓰지 않도록 하네스가 필요한지 판단해 보라는 말이 나왔습니다. 3주차 과제는 자막과 채팅에서 따로 확인되지 않았고, 이 스터디는 처음부터 자유 주제입니다.

저는 청강생입니다. 2주차 글에서 VeriVar 저장소의 전체 테스트가 32.6초 걸려 편집할 때마다 돌리기에는 무거우니 수정한 파일과 관련된 테스트만 골라 실행해야 한다고 적었습니다. 이번 주에 그것을 만들었습니다. 측정은 2026-10-15에 했고, 대상 저장소는 읽기와 테스트 실행만 했습니다. 테스트는 저장소를 임시 폴더로 복사해 그 안에서 돌렸고, hook 설치와 커밋은 하지 않았습니다.

결과를 먼저 적으면 다음과 같습니다. 선택기(356줄)와 hook(86줄)을 만들었고, 이를 지키는 검사는 39개입니다. VeriVar의 src와 scripts 파이썬 파일 105개를 하나씩 고쳤다고 가정하면 선택 실행에 드는 CPU 시간은 평균 3.6초로 전체 실행(25.4초)의 14%였고, 테스트가 이어진 62개만 보면 평균 6.1초였습니다. 테스트가 실제로 불러온 파일과 대조한 699쌍에서 놓친 것은 0이었습니다. 다만 처음 만든 판은 이 대조에서 5쌍을 놓쳤고, 그 과정이 이 글의 중심입니다.


진행 방법

사용 도구: Claude Code, Python 3.12, pytest, git, 표준 라이브러리 ast

Step 1. 3주차 기준과 만들 것

발표에서 나온 내용 가운데 직접 만들거나 잴 수 있는 것만 골랐습니다.

기준

발표에서 나온 내용

이번에 만들거나 잴 것

고치면 바로 시험

코드를 고치면 바로 시험을 보는 "확인 선생님"(상상러)

PostToolUse hook 시제품 selector_hook.py

우회를 막는 두 번째 문

훅이 못 막은 것을 커밋 단계에서 다시 막는다(물결)

같은 선택기를 git 커밋 직전에 부르는 --staged 모드

검사도 틀린다

검사 AI가 시간 부족을 불합격으로 처리했고 장치를 일부러 고장 내 보았다(상상러). 불합격 0회, 차단 0회였다(이지영)

심어 둔 결함을 선택 실행도 잡는지

하네스는 비용과 맞바꾼다

씌운 쪽 한 시간 조금 넘음, 안 씌운 쪽 30분(nini). 소 잡는 칼을 쓰지 말 것(스터디장)

파일 하나를 고칠 때 선택 실행에 드는 시간

Step 2. 출발점인 전체 실행의 비용

복사본에서 전체 테스트를 네 번 돌렸습니다. 이 기계에는 다른 작업이 함께 돌고 있어서 벽시계 시간은 35초에서 47초까지 흔들렸고(평균 부하 36~58), 이후로는 프로세스가 쓴 CPU 시간으로 비교했습니다.

python -m pytest tests -q -p no:cacheprovider --junitxml=full.xml
# 392 tests, 7 failed. CPU 24.99~25.81초(중앙값 25.4초), 벽시계 35.2~46.9초

실패 7개는 2주차에 확인한 것과 같습니다. 6개는 이 환경에 rank_bm25가 없어서이고, 1개는 원고의 폐기 수치 검사입니다. 테스트 파일은 37개입니다.

Step 3. 선택 규칙 정하기

고친 파일에서 테스트까지 이어지는 길을 세 가지로 나누었습니다(그림 1).

  • 고친 파일을 직접 또는 간접으로 가져오는(import) 테스트를 고릅니다. 함수 안에서 늦게 가져오는 경우, 상대 import, 패키지 __init__도 셉니다.

  • subprocess.run, runpy, importlib.import_module 같은 실행 호출 안에 이름이 들어 있는 스크립트와 모듈은 이어진 것으로 봅니다. 문서와 데이터 파일은 소스 안의 문자열(ROOT / "data" / "cohorts"처럼 조각난 경로 포함)이 가리키면 이어진 것으로 봅니다.

  • 모를 때는 더 고릅니다. conftest.py나 requirements.txt를 고치면 전부 실행하고, 어떤 테스트와도 이어지지 않은 파일은 조용히 넘기지 않고 알립니다.

Step 4. 검사를 먼저 쓰고 실패를 확인

참값을 아는 작은 저장소를 임시 폴더에 만들어 기대 결과를 먼저 적었습니다. 예를 들어 src/a.py를 b.py가 가져오고 b.py를 test_b.py가 가져오면, a.py를 고쳤을 때 test_a.py와 test_b.py가 골라져야 하고 test_c.py는 빠져야 합니다.

python3 -I -m pytest -q test_selector.py     # 구현 전(빈 파일)
# 25 failed, 5 passed in 2.52s
python3 -I -m pytest -q test_selector.py     # 구현 뒤
# 30 passed

구현 전에도 통과한 5개는 빈 hook이 아무 일도 안 하고 종료 코드 0으로 끝나서 우연히 통과한 것입니다. 2주차에 확인한 것처럼 종료 코드 2는 스크립트가 죽어도 나오므로, 막는 쪽 검사는 종료 코드만 보지 않고 [selector]로 시작하는 메시지가 있는지도 확인합니다. 이후 6단계에서 검사를 더 걸었고 마지막 상태는 39개 통과입니다(그림 2). 두 번째 단계는 구현 뒤에 건 경계 검사라 실패를 보지 못했습니다.

Step 5. 실제 저장소에 걸어 보기

복사본에서 src/classify/verify.py의 판정 조건 한 줄을 뒤집고, PostToolUse가 주는 입력을 흉내 내어 hook을 실행했습니다. 이 환경에서 원래 실패하는 7개는 --known-failures로 넘겨 새 실패만 보게 했습니다.

echo '{"tool_input":{"file_path":".../src/classify/verify.py"}}' | \
  python selector_hook.py --repo <복사본> --known-failures known_failures.txt
# exit=2, 테스트 5개를 골라 3개 실패 (벽시계 9.6초)

선택은 테스트 파일 37개 중 5개였고, 뒤집은 조건 때문에 실패한 3개 이름이 메시지로 돌아왔습니다(그림 3). 조건을 되돌린 상태에서는 종료 코드 0이었습니다.

Step 6. 테스트가 실제로 불러온 파일과 대조

정적 분석이 맞는지는 실행해서 확인했습니다. 테스트 파일을 하나씩 따로 돌리면서 실제로 불러온 저장소 안 파이썬 파일과 열어 읽은 파일을 기록하는 pytest 플러그인을 만들었습니다.

SEL_ROOT=$PWD SEL_OUT=trace.json python -m pytest tests/test_verify.py -p trace_plugin

고칠 후보는 src, scripts의 파이썬 파일 105개와 테스트가 열어 읽은 데이터와 문서 246개입니다. 각 후보와 테스트의 쌍 가운데 테스트가 실제로 그 파일을 쓴 것이 699쌍이었습니다.

첫 판은 이 대조에서 5쌍을 놓쳤습니다. 코호트 데이터 파일 5개가 모두 src/dashboard/vicc_arm.py에서 _ROOT / "data" / "cohorts"로 폴더가 조각난 채 glob으로 읽히고 있었고, 문자열 상수만 찾던 첫 판은 그 폴더 경로를 조립하지 못했습니다. 조각난 경로를 합쳐 읽게 고치자 놓친 쌍은 0이 되었습니다. 그런데 고른 쌍이 1,654개에서 1,695개로 늘었습니다. 원인은 저장소 정리 스크립트 scripts/reorganize_repo.py였습니다. 이 파일이 다른 스크립트 62개의 이름을 문자열로 들고 있어서, 그 스크립트 중 어느 것을 고쳐도 reorganize_repo.py가 영향을 받는 것으로 계산되었고, 이 파일을 가져오는 test_reorganize_repo.py가 함께 골라졌습니다. 이 테스트 하나가 CPU 8.5초로 전체 실행의 3분의 1입니다. 스크립트 이름은 실행 호출(subprocess, runpy, import_module) 안에 있을 때만 이어진 것으로 보게 좁혔고, 고른 쌍이 1,301개로 줄었습니다(놓친 쌍은 0 유지). 파이썬 파일만 보면 실제 410쌍 가운데 놓친 것은 0, 더 고른 것은 59쌍입니다.

Step 7. 파일 하나를 고쳤을 때의 시간

파이썬 파일 105개를 하나씩 고쳤다고 보고, 선택된 테스트를 실제로 돌려 CPU 시간을 쟀습니다. 후보 351개(파이썬 105개, 데이터와 문서 246개)에서 서로 다른 선택 집합은 72개였습니다.

python selector_hook.py --repo <복사본> --dry-run    # 선택 목록만 출력
python -m pytest <선택된 테스트들> -q -p no:cacheprovider

43개는 이어진 테스트가 없었고, 42개가 scripts/ 아래 파일이었습니다. 이 파일을 고칠 때 hook은 조용히 끝납니다. 이어진 62개는 중앙값 4.5초, 평균 6.1초, 최대 12.4초였습니다. 가장 오래 걸린 곳은 src/eval(테스트 11개, 12.4초)이고, 가장 많은 테스트가 걸린 곳은 많은 모듈이 가져오는 src/models(25개, 10.9초)였습니다. 둘 다 전체 실행의 절반 아래입니다.

Step 8. 심어 둔 결함을 잡는가

상상러 님이 안전장치를 일부러 고장 내 보았다는 것에서 가져왔습니다. 테스트가 불러오는 소스 파일 61개 가운데 결함을 심을 자리가 있는 53개에, 함수의 반환값을 None으로 바꾼 결함을 하나나 둘씩 넣어 101곳을 만들고 각각 전체 테스트를 돌렸습니다.

전체 실행이 잡은 결함은 63곳이었고, 선택 실행도 63곳을 모두 잡았습니다. 나머지 38곳(scripts 19곳, src 19곳)은 전체 테스트도 못 잡았고, 이 비교에서는 제외했습니다. 그 반환값을 확인하는 테스트가 없다는 뜻입니다.

Step 9. 과거 커밋에 걸었다면

저장소 커밋 34개 가운데 파이썬 파일을 고친 9개를 재생했습니다. 각 커밋과 그 부모 커밋의 파일을 풀어, 전체 테스트와 선택된 테스트를 같은 조건에서 돌렸습니다.

git archive <커밋> | tar -x -C <임시 폴더>
python -m pytest tests -q --continue-on-collection-errors      # 전체
python -m pytest <선택된 테스트> -q --continue-on-collection-errors

새 실패가 있었던 커밋 3개(2, 5, 1개)를 선택 실행도 모두 잡았습니다. 다만 8건 가운데 6건은 이 환경에 없는 rank_bm25 때문이라 실제 회귀로 부르기는 어렵습니다. 나머지 2건은 5월 30일 커밋에서 이미 실패하던 테스트(수집 오류 1건, 입력 검증 오류 1건)였습니다. 파이썬 파일을 고쳤는데 선택된 테스트가 없는 커밋도 3개 있었습니다. 고친 것이 테스트 없는 스크립트뿐이었기 때문입니다.

Step 10. 이번 주 재측정

2주차와 같은 명령으로 다시 센 값입니다.

wc -l ~/.claude/CLAUDE.md ~/.claude/rules/*.md | tail -1      # 755 total
grep -l '^paths:' ~/.claude/rules/*.md | wc -l                  # 0

항목

2주차(10-13)

3주차(10-15)

상시 로딩 전역 지침

720줄

755줄

paths가 달린 rules

0개

0개

전역 hook 가운데 테스트, 린트, 줄 수를 검사하는 것

0개

0개(전역 hook 18개는 그대로)


결과와 배운 점

측정 결과 (2026-10-15, VeriVar 복사본의 테스트 37개 파일과 파이썬 파일 105개)

항목

값

전체 테스트 실행

392개, CPU 25.4초(4회 중앙값), 실패 7개는 환경 때문

선택기 검사

39개 통과, 구현 전 25개 실패에서 시작

파일 하나를 고칠 때 선택 실행

테스트 이어진 62개 평균 6.1초, 전체 105개 평균 3.6초(전체 실행의 14%)

테스트가 이어지지 않은 파일

43개(42개가 scripts/), hook은 조용히 끝남

실제로 불러온 파일과의 대조

699쌍 중 놓친 쌍 0(첫 판은 5), 더 고른 쌍 602

결함 주입

101곳 중 전체가 잡은 63곳을 선택도 모두 잡음, 전체도 못 잡은 38곳

과거 커밋 재생

파이썬 파일을 고친 9개 커밋, 새 실패 8건을 선택이 모두 잡음

배운 점

  1. 실행해서 대조하니 설계의 틈이 보였습니다. 소스를 읽는 분석은 맞다고 믿었는데, 폴더가 ROOT / "data" / "cohorts"처럼 조각난 경우를 놓쳤고 반대로 임시 저장소를 만드는 테스트 하나를 매번 고르고 있었습니다. 두 문제 모두 실제 실행 기록과 쌍으로 대조하기 전에는 보이지 않았습니다.

  2. 이득은 어느 파일을 고치느냐에 따라 갈립니다. 테스트가 한두 개만 닿는 파일은 1~2초에 끝나지만 핵심 모델 파일은 10.9초가 듭니다. 이 저장소에서는 105개 가운데 43개가 아예 검사 대상이 아니고, 이는 그 스크립트들을 테스트가 덮지 않는다는 뜻입니다.

  3. 심어 둔 결함 101곳 가운데 38곳을 전체 테스트도 못 잡았습니다. 선택 실행이 잃은 것은 없었지만, hook이 빨라진다고 검사의 힘이 생기지는 않습니다. 반환값을 확인하는 테스트가 없는 곳에는 hook을 걸어도 막을 것이 없습니다.

  4. hook이 있다고 우회를 막는 것은 아닙니다. 물결 님이 훅이 못 막은 것을 커밋 단계에서 다시 막는 것을 보고 같은 선택기를 --staged 모드로 부를 수 있게 했고, 검사 1개로 확인했습니다. 설치는 하지 않았습니다. 설치하면 편집마다 평균 몇 초가 들어가는지 위 측정으로 미리 알 수 있게 되었습니다.

  5. 문서와 데이터를 고칠 때의 선택은 정밀하지 않습니다. 문서와 데이터 후보 246개 가운데 실제로 테스트가 쓴 쌍은 289쌍인데 선택은 832쌍이었습니다(더 고른 543쌍). 파이썬 파일은 410쌍 중 59쌍을 더 골라 훨씬 정밀합니다. 문서와 데이터 편집에는 지금 hook을 걸어도 낭비가 클 수 있어, 파이썬 파일에만 거는 편이 낫겠습니다.

시행착오

  • 처음 재생에서는 부모 커밋의 테스트 수집 오류로 전체 실행이 도중에 멈춰, 부모의 실패가 1개로 나왔고 "새 실패 5개"가 거짓으로 보였습니다. --continue-on-collection-errors를 붙여 다시 재생했습니다.

  • 첫 재생에서 선택 20개 가운데 이미 지워진 테스트 파일이 있어 pytest가 파일을 못 찾고 끝났는데도 새 실패 0으로 읽을 뻔했습니다. 지워진 테스트는 고르지 않는 검사를 추가했습니다.

  • 벽시계 시간이 기계 부하로 흔들려 처음 잰 시간은 쓸 수 없었고 CPU 시간으로 다시 쟀습니다. 선택 실행 시간은 파일마다 한 번만 쟀습니다.

  • 과거 커밋 재생에는 git이 추적하지 않는 로컬 데이터가 빠져 전체 실행이 현재(25.4초)보다 짧고, 이 시간은 효과 비교에 쓰지 않았습니다.

이 측정은 2026-10-15에 ~/projects/VeriVar의 복사본에서 테스트 파일 37개와 src, scripts의 파이썬 파일 105개, 테스트가 열어 읽은 데이터와 문서 246개, 커밋 34개를 대상으로 했습니다. 실측 대조는 import와 파일 열기만 기록하므로 subprocess로 스크립트를 부르는 테스트와 환경 변수로 정해지는 경로는 보지 못했고, 이 저장소의 테스트에는 그런 호출이 없었습니다. 결함 주입은 반환값을 None으로 바꾸는 한 가지 방식이고, hook은 설치하지 않았습니다.


도움 받은 글

  • 24기 CTO 3주차 사례 발표 (물결): 훅이 못 막은 것을 커밋 단계에서 다시 막고 우회를 차단하는 구조

  • 24기 CTO 3주차 사례 발표 (상상러): 코드를 고치면 바로 시험을 보는 장치, 안전장치를 일부러 고장 내 잡는지 확인한 방법, 검사가 시간 부족을 불합격으로 처리한 일

  • 24기 CTO 3주차 사례 발표 (nini): 같은 요구를 하네스를 씌운 것과 씌우지 않은 것으로 두 번 시켜 시간과 구성을 비교한 방법

  • 24기 CTO 3주차 사례 발표 (이지영): 플랜 크리틱과 Stop 훅으로 검증을 세 겹 둔 구조와 불합격 0회, 차단 0회라는 실행 결과

  • 24기 CTO 3주차 스터디장 총평 (개발자F): 하네스가 필요한지 판단해 보라는 말

  • 24기 CTO 1주차 사례글 댓글 (댕댕이멍멍): hook까지는 잘 설정하지 않게 된다는 말에서 hook을 이번 주제로 잡았습니다

  • 24기 CTO 2주차 사례글 (본인): 전체 테스트 32.6초와 선택 실행 계획

2
지피터스 뉴스레터

이번 주 AI, 딱 쓸 것만

매주 월요일 오후,
읽고 바로 써먹을 AI 소식만