소개
저장소의 전체 테스트가 편집할 때마다 돌리기에는 느릴 때, 고친 파일과 이어진 테스트만 골라 돌리는 선택기와 hook 시제품을 만들고 효과를 잰 기록입니다. AI가 코드를 고칠 때마다 검사를 걸고 싶은데 전체 테스트가 오래 걸려 망설이는 분이 읽으면 좋겠습니다.
3주차는 2주차처럼 새 강의 없이 참여자 사례 발표 여덟 편이 중심이었고, 스터디장 개발자F 님이 마지막에 총평을 했습니다. 이 글에 가져온 발표 내용은 네 가지입니다. 물결 님은 훅이 못 막은 것을 커밋 단계에서 한 번 더 막고, 훅 규칙을 바꾸려면 사람의 허락을 받게 했습니다. 상상러 님은 코드를 고치면 바로 시험을 보는 장치를 두고, 안전장치를 일부러 고장 냈을 때 잡아내는지까지 확인했습니다. nini 님은 같은 요구를 하네스를 씌운 것과 씌우지 않은 것으로 두 번 시켜, 작업 시간이 한 시간 조금 넘는 쪽과 30분 정도인 쪽으로 갈렸다고 비교했습니다. 총평에서는 "닭 잡는 데 소 잡는 칼"을 쓰지 않도록 하네스가 필요한지 판단해 보라는 말이 나왔습니다. 3주차 과제는 자막과 채팅에서 따로 확인되지 않았고, 이 스터디는 처음부터 자유 주제입니다.
저는 청강생입니다. 2주차 글에서 VeriVar 저장소의 전체 테스트가 32.6초 걸려 편집할 때마다 돌리기에는 무거우니 수정한 파일과 관련된 테스트만 골라 실행해야 한다고 적었습니다. 이번 주에 그것을 만들었습니다. 측정은 2026-10-15에 했고, 대상 저장소는 읽기와 테스트 실행만 했습니다. 테스트는 저장소를 임시 폴더로 복사해 그 안에서 돌렸고, hook 설치와 커밋은 하지 않았습니다.
결과를 먼저 적으면 다음과 같습니다. 선택기(356줄)와 hook(86줄)을 만들었고, 이를 지키는 검사는 39개입니다. VeriVar의 src와 scripts 파이썬 파일 105개를 하나씩 고쳤다고 가정하면 선택 실행에 드는 CPU 시간은 평균 3.6초로 전체 실행(25.4초)의 14%였고, 테스트가 이어진 62개만 보면 평균 6.1초였습니다. 테스트가 실제로 불러온 파일과 대조한 699쌍에서 놓친 것은 0이었습니다. 다만 처음 만든 판은 이 대조에서 5쌍을 놓쳤고, 그 과정이 이 글의 중심입니다.
진행 방법
사용 도구: Claude Code, Python 3.12, pytest, git, 표준 라이브러리 ast
Step 1. 3주차 기준과 만들 것
발표에서 나온 내용 가운데 직접 만들거나 잴 수 있는 것만 골랐습니다.
기준
발표에서 나온 내용
이번에 만들거나 잴 것
고치면 바로 시험
코드를 고치면 바로 시험을 보는 "확인 선생님"(상상러)
PostToolUse hook 시제품 selector_hook.py
우회를 막는 두 번째 문
훅이 못 막은 것을 커밋 단계에서 다시 막는다(물결)
같은 선택기를 git 커밋 직전에 부르는 --staged 모드
검사도 틀린다
검사 AI가 시간 부족을 불합격으로 처리했고 장치를 일부러 고장 내 보았다(상상러). 불합격 0회, 차단 0회였다(이지영)
심어 둔 결함을 선택 실행도 잡는지
하네스는 비용과 맞바꾼다
씌운 쪽 한 시간 조금 넘음, 안 씌운 쪽 30분(nini). 소 잡는 칼을 쓰지 말 것(스터디장)
파일 하나를 고칠 때 선택 실행에 드는 시간
Step 2. 출발점인 전체 실행의 비용
복사본에서 전체 테스트를 네 번 돌렸습니다. 이 기계에는 다른 작업이 함께 돌고 있어서 벽시계 시간은 35초에서 47초까지 흔들렸고(평균 부하 36~58), 이후로는 프로세스가 쓴 CPU 시간으로 비교했습니다.
python -m pytest tests -q -p no:cacheprovider --junitxml=full.xml
# 392 tests, 7 failed. CPU 24.99~25.81초(중앙값 25.4초), 벽시계 35.2~46.9초
실패 7개는 2주차에 확인한 것과 같습니다. 6개는 이 환경에 rank_bm25가 없어서이고, 1개는 원고의 폐기 수치 검사 입니다. 테스트 파일은 37개입니다.
Step 3. 선택 규칙 정하기
고친 파일에서 테스트까지 이어지는 길을 세 가지로 나누었습니다(그림 1).
고친 파일 src/classify/verify.py에서 세 갈래로 테스트에 이어지는 규칙 도식. 직접 또는 간접으로 가져오는 테스트, 실행 호출 안에 이름이 있는 스크립트와 모듈, 데이터 파일 이름이나 조각난 폴더 경로를 담은 소스. 결과는 테스트 파일 37개 중 5개 선택
고친 파일을 직접 또는 간접으로 가져오는(import) 테스트를 고릅니다. 함수 안에서 늦게 가져오는 경우, 상대 import, 패키지
__init__도 셉니다.subprocess.run,runpy,importlib.import_module같은 실행 호출 안에 이름이 들어 있는 스크립트와 모듈은 이어진 것으로 봅니다. 문서와 데이터 파일은 소스 안의 문자열(ROOT / "data" / "cohorts"처럼 조각난 경로 포함)이 가리키면 이어진 것으로 봅니다.모를 때는 더 고릅니다.
conftest.py나requirements.txt를 고치면 전부 실행하고, 어떤 테스트와도 이어지지 않은 파일은 조용히 넘기지 않고 알립니다.
Step 4. 검사를 먼저 쓰고 실패를 확인
참값을 아는 작은 저장소를 임시 폴더에 만들어 기대 결과를 먼저 적었습니다. 예를 들어 src/a.py를 b.py가 가져오고 b.py를 test_b.py가 가져오면, a.py를 고쳤을 때 test_a.py와 test_b.py가 골라져야 하고 test_c.py는 빠져야 합니다.
python3 -I -m pytest -q test_selector.py # 구현 전(빈 파일)
# 25 failed, 5 passed in 2.52s
python3 -I -m pytest -q test_selector.py # 구현 뒤
# 30 passed
구현 전에도 통과한 5개는 빈 hook이 아무 일도 안 하고 종료 코드 0으로 끝나서 우연히 통과한 것입니다. 2주차에 확인한 것처럼 종료 코드 2는 스크립트가 죽어도 나오므로, 막는 쪽 검사는 종료 코드만 보지 않고 [selector]로 시작하는 메시지가 있는지도 확인합니다. 이후 6단계에서 검사를 더 걸었고 마지막 상태는 39개 통과입니다(그림 2). 두 번째 단계는 구현 뒤에 건 경계 검사라 실패를 보지 못했습니다.