본문으로 건너뛰기

skill이 "감"으로 고치지 않기 위해, autoresearch를 암 분류기에 적용하기

ssuv

2026.06.15

소개

Evaluation skill을 autoresearch 를 적용해서 고정된 기준과 심판을 먼저 세우고 작은 변경 하나씩 실험하는 구조를 disease-reference classifier에 적용하고, oncology-classifier-judge를 구축하고자 함.

진행 방법

활용 툴

  • Hermes: judge skill 재정의 및 실험 실행에 활용함

  • gpt: judge 기준 설계 검토 및 구조화에 활용함

  • Obsidian + wiki: 실험 기록 및 결과 보관에 활용함

1️⃣ Karpathy 구조를 분류기 개선에 번역함

Karpathy-style autoresearch의 핵심은 단순함. 고정된 테스트와 고정된 심판을 두고, 작은 변경을 하나씩 실험한 뒤 좋아진 것만 남기는 구조임. 이걸 그대로 가져와서 아래처럼 번역했음.

Classifier                → 개선 대상 (암 치료 정보 분류기)
Oncology-classifier-judge → 심판 (변경이 좋은지 나쁜지 점수로 판정)
Frozen benchmark pack     → 고정된 테스트 문제지
KEEP / DISCARD / NEEDS HUMAN REVIEW → 변경 채택 여부 결정
Experiment log            → 왜 이 변경이 살아남았는지 기록

핵심은 "더 좋아 보이는" 감을 없애고, 동일한 문제지에 동일한 심판으로 변경 전후를 비교하는 것임.

2️⃣ 심판(judge)의 기준을 다시 세움

기존 평가 방식의 문제는 "읽기 좋은 결과물"을 잘 쓴 것으로 판정했다는 점임. 하지만 분류기에서 진짜 중요한 건 임상 구조가 보존되었는가임. 예를 들어 1차 치료와 2차 치료가 섞이지 않았는지, 근거 없는 표준 치료 주장이 들어오지 않았는지 같은 것들임.

이를 반영해서 심판 기준을 6개 축, 30점 만점으로 재설계했음.

1. Setting separation — 1차/2차/보조 치료가 섞이지 않고 분리되었는가

2. Biomarker logic — 바이오마커 조건이 치료 결정과 논리적으로 연결되었는가

3. Treatment sequence — 치료 순서가 임상 흐름에 맞게 기술되었는가

4. Evidence clarity — 임상시험 근거와 출처가 명확하게 제시되었는가

5. Hallucination control — 출처에 없는 내용을 확정적으로 말하지 않았는가

6. Source grounding — 전체 내용이 제공된 출처에 기반하는가

판정 기준도 정의했음.

  • KEEP: 총점 25/30 이상, hallucination control·source grounding 모두 4/5 이상, 근거 없는 표준 치료 주장 없음

  • DISCARD: 총점 20 미만, 근거 없는 표준 치료 주장 발생, 심각한 치료 순서 오류

  • NEEDS HUMAN REVIEW: 총점 20–23, 출처가 애매하거나 임상적으로 그럴듯하지만 근거가 부족함

한 가지 중요한 규칙도 추가했음. 출처에 정보가 없을 때 provisional(잠정적)이라고 표시하면 벌점을 주지 않는 것임. 침묵을 hallucination으로 과잉처벌하면 오히려 출처에 충실한 표현이 낮은 점수를 받는 역설이 생기기 때문임

3️⃣ 고정된 문제지(benchmark)로 안정성을 확인함

심판 기준을 바꿨으면, 기존에 잘 작동하던 분류기가 갑자기 낮은 점수를 받지 않는지 먼저 확인해야 했음. 이를 위해 세 단계로 테스트를 진행했음.

  • 폐암 baseline: 분류기의 출발점인 폐암에서 심판이 제대로 작동하는지 확인함. 26/30으로 안정적이었음.

  • Cross-cancer baseline: 유방암 / 전립선암 / 신장암 / 흑색종까지 확장해서 폐암 외 암종에서도 구조가 유지되는지 확인함. 전체적으로 25–26/30 수준을 유지했음.

  • Edge-case stress test: 복잡한 치료 분기, 재발 케이스 등 까다로운 상황에서도 분류기가 버티는지 확인함. 전 암종에서 PASS 구간을 유지했음.

4️⃣ 작은 변경 하나를 실험하고 KEEP/DISCARD를 판정함 (E01 mini-cycle)

baseline이 이미 안정적이었기 때문에, 10개 변경을 한꺼번에 돌리기보다 가장 낮은 위험의 변경 하나만 실험하는 방식을 선택했음.

실험한 변경은 branch-level separator labels 추가였음. 복잡한 분기가 있는 출력에서 각 구간을 명시적으로 표시하는 것임.

동일한 문제지로 변경 전후를 비교한 결과, treatment sequence와 evidence clarity가 개선되었고 hallucination control / source grounding은 유지되었음. KEEP으로 판정하고 v0.9.1에 반영했음. 이후 regression check를 거쳐 v1.0 frozen checkpoint를 기록했음.

결과와 배운 점

결과

이번 작업으로 얻은 것은 분류기 하나가 개선된 것보다 더 큰 것이었음. "어떻게 분류기를 개선하는가"에 대한 구조 자체를 정립했음.

  • 감이 아니라 점수로 판정하는 심판을 세웠음

  • 고정된 문제지로 변경 전후를 비교하는 루프를 만들었음

  • 폐암 외 4개 암종에서도 안정적으로 작동함을 확인했음

  • 첫 번째 mini-cycle 실험(E01)을 KEEP으로 판정하고 v1.0 frozen 상태로 기록했음

배운 점

  • AI 결과물을 개선할 때 심판(judge)을 먼저 고정하지 않으면, 변경이 좋아진 건지 나빠진 건지 알 수 없음을 확인함

  • "침묵"과 "hallucination"을 구분하는 규칙이 없으면 오히려 출처에 충실한 표현이 낮은 점수를 받는 역설이 생김을 경험함

  • 점수 축을 쪼개놓으면 "어디서 깨졌는가"를 바로 볼 수 있어 디버깅이 빨라짐을 깨달음

  • baseline이 이미 높을 때는 10개 변경보다 mini-cycle 1–2개가 더 안전함을 경험함

  • Karpathy 구조는 LLM 연구뿐 아니라 도메인 특화 분류기 개선에도 그대로 적용 가능함을 확인함

시행착오

  • 초기에는 출처가 없어서 provisional로 표현한 경우와 근거 없는 주장을 동일하게 벌점 처리했음. 전자는 오히려 출처에 충실한 행동임을 뒤늦게 깨닫고 규칙 수준에서 분리하여 해결함

  • edge-case benchmark가 충분히 어려웠는지는 추후 다시 검토할 필요가 있음. 현재까지는 "실패 발견"보다 "안정성 확인"에 가까웠음

향후 계획

  • 다음 classifier change에서도 동일한 judge rubric으로 KEEP / DISCARD / NEEDS HUMAN REVIEW 판정 루프를 유지할 계획임

  • edge-case에서 확인한 separator 명시성 약점을 추가로 보강할지 검토할 예정임

  • 다음 단계인 SOC-evidence mapper에도 동일한 keep/discard 구조를 적용할 수 있는지 검토할 계획임

도움 받은 글 (옵션)

스터디원분들께서 autoresearch 관련하여 올려주신 다양한 사례글 덕분입니다❤️

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.06.15

"침묵 ≠ hallucination"을 구분하는 규칙 추가가 인상적이었어요. provisional 표시를 벌점 없이 허용하지 않았다면, 오히려 출처에 충실한 분류기가 낮은 점수를 받는 역설이 생겼을 텐데 — 이걸 실제로 경험하고 규칙 수준에서 분리해서 해결하신 과정이 정말 좋았어요.

6개 축 rubric에서 Hallucination control · Source grounding에 4/5 이상을 KEEP 조건으로 명시한 것도 적절한 설계예요. 총점이 높아도 이 두 축이 낮으면 자동 DISCARD라는 구조는 의료 도메인에서 특히 맞는 판단이에요.

baseline이 이미 26/30으로 안정적인 상태에서 mini-cycle 1개씩 실험한 것도 신중한 선택이었어요. 한 번에 10개 변경을 돌려서 뭐가 좋아진 건지 모르게 되는 것보다 훨씬 낫죠. E01 → KEEP → v1.0 frozen 이 흐름이 깔끔하게 정리돼 있어서 다음 단계로 이어가기도 좋겠어요.

고롱고롱… 이런 구조 잡힌 사례글 보면 괜히 기분 좋아져요 🐈‍⬛

Giacomo 프로필 이미지
Giacomo2026.06.15

점수가 0.83~0.84에서 멈췄을 때, 그걸 그냥 “여기까지가 한계인가 보다”로 넘기지 않고 AI에게 이유를 다시 물어본 장면이 저는 제일 좋았습니다. 결과적으로 빈 파일 하나가 전체 점수의 상한을 막고 있었다는 걸 찾아냈는데, 이 대목이 이번 글의 핵심을 잘 보여주는 것 같아요. AI가 반복 실행을 해주는 것도 중요하지만, 사람이 “지금 이 점수가 진짜 품질을 말하는가?”라고 질문해야 실험이 다음 단계로 넘어간다는 점이 잘 드러났습니다.

​

이전 글들에서 Hermes 봇을 어렵게 연결하고, LLM Wiki를 만들고, OpenViking 검색이 실제로 도구를 호출하는지 확인해오셨다면, 이번 글은 그 다음 단계처럼 읽혔습니다. “자료를 정리한다”에서 끝나는 게 아니라, 정리 기준 자체를 실험하고 개선하는 구조로 넘어간 느낌이었어요. 3줄 요약, 관련 문서, 출처, 분류 같은 기준을 A/B로 비교하고, metrics.json에 남기고, 이긴 기준을 승격시키는 흐름이 개인 위키를 감이 아니라 성적표로 관리하려는 시도처럼 보였습니다.

​

특히 holdout을 고정 시험지로 둔 판단이 좋았습니다. 매번 다른 자료로 테스트하면 점수가 오른 건지, 그냥 쉬운 자료를 만난 건지 알기 어려운데, 같은 시험지로 A안과 B안을 비교하니 개선 여부가 훨씬 선명해졌습니다. 그리고 빈 파일처럼 평가 자체를 왜곡하는 데이터를 “ingest 불가 소스”로 분리한 것도 중요해 보여요. 좋은 자동화는 실행을 많이 하는 것보다, 무엇을 평가 대상에 넣고 뺄지 기준을 갖는 데서 시작한다는 생각이 들었습니다.

​

0.77에서 0.99까지 오른 숫자도 물론 좋지만, 더 인상적인 건 “AI에게 반복은 맡기고, 판단은 내가 한다”는 제목이 실제 운영 구조 안에서 구현됐다는 점이었습니다. AI는 후보를 만들고 반복 채점하고 승격을 제안할 수 있지만, 어떤 기준이 필요한지, 어떤 데이터는 제외해야 하는지, 실제 위키에 반영해도 되는지는 여전히 사람이 잡아야 하니까요. 그 경계가 이번 글에서 꽤 건강하게 보였습니다.

​

다음 사이클에서 실제 ingest와 연결하신다면, 점수만 남기기보다 “원본 자료 / 생성되거나 수정된 파일 / 추가된 링크 / 사람이 최종 확인한 이유”를 한 줄씩 같이 남겨보셔도 좋을 것 같습니다. 그러면 이 실험은 개인 지식 위키 자동화를 넘어, AI가 계속 개선하더라도 사람이 품질과 방향을 잃지 않는 운영 방식으로 더 단단해질 것 같아요.

박승현 프로필 이미지
박승현2026.06.17

오 스터디가 끝나도 식지 않는 열정…

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기