본문으로 건너뛰기

아이디어 5건 중 3건만 통과했습니다 — 만든 손과 채점하는 눈을 가른 기록

엔지니어H

2026.08.11

연구서베이 편 · 에이전트 하네스 시리즈 중 하나입니다.

⚠ 먼저 밝혀둡니다. 이 글은 "AI가 연구 아이디어를 잘 낸다"는 글이 아닙니다. 논문 15편을 읽혀 아이디어 초안 5건을 만들고, 그중 3건만 통과시킨 기록입니다. 통과 못 한 2건이 왜 떨어졌는지가 이 글의 알맹이입니다 — 떨어뜨린 것은 더 똑똑한 모델이 아니라, 만든 쪽이 채점하지 못하게 가른 좌석 배치와 채점 전에 인용을 원문과 대조한 검증표였습니다. 모든 수치는 run 폴더의 실제 파일에서 왔습니다.


1. 시작은 "자기가 쓴 초안에 자기가 후한 점수를 주는" 문제였습니다

논문을 훑어 서베이를 쓰고 연구 아이디어를 뽑는 일을 에이전트에게 맡기면, 마지막에 반드시 이 질문이 남습니다. 그 아이디어가 좋은지 누가 판정하는가. 초안을 쓴 에이전트에게 물으면 답은 정해져 있습니다. 자기가 골라낸 근거, 자기가 세운 논리 위에서 채점하니 후할 수밖에 없습니다. 사람도 자기 기획서를 자기가 채점하면 그렇게 됩니다.

더 위험한 것이 있었습니다. 아이디어의 "새로움" 주장은 대개 "다른 논문은 이것을 안 했다"는 부재 주장에 기댑니다. 부재 주장은 원문을 다시 열기 전까지는 반박이 안 되고, 채점자가 초안의 서술만 읽으면 그대로 믿게 됩니다. 초안이 근거를 실제보다 넓게 써도 점수는 올라갑니다.

2. 그래서 이번에 정한 질문 하나

"채점 프롬프트를 더 정교하게"가 아니었습니다. 질문은 이것이었습니다. 초안을 쓴 손이 점수에 손대지 못하게 하려면, 좌석을 어떻게 배치해야 하는가. 그리고 채점자가 읽는 근거 자체가 과장돼 있으면 좌석을 갈라도 소용없으니, 채점보다 먼저 근거를 원문과 대조하는 단계를 어디에 꽂는가.

3. 사용한 개념과 도구 — 세 좌석과 검증표 하나

밖에서 보면 이 시스템에 들어오는 것은 조사 주제 하나이고, 나가는 것은 채점과 검증을 통과한 아이디어 패킷입니다. 그 사이에 좌석이 갈립니다. 초안을 쓰는 자리, 엄밀성을 채점하는 자리, 논리 누수를 감사하는 자리가 서로 다른 세션입니다. 채점 두 좌석은 초안 작성자의 의도 설명을 받지 않고 산출물만 읽습니다 — 이것을 cold-read라 부릅니다.

수집   조사 주제        → 논문 검색·선별       → 논문 15편 목록    → 주제에 닿는가
집필   논문 목록        → 서베이·아이디어 초안  → 초안 5건         → 근거가 달렸는가
대조   초안의 인용      → 원문 초록·PDF 대조   → 검증표           → 원문에 있는가
채점   초안+검증표      → 두 좌석 독립 채점    → 통과·보류 판정    → 좌석이 일치하는가

4. 실제로 만든 것 — 기능 세 개와, 그 기능이 막는 실패

① 만든 손과 채점하는 눈을 갈랐다 — 자기 채점의 점수 인플레를 막는다

초안을 쓴 세션은 채점에 참여하지 못합니다. 채점은 두 좌석이 따로 합니다. 한 좌석은 엄밀성 렌즈로(정의가 명확한가, 반증 가능한가), 다른 좌석은 누수 감사 렌즈로(평가 기준이 방법 안에 몰래 들어가 있지 않은가) 봅니다. 두 좌석 모두 저자의 의도 설명 없이 산출물만 받습니다. 저자가 "이건 이런 뜻이었다"고 변호할 통로 자체가 없습니다.

② 채점 전에 인용 13건을 원문과 대조했다 — 과장된 근거가 점수로 굳는 것을 막는다

채점자가 읽는 초안의 인용 13건(공개 초록 8건, 심사본 PDF 5건)을 채점 전에 전부 원문과 대조해 검증표로 만들었습니다. 수치는 정확히 일치하는지, "다른 논문은 안 했다"는 부재 주장은 원문이 지지하는지를 항목마다 적었습니다. 이 표가 채점 입력에 함께 들어갑니다. 채점자는 초안의 서술이 아니라 대조 결과 위에서 점수를 매깁니다.

③ 판정 규칙이 충돌하자 기계를 멈추고 사람에게 올렸다 — 임의 해석이 판정을 정하는 것을 막는다

통과 기준이 두 가지로 읽히는 상황이 실제로 나왔습니다. 축별 기준으로 읽으면 3건 통과, 전체 평균 기준으로 엄격하게 읽으면 5건 전부 보류였습니다. 채점 좌석은 어느 해석이 맞는지 스스로 정하지 않고, 두 해석의 결과를 나란히 적어 운영자 확정 대기로 올렸습니다. 기준이 갈리는 순간 기계가 한쪽을 고르면, 그 선택은 기록에 남지 않는 임의 판정이 됩니다.

5. 지금까지 관찰된 결과 (실측 · 명령을 같이 적습니다)

run 폴더의 파일 계수입니다. 논문 목록은 한 줄이 한 편이라 wc -l로 셌습니다.

항목값어떻게 확인했나
읽힌 논문15편논문 목록 파일 wc -l
아이디어 초안5건drafts 폴더 파일 계수
채점 리뷰 파일10건 (5건 × 2좌석)reviews 폴더 파일 계수
원문 대조 인용13건 (초록 8 + PDF 5)검증표 항목 계수
인용 수치 불일치0건검증표 판정란
중대 플래그1건검증표 판정란

채점 결과입니다. 두 좌석의 점수(새로움 n / 실현성 f / 파급 i)와 판정입니다.

초안좌석1 n/f/i좌석2 n/f/i판정
압축 득실 게이트3/4/33/4/3통과
사전확률 폴백 지표3/4/33/4/3통과
증분 압축3/4/33/4/3통과 (경계선)
안전 스케줄러2/4/22/3/2보류
기하 보존 리샘플링3/3/33/2/3보류

가장 중요한 줄은 "안전 스케줄러"의 보류입니다. 초안은 근거 논문 하나를 "관찰만 하고 방법은 제안하지 않았다"고 서술했는데, 원문 대조에서 그 논문이 실제로는 방법까지 제안했다는 것이 드러났습니다. 초안의 새로움 주장이 실제보다 넓게 서술돼 있었던 것입니다. 검증표가 이것을 중대 플래그로 달았고, 두 좌석 모두 새로움 점수를 2로 내렸습니다. 좌석을 갈라도 이 대조가 없었다면 채점자는 초안의 서술을 믿었을 것입니다.

6. 따라 해보고 싶으시면 — 가장 작은 형태부터

에이전트에게 조사와 아이디어 도출을 맡길 때의 최소 형태는 이렇습니다.

  1. 초안을 쓴 세션에게 채점을 시키지 않습니다. 새 세션을 열어 산출물만 주고, 저자의 의도 설명은 주지 않습니다.
  2. 채점 전에 초안의 인용을 원문과 대조하는 단계를 넣습니다. 특히 "다른 연구는 안 했다"는 부재 주장을 골라 원문으로 확인합니다. 새로움 주장의 대부분이 여기에 얹혀 있습니다.
  3. 통과 기준을 숫자로 먼저 적습니다. 기준이 두 가지로 읽히면 기계가 고르지 말고 사람에게 올리게 합니다.

7. 판정은 네 가지로 나누십시오 (두 가지로는 부족합니다)

채점을 "통과/탈락"으로만 끊으면, 근거가 부족한 것과 근거가 틀린 것이 같은 칸에 들어갑니다.

PASS            두 좌석 채점과 원문 대조를 다 통과했다 (3건이 여기)
PASS_WITH_NOTE  통과하되 잔여 단서가 달렸다 (증분 압축 — 정의 미명세 단서)
HOLD            근거 부족으로 보류. 탈락이 아니라 재평가 조건이 달린다 (2건이 여기)
FAIL            인용이 원문과 어긋난다 (이번 run에서 수치 불일치는 0건)

보류 2건에는 재평가 조건이 적혀 있습니다. 무엇이 채워지면 다시 올라올 수 있는지를 남기는 것이 탈락과 보류를 가르는 선입니다.

8. 한계와 대가 (얻은 것 옆에 잃은 것)

좌석을 가른 대신 분명히 잃은 것이 있습니다.

세션이 세 배로 듭니다. 초안 한 벌에 채점 두 좌석이 붙으니, 같은 산출물을 세 번 읽는 비용을 치릅니다. 그리고 원문 대조는 인용 한 건마다 원문을 열어야 해서 이번 run에서 가장 느린 단계였습니다. 빠른 답이 필요한 자리에는 못 씁니다.

이번 run의 채점 좌석은 전부 같은 계열 모델이었습니다. 원래 설계는 다른 회사 모델을 섞는 것인데 그쪽 CLI가 가동되지 않아 폴백했고, 그래서 채점 판정은 잠정 딱지를 달고 기록됐습니다. 원문 대조만은 1차 출처 실측이라 잠정이 아닙니다 — 판정의 등급을 산출물에 정직하게 적는 것으로 벤더 단일화의 위험을 표시만 해뒀습니다.

그리고 초안 작성자에게 채점 결과를 돌려보내 고치게 하는 루프를 이번 run에서는 버렸습니다. 고친 초안을 같은 좌석이 다시 채점하면 첫 채점의 기억이 남아 cold-read가 무너지기 때문입니다. 그 대가로 보류 2건은 이번 run 안에서 구제되지 못하고 재평가 조건만 달고 남았습니다.

사람 채점과의 합치도는 미실행입니다. 두 좌석의 점수가 서로 일치한다는 것까지만 확인했고, 그 점수가 사람 연구자의 판단과 맞는지는 재지 않았습니다. 그러니 "채점이 정확하다"가 아니라 "채점에 저자의 손이 닿지 않았다"까지만 말할 수 있습니다.

9. 결론 — 가져가실 규칙 세 개

첫째, 만든 쪽에게 채점을 맡기지 마십시오. 에이전트도 자기 초안에 후합니다. 좌석을 가르는 것은 프롬프트 한 줄보다 강합니다. 변호할 통로가 없으면 산출물이 스스로 서야 합니다.

둘째, 부재 주장을 채점 전에 원문으로 확인하십시오. "다른 연구는 안 했다"는 문장은 새로움 점수의 토대인데, 원문을 열기 전까지는 반박이 불가능한 형태를 하고 있습니다. 이번 run의 중대 플래그 1건이 정확히 거기서 나왔습니다.

셋째, 기준이 두 가지로 읽히면 기계가 고르게 하지 마십시오. 축별 기준과 평균 기준이 다른 판정을 낼 때, 어느 쪽을 택할지는 기록에 남는 사람의 결정이어야 합니다. 임의 해석이 한 번 지나가면 다음 run부터는 그것이 기준처럼 굳습니다.

10. 참고

초안 작성자와 평가자를 가르는 배치는 심사에서 이해관계를 분리하는 오래된 규율의 작은 형태이고, 평가자에게 저자 의도를 주지 않는 cold-read는 블라인드 리뷰의 축소판입니다. 인용을 채점 전에 1차 출처와 대조하는 것은 사실 검증(fact-checking)을 파이프라인 단계로 옮긴 것입니다. 셋 다 새 발명이 아니라, 사람의 심사 규율을 에이전트 배치로 옮겨 적은 것입니다.

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

Giacomo 프로필 이미지
Giacomo2026.08.16

아이디어 5건을 만든 뒤 초안 작성자를 채점에서 빼고, 엄밀성과 누수 감사를 맡은 두 좌석에 산출물만 준 배치가 핵심으로 읽혔어요. 인용 13건을 먼저 원문과 대조한 덕분에 ‘안전 스케줄러’가 선행 연구의 방법 제안을 빠뜨린 중대 플래그를 발견했고, 두 좌석 모두 새로움 점수를 2로 낮췄죠.

축별 기준으로는 3건 통과, 전체 평균 기준으로는 5건 전부 보류가 되는 충돌에서 기계가 한쪽을 고르지 않고 운영자 확정 대기로 멈춘 것도 중요했습니다. 같은 계열 모델만 쓴 판정과 사람 합치도 미실행을 잠정 범위로 남긴 덕분에, 좌석 간 일치가 곧 정확성이라는 과장도 피했습니다.

열려 있는 축별 기준과 평균 기준 중 하나를 운영자가 선택한 뒤에는 그 문장을 판정 규칙의 버전으로 고정하고, 같은 다섯 초안을 두 해석으로 다시 돌린 비교표를 남기는 장면이 가장 작아 보여요. 어느 후보가 이동했는지와 이동 이유가 규칙 문장 하나에 연결되면, 이번 예외 처리가 다음 run에서 몰래 기본값이 되는 일을 막을 수 있습니다.

만든 손이 자기 결과를 변호할 통로를 끊고, 근거가 흔들리자 점수부터 낮춘 배치가 단단했습니다. 통과한 3건보다 보류된 2건의 이유를 더 또렷하게 남긴 선택이 이 연구 아이디어 평가를 설득력 있게 만들었어요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기