본문으로 건너뛰기

[2편] 검수가 실제로 잡아낸 것들 — 5/5 FAIL과 뒤집힌 결론 3건

로미오

2026.07.24

TL;DR

  • 충격의 5/5 FAIL: 직접 읽고 작성한 요약이 전량 FAIL 판정을 받음. 원인은 pdftotext 줄바꿈, 유니코드 인코딩 차이, 그리고 과도한 Verbatim 인용 규칙 때문.

  • 가장 무서운 오류 (표 행 밀림): 숫자는 원문에 존재하지만 '누구의 수치인가'가 틀린 오출처(Misattribution) 발생. 결정론 검수기조차 pass한 이 오류 때문에 확정된 결론이 3건 뒤집힘.

  • 2분류(PASS/FAIL)의 한계: "틀렸다(Contradicted)"와 "근거가 부족하다(Insufficient)"는 대응 방식이 완전히 다름. 3분류 체계 전환의 필요성 체감.

1. 소개 — 검수를 향한 과도한 자신감과 충격

1편에서는 논문 997편을 요약↔원문 전문 쌍으로 Ingest하고 검수 파이프라인을 구축한 과정을 다뤘습니다. 이번 글은 그 검수 시스템이 실제로 무엇을 잡아냈고, 제 착각을 어떻게 깨부쉈는지에 대한 기록입니다.

솔직히 검수 스크립트를 돌리기 전에는 반신반의했습니다. "내가 논문 원문을 직접 꼼꼼히 읽고 정리한 요약인데 설마 틀린 게 있겠어?"라는 자만심이 있었기 때문입니다.

그러나 새로 정리한 5편을 검수에 넣자마자 5편 전부 FAIL이 떴습니다. 심지어 파이프라인을 통과해 이미 완료된 산출물로 반영했던 결론 중 3건이 나중에 완전히 뒤집히는 사건까지 발생했습니다.

2. 사건 1 — 요약 5편이 전량 FAIL 난 이유

quality-validation 축을 보강하기 위해 논문 5편을 읽고 요약을 작성했습니다. 원문 PDF에서 텍스트를 추출한 뒤, 각 주장에 영어 원문 문장을 직접 인용해 근거를 달았습니다. 그 어느 때보다 철저하게 작업했다고 자신했습니다.

그리고 검수 스크립트를 실행했습니다.

Bash

python3 verify_summaries.py --dir 40-drafts/quality-validation \
  --corpus 60-data/corpus.json --source-dir 60-data/processed/fulltext

Plaintext

[FAIL] 2312.00326.md: Evidence 수치 원문 부재: '200';
       Evidence 인용 문구 원문 부재: 'a survey in [89] implies that 1000 is a reasonable...';
       Evidence 인용 문구 원문 부재: 'the inequality (k+1)(Ns+Nt) < Ns×Nt always holds...'
[FAIL] 2503.21813.md: Evidence 인용 문구 원문 부재: 'for some (e1,e2)∈Roaei there is...'
[FAIL] 2507.14032.md: Evidence 인용 문구 원문 부재: 'integrating knowledge retrieval with...'
[FAIL] 2507.14552.md: Evidence 인용 문구 원문 부재: 'there was a total improvement of +0.04%...'
[FAIL] 2511.07991.md: Evidence 인용 문구 원문 부재: 'we fine-tune LLaMA-3.1-8B-Instruct'

검수 결과: 파일 7 · PASS 2 · FAIL 5 · WARN 7

5/5 FAIL.

처음엔 검수 스크립트에 버그가 있는 줄 알았습니다. 원문에서 그대로 복사해 붙여넣은 문장을 기계가 "원문에 없다"고 판단했기 때문입니다.

원인 분석: 사람이 보는 문장 vs 기계가 읽는 문자열

직접 CLI에서 grep을 돌려보며 원인을 추적했습니다.

Bash

$ grep -c "1000 is a reasonable number of training samples" 2312.00326.txt
0

원인은 크게 세 가지였고, 전부 시스템이 아닌 제 작성 방식의 문제였습니다.

  1. pdftotext 추출 과정의 줄바꿈 (Line Break)

    PDF를 텍스트로 추출하면 원문의 한 문장이 여러 줄로 분절됩니다. 제가 인용한 문장이 추출 텍스트 상에서 줄바꿈 경계를 넘어가면서 단순 문자열 매칭에 실패했습니다. 사람 눈에는 같은 문장이지만 검수 스크립트에게는 다른 문자열이었던 것입니다.

  2. 유니코드 특수문자 인코딩 차이

    수식 기호(∈, ′, × 등)가 PDF 추출 시 유니코드 변환 과정에서 오차가 생겼습니다. 예컨대 (e1,e2)∈Roaei 같은 인용은 문자열 대조 방식으로는 매칭될 수 없었습니다.

  3. source_grade 메타데이터 불일치

    Frontmatter에는 full_text라고 적었으나, 코퍼스 시스템 기록은 api_summary였습니다. 검수기는 직접 인용(Verbatim)이 존재할 경우 원문과 동일한 grade 기준만 허용하도록 설계되어 있었습니다. "전문을 읽고 인용했다"는 제 주장과 실제 시스템 기록의 불일치를 스크립트가 정확히 적발한 것입니다.

해결책: "직접 인용"에서 "서술 + 출처 표기"로 전환

검수를 통과했던 기존 정상 요약문들의 구조를 분석해보니 스타일의 차이가 존재했습니다. 기존 방식은 영어 원문을 큰따옴표("")로 직접 인용하지 않고, 한국어로 요약 서술한 뒤 — §4.3 형태의 출처만 명시하고 있었습니다.

검수 스크립트의 코드 로직을 보니 그 이유가 명확히 드러났습니다.

Python

QUOTE = re.compile(r'"([^"\n]{12,})"|"([^"\n]{12,})"')   # 12자 이상 따옴표 문구 추출
...
for q in extract_claim_quotes(ev):
    if q.casefold() not in src_fold:
        fails.append(f"Evidence 인용 문구 원문 부재: {q[:60]!r}")

따옴표로 감싼 12자 이상의 문자열은 검수 시스템에서 "원문 내에 동일하게 존재해야 하는 완전 일치(Verbatim) 문구"로 인식됩니다. 즉, 따옴표를 사용하는 순간 단순 주장이 아니라 엄격한 원문 대조 선언이 되는 구조였습니다.

따라서 Evidence 절의 큰따옴표를 제거하고 [한국어 요약 서술 + 출처 섹션 표기] 방식으로 전환했습니다. 내용 자체는 유지하되 인용 형식만 수정한 것입니다. 동시에 source_grade를 실제 코퍼스 기록과 일치시켰습니다.

Plaintext

수정 후 검수 결과: 파일 7 · PASS 7 · FAIL 0 · WARN 5

근거를 댈 수 없는 수치는 과감히 제거

2312.00326 논문에서 숫자 200이 지속적으로 FAIL에 걸렸습니다.

Bash

$ python3 -c "print('100-200' in src)"
False
# 원문 PDF 파싱 결과, 텍스트가 '100200'으로 붙어서 추출되어 있었음

원문 PDF의 100-200 entities라는 문구가 파싱 과정에서 하이픈이 소실되며 100200으로 뭉개졌습니다. 도메인 온톨로지가 통상 100~200개 엔티티 규모라는 사실은 맞지만, 현재 코퍼스 데이터 상으로는 숫자 200을 직접 인용할 객관적 근거가 상실된 상태였습니다.

결국 해당 수치를 제거하고 "도메인 온톨로지의 통상 엔티티 규모(수백 개 수준)"로 수치 정밀도를 낮추어 재작성했습니다. 검수 스크립트가 "현재 보유한 텍스트 뭉치로는 해당 수치를 입증할 수 없다"고 경고해 준 셈입니다.

3. 사건 2 — 통과한 검수 뒤에 숨어있던 "뒤집힌 결론 3건"

더 치명적인 문제는 그 다음이었습니다. 검수 파이프라인을 통과하고 최종 실행 플랜 문서에까지 반영했던 결론 중 3건이 나중에 오류로 밝혀졌기 때문입니다.

#

기존 판단 (오류)

원인 및 발견 계기

정정 결과

1

A 논문을 "특정 구조 설계에 대한 반대 증거"로 인용

pdftotext 파싱 시 표(Table)의 행이 3칸 밀려 출력됨. PDF를 이미지로 렌더링하여 육안 재검증

결론 반전: 반대 증거가 아님이 확인됨. 인용 근거 축소

2

"타입 추론 과정은 오프라인 처리가 기본 원칙임"

다른 논문 실측 데이터 확인 결과 지배적 비용 위치가 다름을 발견

부분 인정으로 정정. 감시 지표 자체 수정

3

"해당 데이터 세트는 구조상 역산 불가능함"

Git 변경 이력에 이전 스냅샷이 남아있어 차집합으로 복원 가능했음

전제 오류. 4축 중 2축 복원 성공

가장 아픈 사례: 표(Table) 행 밀림 현상

1번 사례는 오출처(Misattribution)의 전형적인 위험성을 보여줍니다.

PDF 내 표에 일부 빈 셀(Empty Cell)이 존재하는 경우, pdftotext는 텍스트를 추출할 때 행을 위아래로 밀어서 파싱하는 경향이 있습니다. 그 결과 A 행에 있어야 할 수치가 B 행의 수치로 뒤바뀌어 추출되었습니다.

저는 밀려난 텍스트를 바탕으로 요약을 작성했고, 스크립트 검수마저 손쉽게 통과했습니다. 인용된 숫자 자체는 원문 텍스트 파일 어딘가에 "존재"했기 때문입니다.

⚠️ Key Insight: 숫자가 원문 파일 내에 존재하더라도 "그 숫자가 정말 해당 항목의 수치인가?"는 단순 문자열 grep 스크립트가 잡지 못합니다. 이것이 바로 오출처(Misattribution)의 무서움입니다.

이 사건 이후 프로젝트 규약에 다음 항목을 즉시 추가했습니다.

Markdown

★ 표(Table) 데이터 판독 시 반드시 **라벨 수 = 값 행 수** 일치 여부를 검산할 것.
어긋날 경우 `pdftoppm`을 통해 이미지로 렌더링한 후 육안으로 직접 확인할 것.

또한 기존 결론을 몰래 수정하지 않고 교정 이력(Revision Log)을 명확히 남겼습니다. 잘못된 판독이 있었음을 밝히고, 이로 인해 영향을 받는 의사결정 범위와 영향받지 않는 범위를 명시하여 플랜의 혼선을 막았습니다.

4. 스터디 커리큘럼 프레임으로 본 실측 결과

1) 할루시네이션 3종 검증 결과

이번 프로젝트 결과를 스터디 커리큘럼의 프레임워크에 대입해보았습니다.

  • 거짓·오출처 (False / Misattribution)

    👉 부분적 방어 성공 (FAIL): 원문에 없는 수치는 단칼에 잡아내지만, '표 행 밀림'으로 인한 연관성 오출처는 검수기를 통과함 (사건 2-1).

  • 누락 (Omission)

    👉 경고 수준 방어 (WARN): 키포인트 커버율이 0.6 미만일 때 경고를 띄우지만, Exit Code에는 반영되지 않아 자동 파이프라인을 중단시키지는 못함.

  • 부실 (Shallow Summary)

    👉 경고 수준 방어 (WARN): 최소 인용 개수 미달은 FAIL 처리 가능하나, 요약 내용의 논리적 깊이감까지 판단하는 것은 불가.

2) 판정 3분류 체계의 필요성: Insufficient의 부재

현재 제가 구축한 검수 스크립트는 PASS / FAIL의 2분류 체계로 작동합니다. 그러나 실전에서는 3분류 체계의 필요성이 절실했습니다.

  • Supported (근거 있음) ➔ PASS

  • Contradicted (원문과 상충됨) ➔ FAIL

  • Insufficient (근거 부족/확인 불가) ➔ ? (현재는 통째로 FAIL 처리)

현재 구조에서는 "원문 내용과 다르게 틀렸다(Contradicted)"와 "사실일 수 있으나 현재 파일로는 입증이 불가능하다(Insufficient)"가 동일하게 FAIL로 처리됩니다.

하지만 이 둘의 후속 조치는 완전히 다릅니다.

  • Contradicted ➔ 요약 오류이므로 내용을 수정해야 함

  • Insufficient ➔ 내용은 사실일 수 있으므로 원문 PDF 재확인 또는 근거 수치 조율이 필요함

앞서 언급한 100200 뭉침 현상이 전형적인 Insufficient 케이스였습니다. 시스템이 이를 구분하지 못하고 단순 FAIL로만 보고했기 때문에, 사람이 직접 원인을 파악하고 수치의 표현 정밀도를 낮추는 작업을 수동으로 수행해야 했습니다.

5. 결론 및 배운 점

1. 검수는 작성자의 성실함을 평가하지 않는다

원문을 직접 읽고 정성껏 인용을 달았더라도 검수 기준에 미달하면 5/5 FAIL이 납니다. 검수 스크립트는 작성자의 노력이 아니라 "결과물 문자열이 원문에 실제로 존재하는가"라는 건조한 사실만 판정합니다. "내가 성실히 읽었으니 맞을 것"이라는 주관적 가정을 완벽히 배제하는 것이 검수 시스템의 존재 이유입니다.

2. "검수 통과"가 "100% 정답"을 의미하지는 않는다

검수를 통과했다고 해서 안심할 수 없습니다. 문자열 대조 방식의 검수는 오출처(잘못된 행의 숫자 인용)를 간과할 수 있습니다. 따라서 검수 통과는 최소한의 1차 필터로 인식하고, 표 파싱 등 오류 취약 구간에서는 별도의 검산 규약을 적용해야 합니다.

3. 교정 이력을 명확히 남길 때 신뢰도가 올라간다

잘못된 결론이 드러났을 때 이를 은폐하지 않고 ① 무엇이 틀렸는지, ② 왜 발생했는지, ③ 이로 인한 영향 범위가 어디까지인지를 투명하게 기록했습니다. 영향 범위를 명확히 통제함으로써 결론 하나가 수정되더라도 전체 실행 플랜이 흔들리는 상황을 방지할 수 있었습니다.

💡 남은 과제 및 질문

  1. PDF 표(Table) 구조 파싱의 자동화 방안

    현재는 라벨 수와 데이터 행 수를 비교하는 검산 로직을 수동으로 수행하고 있습니다. pdfplumber나 Unstructured 같은 표 구조 인식 라이브러리를 적용해 행 밀림 오류를 자동 감지하는 모듈 도입을 검토 중입니다.

  2. 결정론 기반의 Insufficient 판정 구현 방식

    "원문에 문자열이 없다"는 사실을 넘어, 이것이 단순 파싱 오류(Insufficient)인지 명백한 거짓(Contradicted)인지를 결정론적(Zero-LLM) 코드 수준에서 어떻게 정밀하게 분리할 수 있을지 고민을 이어가고 있습니다.

6

함께 이야기해요 6

로그인하고 댓글을 남겨 주세요

김도경 프로필 이미지
김도경2026.09.27

잘 읽었습니다~

oneshot 프로필 이미지
oneshot2026.08.06

원문에 숫자가 존재해도 누구의 수치인지 잘못 연결되면 결론 전체가 뒤집힐 수 있다는 사례가 인상적이었어요.

검수 결과를 단순 통과와 실패로만 나누지 않고 오류와 근거 부족을 구별해야 고치는 방법도 정확해진다는 점을 배웠어요.

엔지니어H 프로필 이미지
엔지니어H2026.07.29

5편을 정독하고 인용까지 달았는데 검수에서 5/5 FAIL이 떴다는 도입부는 읽고 한참 멈추게 됩니다. 원문에서 그대로 복사한 문장을 기계가 원문에 없다고 판정한 그 순간이요. 진단이 정확했습니다 — 사람 눈에는 같은 문장인데 "검수 스크립트에게는 다른 문자열" 이었다는 것. pdftotext 줄바꿈, 유니코드 수식 기호, 따옴표 12자 규칙까지 원인이 전부 형식 쪽이었고, 작성자의 성실함과는 무관한 층에서 반려가 났습니다.

그런데 이 글의 무게는 사건 2에 있습니다. 표의 빈 셀 때문에 pdftotext가 행을 밀어서 A행에 있어야 할 수치가 B행 것으로 추출됐고, 그 숫자가 원문 어딘가에 존재했기 때문에 검수까지 통과했습니다. 값은 맞는데 누구의 값인가가 틀린 오출처입니다. "숫자가 원문 파일 내에 존재하더라도" 그것이 그 항목의 수치인지는 단순 대조로 판별되지 않는다는 지적이 정곡입니다. 그래서 확정된 결론 3건이 나중에 뒤집혔습니다.

여기서 확인된 것과 남은 것이 깔끔하게 갈립니다. 확인된 것은 존재 검사가 귀속을 증명하지 못한다는 사실이고, 그에 대해 규약에 즉시 넣은 방어가 라벨 수와 값 행 수의 일치 검산입니다. 반면 그 검산은 이번 실패 유형을 겨냥한 것이라, 다른 경로로 생기는 정렬 붕괴까지 같은 한 줄이 덮는지는 이 글의 범위 밖에 남습니다. 실패 하나에 규약 하나를 붙이는 이 속도가 오히려 신뢰를 만듭니다.

옮겨갈 범위는 넓어 보입니다. 표에서 값을 뽑아 문장으로 옮기는 작업이면 재무제표, 실험 결과표, 가격표까지 같은 조건에 걸립니다. 다만 조건이 하나 따라붙습니다 — 라벨과 값이 1:1로 대응하는 표에서 검산이 성립하므로, 병합 셀이나 한 라벨에 여러 값이 붙는 표에서는 무엇을 세어 무엇과 맞출지를 다시 정의해야 합니다. 그 점에서 검산을 상수가 아니라 규약 조항으로 남긴 방식이 이식에 유리합니다.

"검수는 작성자의 성실함을 평가하지 않는다" 는 결론, 그리고 검수 통과를 최소한의 1차 필터로만 두는 태도가 이 글의 심장 같습니다. Contradicted와 Insufficient를 같은 FAIL로 뭉개면 후속 조치가 갈리는데도 한 칸에 밀려 들어간다는 구분도 정확합니다. 무엇보다 뒤집힌 결론을 조용히 고치지 않고 교정 이력과 영향 범위까지 남긴 것이, 이 기록을 실패담이 아니라 사례로 만들었습니다.

유피테르 프로필 이미지
유피테르2026.07.29

표 안의 숫자가 원문에 있다는 사실만으로는 충분하지 않다는 걸 직접 확인하고, 라벨 수와 값 행 수를 대조한 뒤 이미지로 재검증하는 규약까지 바로 추가하신 과정이 인상적이었습니다. 특히 뒤집힌 결론을 숨기지 않고 교정 이력에 오류와 영향 범위를 함께 남겨 전체 실행 플랜의 혼선을 막으신 점에서 기록의 신뢰도가 크게 느껴졌어요. 성실하게 읽었다는 확신보다 실제로 확인 가능한 근거를 우선하는 태도를 이렇게 구체적인 사례로 보여주셔서 많이 배웠습니다.

리히토 프로필 이미지
리히토2026.07.24

1편에 이어 2편 잘 읽었습니다 로미오님! 1주차에 벌써 논문과 인제스트 결과물을 대조하는 기계 스크립트를 심도 있게 테스트하신 부분이 많이 와닿았습니다!

pdf ocr이 참 힘들죠 ㅠㅠㅠ arXiv는 제가 잘 접속하는 사이트는 아니지만, 저도 의료 논문 따올때 너무 고생이 많았던 기억이 납니다.. 그냥 대략적인 내용을 검증하게 쓸거면 잘 알려진 ocr 패키지로도 나쁘지 않을거같은데.. 수치같은 결과물 등과의 정합성을 보려면 최대한 내용 손실, 변질 없이 들여오고 싶은데 쉬운 부분은 아니었습니다. 저는 예전에 html 이나 xml을 딸 수 있다면 그쪽을 최대한 따오는걸 시도했었고, 오픈 access의 경우 아마 쉽게 따질거 같아요.

html/xml 따기가 어려우면, 폴백으로 pdf 변환 오픈소스인 minerU를 쓰도록 해놨어요. 기계적인 추출+LLM의 하이브리드 방식으로 추출할 수 있어요. 대신 컴퓨터 사양이 어느정도 필요할 수 있어서 시도해보시기 전에 사양을 확인해보시면 좋을 것 같습니다.

뽀짝이 프로필 이미지
뽀짝이2026.07.24

로미오님, 2편까지 이어서 읽었어요. 1편에서 시스템을 쌓은 것과 2편에서 그 시스템이 본인의 자만심을 깨부수는 장면이 대조가 선명해서 인상적이었습니다.

"내가 논문 원문을 직접 꼼꼼히 읽고 정리한 요약인데 설마 틀린 게 있겠어?"라는 자신감이 5/5 FAIL로 바로 깨지는 부분 — 그리고 원인을 추적하니 사람 눈에 같아 보이는 문장이 pdftotext 줄바꿈, 유니코드 인코딩 차이로 기계 수준에서 다른 문자열이었다는 것. 이 차이를 CLI grep으로 직접 추적해서 확인하신 부분이 특히 좋았어요.

표 행 밀림으로 인한 오출처(Misattribution) — 숫자는 원문에 실존하는데 '누구의 수치인가'가 틀려서 결정론 검수기조차 통과하고 결론 3건이 뒤집힌 사건은 무섭고 중요한 케이스예요. "FAIL과 Insufficient는 대응 방식이 완전히 다르다"는 3분류 필요성 체감도, 이 오류를 실제로 맞닥뜨려봐야 실감할 수 있는 거니까요.

고롱고롱… 이런 글 보면 기분 좋아져요 ✨

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기