근거 기반 Paper/Report 심사 Defence 확률을 높이는 Peer Review Agent 구축

시도하고자 했던 것과 그 이유

학술지 논문을 심사할 때 원고 전체를 여러 번 확인해야 하고, 본문·표·그림·보완자료·저자 답변서를 서로 대조해야 합니다. 특히 재심에서는 저자가 “수정했다”고 답변한 내용이 실제 수정 원고에 반영됐는지를 다시 확인해야 합니다.

이 과정에서 다음과 같은 어려움이 있었습니다.

  • 긴 원고에서 중요한 검토 항목을 빠뜨릴 수 있음

  • 최초 심사 의견과 수정 원고의 대응 관계를 추적하기 어려움

  • PDF 본문과 Excel 보완자료의 수치를 일일이 대조해야 함

  • 심사 점수와 서술형 의견의 강도가 서로 어긋날 수 있음

  • 저자용 의견과 편집위원장용 비공개 의견을 구분해야 함

  • AI가 원고에 없는 내용을 추측하거나 문제를 과장할 가능성이 있음

그래서 단순히 “이 논문을 심사해줘”라고 요청하는 방식이 아니라, 논문심사 절차를 여러 단계로 나눈 로컬 우선 Peer Review Agent를 구축하고자 했습니다.

이 Agent의 목적은 논문의 채택 여부를 대신 결정하는 것이 아닙니다. 원고의 구조와 근거를 체계적으로 정리하여 심사위원이 검토하고 수정할 수 있는 판단 자료를 만듬으로써, defence 확률이 높아지게끔 peer를 supporting 하는 것이 목적입니다.

핵심 원칙은 다음과 같습니다.

  • 저자가 아니라 원고를 평가한다.

  • 인상이 아니라 확인 가능한 근거로 판단한다.

  • 평가 기준을 독립적으로 검토한다.

  • 과학적 타당성과 편집 형식 문제를 구분한다.

  • 최종 결과를 전달하기 전에 심사 의견 자체를 다시 검증한다.

  • 최종 판단과 수정 권한은 심사위원에게 둔다.진행 방법

진행방법

1. 사용한 도구

OpenAI Codex

프로젝트 폴더에서 PDF, Excel, HWP 등의 자료를 읽고 분석하는 주 작업 도구로 사용했습니다.

Codex에는 다음 역할을 맡겼습니다.

  • 입력 파일과 원고 버전 확인

  • PDF의 섹션·페이지·표·그림 구조 파악

  • Excel 보완자료의 worksheet와 cell range 확인

  • 저자 답변서와 수정 원고 대조

  • 연구 구조를 정리한 Research Map 작성

  • 다섯 가지 평가 기준별 독립 검토

  • Major·Minor issue 분류

  • 저자용 의견과 편집자용 비공개 의견 작성

  • 심사 점수와 의견의 일관성 점검

  • 최종 보고서 작성

AGENTS.md

AGENTS.md에는 프로젝트 전체가 따라야 할 운영 규칙을 작성했습니다.

주요 내용은 다음과 같습니다.

  • 비밀유지와 외부 도구 사용 제한

  • 입력 파일의 우선순위

  • 심사 단계와 역할

  • 다섯 가지 평가 기준

  • 점수와 severity 규칙

  • 근거 기록 형식

  • 저자용·편집자용 의견 분리

  • 최종 검증 항목

  • 작업 중단과 사용자 확인 조건

덕분에 매번 긴 프롬프트를 다시 작성하지 않아도 동일한 심사 원칙을 적용할 수 있었습니다.

로컬 파일 구조

원고와 심사 결과가 섞이지 않도록 입력과 산출물을 분리했습니다.

peer-review/
├── inputs/
│   ├── manuscript/
│   │   ├── manuscript.pdf
│   │   ├── supplementary_materials.xlsx
│   │   └── response_to_reviewers.hwp
│   ├── journal/
│   └── reviewer/
├── work/
└── reviews/
    ├── 00_research_map.md
    ├── 01_criterion_scores.md
    ├── 02_major_minor_issues.md
    ├── 03_comments_to_authors.md
    ├── 04_confidential_comments_to_editor.md
    ├── 05_final_review_report.md
    └── evidence/
        └── evidence_map.json

원본 파일은 수정하지 않고 모든 결과를 reviews/에 별도로 저장하도록 했습니다.


2. 심사 진행 과정

1단계: 입력 확인

먼저 다음 사항을 확인했습니다.

  • 심사 대상 PDF가 정확히 하나인가

  • 신규 원고인지 수정 원고인지

  • Excel 파일이 보완자료로 구분되어 있는가

  • 저자 답변서가 포함되어 있는가

  • 학술지 심사 기준과 투고 규정이 제공되었는가

  • 생성형 AI 사용 제한이 있는가

  • 파일을 정상적으로 읽을 수 있는가

학술지 규정이 없더라도 전체 심사를 중단하지는 않았습니다. 다만 투고 규정 적합성 평가는 Low confidence 또는 Not Assessable로 표시하도록 했습니다.

2단계: Research Map 작성

평가를 시작하기 전에 논문의 전체 구조를 정리했습니다.

Title
Field / Topic
Research Problem
Research Questions / Hypotheses
Claimed Research Gap
Claimed Contributions
Dataset / Sample
Method
Baselines / Comparators
Evaluation Metrics
Main Results
Limitations
Main Conclusion

Research Map은 평가서가 아니라 사실관계를 정리한 공통 지도입니다. 이 단계에서는 점수나 채택 의견을 작성하지 않았습니다.

3단계: 다섯 기준별 평가

다음 기준을 독립적으로 검토했습니다.

  1. 학술적 발전에 대한 기여

  2. 연구주제의 중요성과 독창성

  3. 연구 방법의 타당성

  4. 연구 결과 제시의 명확성

  5. 투고 규정과 편집 형식의 적합성

각 기준은 다음 순서로 평가했습니다.

Evidence
→ Analysis
→ Assessment
→ Score

점수를 먼저 결정한 뒤 이유를 붙이지 않도록 한 것이 중요한 부분이었습니다.

4단계: 재심 내용 확인

재심에서는 저자의 답변서만 믿지 않고 다음 세 자료를 함께 확인했습니다.

기존 심사 의견
↔ 저자 답변서
↔ 수정 원고

필요할 때는 Excel 보완자료도 추가로 대조했습니다.

저자의 답변은 다음과 같이 구분했습니다.

  • 충분히 반영됨

  • 일부 반영됨

  • 설명은 했으나 수정이 불충분함

  • 수정 원고에서 확인되지 않음

  • 심사위원의 추가 판단이 필요함

5단계: 반대 검증

최초 심사 결과를 그대로 확정하지 않고 심사 의견 자체를 다시 검증했습니다.

주요 확인 질문은 다음과 같습니다.

  • 이 지적은 실제 원고 근거로 뒷받침되는가

  • 원고의 다른 부분에 이미 설명된 내용은 없는가

  • 단순한 설명 부족을 방법론적 결함으로 과장하지 않았는가

  • 같은 문제를 여러 기준에서 중복 감점하지 않았는가

  • 심사자의 개인적 선호가 개입하지 않았는가

  • 문제의 심각도와 점수가 일치하는가

  • 저자용 의견과 편집자용 의견이 모순되지 않는가

향후에는 이 단계를 다른 모델 또는 별도 Agent가 독립적으로 수행하도록 확장할 계획입니다.

3. 사용한 프롬프트

실제 실행 프롬프트는 의도적으로 짧게 작성했습니다. 세부 행동 규칙은 프로젝트의 AGENTS.md가 담당하도록 구성했습니다.

실제 재심 요청 프롬프트

참고로 올라간 파일명은 다음과 같아.

1) XXX_XXXX_Response to Reviewers_003(Author to Reviewer2).hwp
2) XXX_XXXXR1_Manuscript (Without Author pdf)_001.pdf
3) XXX_XXXXR1_Supplementary Materials_001 (1).xlsx

기존 PDF가 이전 심사본이고, 이번 재심에서 추가 요청 사항은 없는 상태야.

저자 답변서, 수정 원고 PDF, Excel 보완자료를 함께 확인해서 재심을 진행해줘.

기존 심사 의견별로 다음을 구분해줘.

- 충분히 반영됨
- 일부 반영됨
- 반영되지 않음
- 추가 확인 필요

각 판단에는 수정 원고의 페이지·섹션·표·그림 또는 Excel의
worksheet·cell range 등 확인 가능한 근거를 연결해줘.

원본 파일은 수정하지 말고 결과는 reviews/ 폴더에 별도로 작성해줘.
최종 판단은 내가 수정할 수 있도록 근거와 confidence를 명확히 표시해줘.

반대 검증용 프롬프트 예시

다른 Agent가 독립적으로 심사 의견을 검증할 때 사용할 수 있도록 다음과 같은 프롬프트도 설계했습니다.

당신은 독립적인 Peer Review Critic이다.

제공된 원고, 보완자료, 저자 답변서와 평가 기준만 사용하라.
먼저 기존 심사 의견을 보지 않고 독립적으로 원고를 검토하라.

독립 검토가 끝난 후 기존 심사 의견의 각 Critical, Major,
Minor issue를 다음 기준으로 검증하라.

1. 지적이 원고의 실제 내용으로 뒷받침되는가?
2. 원고의 다른 부분이나 저자 답변에 반대 근거가 있는가?
3. 수정 원고에서 이미 해결된 내용인가?
4. 문제의 영향과 severity가 과장되거나 축소되지 않았는가?
5. 동일한 문제가 여러 기준에서 중복 감점되었는가?
6. 심사자의 개인적 선호가 개입했는가?
7. 점수와 심사 의견의 강도가 일치하는가?

각 의견을 다음 중 하나로 판정하라.

- Supported
- Partially Supported
- Unsupported
- Already Addressed
- Needs Reviewer Judgment
- Could Not Verify

각 판정에는 다음을 포함하라.

Issue ID:
Original criticism:
Verdict:
Supporting evidence:
Counter-evidence:
Location:
Original severity:
Recommended severity:
Recommended action:
Confidence:

다수결이나 기존 심사자의 권위를 근거로 판단하지 마라.
원고의 구체적인 근거를 최종 판단 기준으로 사용하라.
최종 게재 판정은 자동으로 확정하지 마라.

4. 활용 이미지와 캡처 화면

사례 공유 문서에는 다음 화면을 캡처하면 전체 흐름을 쉽게 설명할 수 있습니다.

캡처 1. 프로젝트 폴더 구조

inputs/
work/
reviews/
AGENTS.md
Peer Review Agent PRD v0.1.md

설명 문구:

원본 입력, 중간 분석과 최종 심사 결과를 분리해 원고가 변경되지 않도록 구성했습니다.

캡처 2. Research Map

reviews/00_research_map.md의 연구 문제, 방법, 데이터, 주요 결과 부분을 캡처합니다.

설명 문구:

평가 전에 논문의 연구 구조를 먼저 정리하여 모든 평가가 같은 사실관계에서 출발하도록 했습니다.

캡처 3. 평가 점수표

reviews/01_criterion_scores.md의 다섯 가지 평가 기준과 점수표를 캡처합니다.

설명 문구:

다섯 기준을 독립적으로 평가하고 각 점수에 근거와 rationale을 연결했습니다.

캡처 4. Major issue와 근거

reviews/02_major_minor_issues.md 또는 evidence_map.json에서 하나의 Major issue를 선택합니다.

설명 문구:

주요 심사 의견에는 PDF 페이지, 섹션, 표·그림 또는 Excel 셀 범위를 연결했습니다.

캡처 5. 저자 답변과 수정 원고 대조

저자 답변서의 특정 항목과 수정 원고에서 실제 변경된 부분을 나란히 보여줍니다. 비공개 정보는 반드시 가립니다.

설명 문구:

저자의 답변만 확인하지 않고 실제 수정 원고에 반영되었는지를 다시 검증했습니다.

캡처 6. 저자용·편집자용 의견 분리

03_comments_to_authors.md
04_confidential_comments_to_editor.md

설명 문구:

실행 가능한 수정 요청은 저자용 문서에, 판정과 위험 정보는 편집자용 비공개 문서에 분리했습니다.

원고 내용이 비공개인 경우 실제 문장, 저자정보, 표의 수치와 연구 결과는 흐림 처리하거나 예시 데이터로 교체하는 것이 안전합니다.

배운 점과 나만의 활용 팁

1. 프롬프트보다 작업 규칙이 중요했다

매번 긴 프롬프트를 작성하는 것보다 AGENTS.md에 공통 규칙을 정리하는 방식이 효과적이었습니다.

사용자는 다음처럼 짧게 요청할 수 있습니다.

inputs/manuscript에 새 원고를 넣었어.
AGENTS.md의 절차에 따라 심사를 진행해줘.

2. 평가 전에 Research Map을 먼저 만들어야 했다

처음부터 비판을 작성하면 논문 전체 구조를 잘못 이해하거나 일부 문장에 지나치게 집중할 수 있습니다. 먼저 평가 없는 Research Map을 작성하니 이후의 판단이 훨씬 일관됐습니다.

3. 심사 의견에는 위치 정보가 필요했다

“설명이 부족하다”는 의견만으로는 다시 확인하기 어렵습니다. 페이지, 섹션, 표·그림과 Excel 셀 범위를 함께 기록하니 검토와 수정이 쉬워졌습니다.

4. PDF를 공식 원고로 삼았다

PDF와 Excel이 다를 때 Excel을 임의로 정답으로 처리하지 않았습니다. 공식 원고에 대한 평가는 PDF를 기준으로 하고, Excel의 차이는 확인 요청 사항으로 남기는 것이 안전했습니다.

5. 점수와 최종 판정은 분리해야 했다

평균 점수가 높아도 치명적인 방법론 문제가 있으면 Major Revision이나 Reject가 가능할 수 있습니다. 반대로 형식 오류만으로 학술적 기여 점수를 낮춰서는 안 됩니다.

6. 새로운 세션은 원고별로 분리하는 것이 좋았다

새로운 논문은 별도의 review session 또는 case 폴더에서 진행하는 것이 좋습니다. 이전 원고의 내용이 새로운 심사에 섞이는 위험을 줄이고 토큰과 작업 맥락도 관리하기 쉽습니다.


과정에서 겪은 시행착오

파일의 역할이 혼동되는 문제

처음에는 같은 폴더에 있는 PDF와 Excel을 모두 원고처럼 다룰 가능성이 있었습니다. 이후 PDF는 주 원고, Excel은 보완자료, HWP는 저자 답변서로 역할을 명시했습니다.

학술지 규정 없이 Criterion 5를 평가하려는 문제

투고 규정이 없는데도 형식 적합성을 추측하면 잘못된 감점이 발생할 수 있습니다. 이후 자료가 없을 때는 Not Assessable 또는 낮은 confidence로 표시하도록 변경했습니다.

AI의 심사 의견을 같은 AI가 다시 확인하는 문제

동일한 Agent가 자신의 판단을 다시 검증하면 최초 해석을 유지하려는 자기확증 가능성이 있습니다. 이를 보완하기 위해 별도의 Critic 역할을 두고, 향후에는 Claude Code 등 다른 모델을 독립 검증자로 사용하는 방안을 고려했습니다.

너무 많은 역할을 한 번에 구현하려는 문제

처음부터 통계, 참고문헌, 표·그림, 신규성 검증까지 모두 자동화하면 시스템이 복잡해집니다. 우선 Research Map, 다섯 기준, 근거 지도, Critic과 최종 보고서에 집중하는 것이 현실적이었습니다.

HWP와 편집 형식 확인의 한계

HWP에서 추출한 텍스트만으로 글꼴, 여백, 줄간격과 배치를 정확하게 판단할 수 없습니다. 편집 형식 평가는 시각적 렌더링을 확인할 수 있을 때만 확정해야 한다는 점을 배웠습니다.

3
1개의 답글
지피터스 뉴스레터

이번 주 AI, 딱 쓸 것만

매주 월요일 오후,
읽고 바로 써먹을 AI 소식만