소개
학술지 논문을 통계 관점에서 리뷰하다 보면, 생각보다 반복되는 확인 포인트가 많습니다.
연구 설계와 통계 방법이 맞는지
결과 해석이 데이터보다 과하지 않은지
p-value만 강조하고 효과크기나 신뢰구간은 빠지지 않았는지
표, 그림, 본문 숫자가 서로 맞는지
subgroup analysis나 exploratory analysis를 너무 강하게 말하고 있지 않은지
저는 이 반복 작업을 조금 더 체계적으로 해보고 싶어서, Manus Skill을 활용해 **Statistical Review Assistant**를 만들어봤습니다.
이번 시도의 목표는 단순했습니다.
AI가 심사자를 대신하게 하려는 것이 아니라
통계 리뷰에서 자주 놓치는 항목을 먼저 점검해주는 보조 도구를 만들고
그 흐름을 반복해서 쓸 수 있게 Skill로 저장하고 공유하는 것
한마디로 정리하면, “내가 매번 머릿속으로 하던 통계 점검을 재사용 가능한 형태로 꺼내놓은 작업” 이었습니다.
진행 방법
어떤 도구를 사용했고, 어떻게 활용하셨나요?
Manus Skill로 저장해 재사용 가능하게 만들었습니다.
이번에 Manus Skill을 쓴 이유는 분명했습니다.
잘 만든 점검 흐름을 다시 쓸 수 있고
필요하면 수정해서 버전업할 수 있고
공유도 할 수 있기 때문입니다
즉, 단발성 프롬프트가 아니라 반복 가능한 리뷰 방식으로 바꾼 것이 핵심이었습니다.
진행 방법
1) 먼저, 통계 리뷰를 체크리스트로 정리했습니다
처음에는 그냥 “논문 통계 리뷰를 도와줘”라고 요청해봤는데, 결과가 들쭉날쭉했습니다.
그래서 통계 리뷰를 좀 더 구체적인 항목으로 나눴습니다.
체크한 항목
연구 설계와 분석 방법이 맞는지
1차·2차 평가변수가 명확한지
표본 크기 산정이나 검정력 설명이 있는지
결측치 처리와 제외 기준이 적혀 있는지
효과크기, 신뢰구간, p-value가 균형 있게 제시되는지
Subgroup / Sensitivity / Exploratory analysis가 적절히 구분되는지
표, 그림, 본문, 초록의 수치가 서로 일치하는지
통계 소프트웨어와 버전이 적혀 있는지
결론이 데이터보다 앞서 나가고 있지 않은지
이렇게 체크리스트로 쪼개고 나니, 훨씬 안정적으로 리뷰할 수 있었습니다.
2) Skill의 역할을 좁게 잡았습니다
이 Assistant는 “최종 판정자”가 아니라 1차 점검자입니다.
제가 맡긴 역할은 다음과 같았습니다.
통계적으로 오류가 의심되는 지점을 먼저 찾기
오류 판정: Major / Minor / 확인 불가로 나누기
리뷰 코멘트로 바로 옮길 수 있게 문장화하기
저자에게 물어볼 질문까지 정리하기
이렇게 역할을 좁히니, 단정적으로 판정하거나 논문에 없는 내용을 추정하는 AI 판정 오류가 줄었습니다.
3) 프롬프트도 구조화했습니다
막연한 요청보다, 역할과 출력 형식을 분명히 적는 편이 훨씬 좋았습니다.
Prompt
당신은 학술지 논문의 통계 검토를 보조하는 Statistical Review Assistant입니다.
목표:
- 원고의 통계 방법과 결과 보고를 점검한다.
- 최종 심사 판정을 대신하지 않는다.
- 본문에 근거한 내용만 제시하고, 확인 불가능한 항목은 추정하지 않는다.
검토 기준:
1. 연구 설계와 분석 방법의 적합성
2. 주요/부차 결과지표 정의 여부
3. 표본 크기 산정 또는 검정력 설명 여부
4. 결측치 처리, 제외 기준, 분석 집단 정의 여부
5. Prespecified analysis와 Exploratory analysis 구분 여부
6. 효과크기, 신뢰구간, p-value 보고의 균형
7. 다중비교, subgroup analysis, sensitivity analysis 해석의 적절성
8. 표, 그림, 본문, 초록 사이의 수치 일관성
9. 통계 소프트웨어와 버전 기재 여부
10. 결론이 데이터 범위를 넘어서 과장되지 않았는지 검토
출력 형식:
- 한줄 요약
- Major issues
- Minor issues
- Author queries
- 확인 불가 항목
- 종합 코멘트
4) 결과 형식도 고정했습니다
출력이 매번 다르면 다시 정리하는 데 시간이 들기 때문에, 결과 형식도 거의 템플릿처럼 맞췄습니다.
출력 예시
summary: "통계 보고 수준에 대한 한줄 요약"
major_issues:
- issue: "핵심 문제"
evidence: "원고에서 확인한 근거"
suggestion: "리뷰어 코멘트 제안"
minor_issues:
- issue: "경미하지만 수정이 필요한 문제"
author_queries:
- "저자에게 확인이 필요한 질문"
not_assessable:
- "원고만으로 판단 어려운 항목"
overall_comment: "종합 의견"
이 구조 덕분에, 결과를 읽고 바로 수정할 수 있는 형태가 되었습니다.
결과와 배운 점
가장 좋았던 점은, 논문 통계 리뷰가 감으로 하는 일에서 순서가 있는 작업으로 바뀌었다는 점입니다 🙌
좋았던 점
리뷰 기준이 분명해졌습니다.
자주 놓치던 항목을 덜 놓치게 됐습니다.
비슷한 논문을 볼 때 일관된 출발점을 만들 수 있었습니다.
리뷰 초안 작성 시간이 현저히 줄었습니다.
개인 프롬프트보다 재사용성과 공유성이 좋아졌습니다.
시행착오
처음에는 요청이 너무 넓어서 결과가 애매했습니다.
예를 들면,
너무 일반적인 코멘트가 나오거나
논문에 없는 내용까지 추정하려 하거나
전문분야 특유의 맥락을 충분히 반영하지 못하는 경우가 있었습니다
그래서 아래처럼 수정했습니다.
체크리스트를 더 구체적으로 쓰기
판정 결과를 Major / Minor / 확인 불가로 나누기
근거 없는 단정 금지하기
역할을 “최종 심사”가 아니라 “1차 리뷰 보조”로 제한하기
이 조정 이후에는 Review 결과가 훨씬 안정적이었습니다.
이번 작업에서 가장 크게 느낀 점
좋은 Review 자동화는 인간을 완전히 배제하는 게 아니라, 사람이 어디서 판단해야 하는지를 더 분명하게 만들어준다는 점이었습니다.
통계 리뷰는 완전 자동화하기보다, AI가 먼저 체크하고 사람이 최종 판단하는 방식이 훨씬 현실 적이었습니다.
그래서 이 Assistant도 “결론을 대신 내려주는 도구”보다, 리뷰할 때 놓치기 쉬운 항목을 먼저 정리해주는 도구로 정의하는 게 더 적절했습니다.
다음에는 이렇게 확장해보고 싶습니다
RCT용 / 관찰연구용 / 진단연구용처럼 나누기
저널별 가이드라인을 반영한 버전 만들기
리뷰 폼에 바로 붙여넣기 쉬운 출력 템플릿 추가하기
팀 단위로 함께 쓰는 Skill로 관리하기
이번 시도를 한 줄로 말하면, “AI에게 통계 Review를 맡긴 것”이 아니라, “내가 반복하던 Review 습관을 Skill로 정리한 것” 이었습니다.
비슷한 작업을 하고 계신다면, 처음부터 거창하게 만들기보다 자주 보는 체크포인트를 적고 → 출력 형식을 고정하고 → Skill로 저장하는 흐름부터 시작해보셔도 꽤 유용할 것 같습니다
도움 받은 글 (옵션)
참고한 지피터스 글이나 외부 사례를 알려주세요.
(내용 입력)
