AI가 준 참고문헌, 믿어도 될까요? — Claude Code와 gatekit으로 참고문헌 검증기 만들기
2026.10.08

소개
AI가 준 참고문헌을 한 번에 세 가지로 확인하는 웹 앱 참고문헌 검증기를 Claude Code로 만들어서 배포했습니다. 세 가지는 논문이 실제로 있는지, 서지 정보가 맞는지, 그리고 내 문장을 그 논문이 정말 뒷받침하는지 입니다. 일주일 전 작성했던 "Claude Code로 참고문헌 검증기 기획부터 프로토타입까지"의 후반부입니다.
진행 방법
Claude Code에 gatekit 플러그인을 설치해, 기획 → 화면 명세 → 작업 분해 → 완료 기준 → 빌드 → 검증 순서로 진행했습니다. 여기서는 일주일 전에 작성했던 부분에 이어 mockup 단계부터 배포까지를 다룹니다.
사용한 도구
도구 | 쓴 곳 |
|---|---|
Claude Code (터미널, WSL Ubuntu) | 모든 작업을 대화로 진행 |
gatekit 플러그인 | 단계별 명세 작성, 작업 분해, 완료 기준 고정, 독립 평가자 검증 |
Next.js + TypeScript | 웹 페이지와 조회 서버 |
Crossref · OpenAlex (· KCI) | 논문 존재 여부와 서지 정보 조회 |
Claude API (사용자 본인 키) | 인용 문장이 논문 내용과 맞는지 판단 |
GitHub · Vercel | 코드 보관, 인터넷 배포 |
1단계. 화면 명세와 작업 분해
현재까지 기획(PRD)과 디자인 토큰을 만들어 둔 상태였습니다. 이어서 무엇을 해야 하는지부터 물었습니다.
지금까지 뭐했는지 짧게 요약해줘
gatekit:mockup은 했나?
지금 mockup하면 되는거야?/gatekit:mockup화면마다 비어 있음·진행 중·결과·오류 상태를 정리한 spec/02-screens.md가 만들어졌고, 저는 그대로 좋아로 승인했습니다. 이어서 /gatekit:gatekit-tasks로 작업을 나눴습니다. 결과는 13개 작업, 5라운드였습니다. 각 작업은 아래처럼 고칠 수 있는 파일 범위와 통과해야 할 시험(게이트)을 함께 가집니다.
라운드 | 작업 |
|---|---|
1 | shell (프로젝트 뼈대, 첫 화면) |
2 | f1-matching, f2-lookup, f3-field-diff, f4-support-judge, f5-pdf, f7-api-key |
3 | check-run (2라운드 결과를 한 흐름으로 연결) |
4 | f4-f5-support-ui, f6-candidates, f9-export, results-overview |
5 | f10-skill (Obsidian 노트용 Claude 스킬) |
2단계. 완료 기준을 정하고 빌드
spec/05-gate.md에 실행 가능한 완료 기준 29개(타입 검사, 단위 시험, 화면 캡처, 실제 Crossref 조회 등)를 적고 승인해 고정했습니다. 그다음 한 줄로 빌드를 시작했습니다.
/gatekit:build13개 작업이 모두 자기 게이트를 통과했습니다. 중간에 화면 시험용 브라우저가 WSL에서 실행되지 않아 막혔는데, 캡처를 붙여 어떻게해?라고 묻자 제가 직접 입력할 명령(sudo npx playwright install-deps chromium)을 알려 줘서 해결했습니다.
단계. 독립 평가자 검증
/gatekit:verify코드를 쓴 세션이 아닌 읽기 전용 평가자가 완료 기준 29개를 다시 돌려 모두 통과(ok)했습니다. 아래는 '예시 글로 해 보기' 결과 화면입니다. 지어낸 논문은 '찾을 수 없음', 연도가 틀린 논문은 '연도 틀림: 2003 → 2001'로 표시됩니다.

4단계. 내 자료로 직접 써 보기
자동 시험은 다 통과했지만, 제 자료를 넣자 결과가 틀렸습니다.
[캡처] 2번째것만 맞고, 첫번째와 세번째는 틀렸어. 원본은 Beghetto, R. A., & Dilley, A. E. (2016). Creative aspirations or pipe dreams? ... https://doi.org/ 10.1002/cad.20150 과 Barbot, B., Lubart, T. I., & Besançon, M. (2016). "Peaks, slumps, and bumps": ... https://doi.org/10.1002/cad.20152 였어.PDF에서 복사한 원고를 그대로 넣었고, 참고문헌이 0건으로 인식됐습니다. 사용법을 몰라서 이렇게 물었습니다.
구체적으로 내가 뭘 넣어야해? 지금처럼 확인하고 싶은 글과 뒤에 참고문헌을 함께 넣으면 돼? 그래야 본문에서 그 논문을 근거로 든 문장이 논문 내용과 맞는지 확인할 수 있는거지?[본문 + 참고문헌 목록을 PDF에서 복사해 붙여 넣음] 이렇게 붙이면 안돼? claude api key는 넣었어Claude Code가 같은 글로 직접 재현해 원인을 찾았습니다. 줄이 끊긴 목록을 만나면 목록 찾기를 멈추는 버그였습니다. 고친 뒤 결과입니다. 처음에는 초록만 보고 판단해서 Beghetto 논문이 '관련 없음'으로 나왔습니다.
그래서 논문 PDF를 올렸습니다. Claxton 논문은 '반대 결론'이 나왔지만, 나머지 두 편은 '불확실'에 근거 문장도 없었습니다.
[캡처] pdf 넣었더니 이렇게 나왔어. 그리고 openAlex Api key는 (키 생략)다운로드 폴더에 넣었어Claude Code가 다운로드 폴더의 PDF에서 글자를 뽑아 보니, 줄 끝 하이픈(cre- / ativity)이 논문마다 90~165군데 있었습니다. AI가 근거를 creativity로 바르게 옮겨 적으면, 원문과 글자 하나까지 같은지 보는 검사에서 떨어져 '불확실'이 된 것입니다. 대조 방식을 고친 결과입니다.

고친 핵심 코드는 아래 한 함수입니다. 원문에 없는 문장은 여전히 걸러냅니다.
/**
* 근거 문장 대조용: 글자·숫자만 남긴다. PDF 에서 뽑은 글의 줄 끝 하이픈('cre-\nativity'),
* 합자('fi'), 따옴표 앞뒤 공백, 분리된 악센트('Besanc ¸on') 때문에 그대로 옮긴 인용도 어긋나기 때문이다.
*/
export function looseText(s: string): string {
return s.normalize('NFKD').toLowerCase().replace(/[^\p{L}\p{N}]+/gu, '');
5단계. 표시 정리, GitHub, Vercel 배포
푸쉬해줘. 그리고 나는 이미 버셀 계정이 있어Vercel에서 GitHub 저장소를 가져오고, 환경 변수 두 개(OPENALEX_API_KEY, CONTACT_EMAIL)를 넣은 뒤 Deploy를 눌렀습니다. 배포 전에 Claude Code가 같은 빌드를 미리 돌려 성공을 확인해 줬습니다.

결과와 배운 점
세 가지를 한 번에 확인하는 검증기를 만들어 Vercel에 배포했습니다. 세 가지는 존재 여부, 서지 정보, 주장 뒷받침입니다. 제 자료로 활용해보니 실제로 고쳐야 할 인용이 하나 있었습니다. "청소년기에 창의성이 가장 낮다 (Claxton et al., 2005)"는 문장인데, 그 논문은 오히려 9학년까지 점수가 증가했다고 보고했습니다. '감소'는 Claxton이 선행 연구로 소개한 다른 연구의 결과였습니다. 초록만 볼 때는 '부분적'이었고, PDF 전체를 넣자 '반대 결론'으로 바뀌었습니다.
배운 점과 꿀팁
자동 시험 통과 ≠ 완성. 완료 기준 29개를 모두 통과했는데도, 제 자료를 넣자마자 버그가 나왔습니다. 꼭 실제 자료로 써 봐야 합니다.
틀린 결과는 캡처와 "정답"을 같이 주세요. "2번째것만 맞고… 원본은 ○○였어"처럼 정답 원문을 붙이니, Claude Code가 그대로 재현하고 회귀 시험까지 만들었습니다.
판단이 이상하면 원본 파일을 보여 주세요. PDF를 다운로드 폴더에 넣어 두기만 했더니, Claude Code가 직접 글자를 뽑아 원인(줄 끝 하이픈)을 찾았습니다.
AI 판단은 근거 문장과 함께 보세요. 이 검증기는 같은 판단을 3번 해서 모두 같을 때만 확정하고, 근거 문장이 원문에 실제로 있는지 검사합니다. 그래도 최종 판단은 원문을 읽고 사람이 합니다.
겪은 문제 | 원인 | 해결 |
|---|---|---|
완료 기준이 가끔 실패 | Crossref 공용 한도(초당 1건), OpenAlex 하루 무료 한도 소진 | 요청 간격 조절과 재시도 추가, OpenAlex 키 발급 |
내 자료에서 3건 중 2건 엉뚱한 논문 | 머리글 없는 목록 미인식, 저자·연도만 맞는 후보를 확정 | 목록 인식 보강, 후보 확정 조건 강화, 회귀 시험 추가 |
PDF에서 복사한 목록이 0건 | 줄바꿈된 항목에서 목록 찾기가 멈춤 | 항목당 6줄까지 이어진 줄로 인식 |
PDF를 올려도 '불확실' | 줄 끝 하이픈 때문에 근거 문장 대조 실패 | 글자·숫자만 비교, PDF 끝 참고문헌 목록은 빼고 전송 |
이니셜·대소문자 차이까지 '표기 차이'로 표시 | APA 표기와 데이터베이스 표기 차이 | 고칠 필요 없는 차이는 숨김 |
도움이 필요한 부분
Claude 결과를 Codex에서 어떻게 검증하는지 궁금합니다
다른 분야, 다른 인용 양식(Vancouver 등)으로 써 보신 분의 결과가 궁금합니다.
앞으로의 계획
KCI 키가 나오면 한국어 논문 조회 확인
결과
.ris파일을 Zotero로 가져오기 확인동료와 함께 쓸 수 있게 공개 범위 정하기 (지금은 Vercel 로그인한 본인만 접속)
도움 받은 글
gatekit (GitHub): 기획부터 검증까지 단계를 이끄는 스터디장(로미오)님 Claude Code 플러그인
Crossref REST API, OpenAlex: 논문 조회에 쓴 무료 학술 데이터베이스




먼곳에서 나와주셨는데, 검증부분 잘 진행되셨길 !! 화이팅입니다 아하님😇 😇 😇