본문으로 건너뛰기

AI가 준 참고문헌, 믿어도 될까요? — Claude Code와 gatekit으로 참고문헌 검증기 만들기

Aha

2026.10.08

AI가 준 참고문헌, 믿어도 될까요? — Claude Code와 gatekit으로 참고문헌 검증기 만들기 본문 이미지

소개

AI가 준 참고문헌을 한 번에 세 가지로 확인하는 웹 앱 참고문헌 검증기를 Claude Code로 만들어서 배포했습니다. 세 가지는 논문이 실제로 있는지, 서지 정보가 맞는지, 그리고 내 문장을 그 논문이 정말 뒷받침하는지 입니다. 일주일 전 작성했던 "Claude Code로 참고문헌 검증기 기획부터 프로토타입까지"의 후반부입니다.

진행 방법

Claude Code에 gatekit 플러그인을 설치해, 기획 → 화면 명세 → 작업 분해 → 완료 기준 → 빌드 → 검증 순서로 진행했습니다. 여기서는 일주일 전에 작성했던 부분에 이어 mockup 단계부터 배포까지를 다룹니다.

사용한 도구

도구

쓴 곳

Claude Code (터미널, WSL Ubuntu)

모든 작업을 대화로 진행

gatekit 플러그인

단계별 명세 작성, 작업 분해, 완료 기준 고정, 독립 평가자 검증

Next.js + TypeScript

웹 페이지와 조회 서버

Crossref · OpenAlex (· KCI)

논문 존재 여부와 서지 정보 조회

Claude API (사용자 본인 키)

인용 문장이 논문 내용과 맞는지 판단

GitHub · Vercel

코드 보관, 인터넷 배포

1단계. 화면 명세와 작업 분해

현재까지 기획(PRD)과 디자인 토큰을 만들어 둔 상태였습니다. 이어서 무엇을 해야 하는지부터 물었습니다.

지금까지 뭐했는지 짧게 요약해줘
gatekit:mockup은 했나?
지금 mockup하면 되는거야?
/gatekit:mockup

화면마다 비어 있음·진행 중·결과·오류 상태를 정리한 spec/02-screens.md가 만들어졌고, 저는 그대로 좋아로 승인했습니다. 이어서 /gatekit:gatekit-tasks로 작업을 나눴습니다. 결과는 13개 작업, 5라운드였습니다. 각 작업은 아래처럼 고칠 수 있는 파일 범위와 통과해야 할 시험(게이트)을 함께 가집니다.

라운드

작업

1

shell (프로젝트 뼈대, 첫 화면)

2

f1-matching, f2-lookup, f3-field-diff, f4-support-judge, f5-pdf, f7-api-key

3

check-run (2라운드 결과를 한 흐름으로 연결)

4

f4-f5-support-ui, f6-candidates, f9-export, results-overview

5

f10-skill (Obsidian 노트용 Claude 스킬)

2단계. 완료 기준을 정하고 빌드

spec/05-gate.md에 실행 가능한 완료 기준 29개(타입 검사, 단위 시험, 화면 캡처, 실제 Crossref 조회 등)를 적고 승인해 고정했습니다. 그다음 한 줄로 빌드를 시작했습니다.

/gatekit:build

13개 작업이 모두 자기 게이트를 통과했습니다. 중간에 화면 시험용 브라우저가 WSL에서 실행되지 않아 막혔는데, 캡처를 붙여 어떻게해?라고 묻자 제가 직접 입력할 명령(sudo npx playwright install-deps chromium)을 알려 줘서 해결했습니다.

단계. 독립 평가자 검증

/gatekit:verify

코드를 쓴 세션이 아닌 읽기 전용 평가자가 완료 기준 29개를 다시 돌려 모두 통과(ok)했습니다. 아래는 '예시 글로 해 보기' 결과 화면입니다. 지어낸 논문은 '찾을 수 없음', 연도가 틀린 논문은 '연도 틀림: 2003 → 2001'로 표시됩니다.

한국어 텍스트가 포함된 웹사이트의 스크린샷

4단계. 내 자료로 직접 써 보기

자동 시험은 다 통과했지만, 제 자료를 넣자 결과가 틀렸습니다.

[캡처] 2번째것만 맞고, 첫번째와 세번째는 틀렸어. 원본은 Beghetto, R. A., & Dilley, A. E. (2016). Creative aspirations or pipe dreams? ... https://doi.org/ 10.1002/cad.20150 과 Barbot, B., Lubart, T. I., & Besançon, M. (2016). "Peaks, slumps, and bumps": ... https://doi.org/10.1002/cad.20152 였어.

PDF에서 복사한 원고를 그대로 넣었고, 참고문헌이 0건으로 인식됐습니다. 사용법을 몰라서 이렇게 물었습니다.

구체적으로 내가 뭘 넣어야해? 지금처럼 확인하고 싶은 글과 뒤에 참고문헌을 함께 넣으면 돼? 그래야 본문에서 그 논문을 근거로 든 문장이 논문 내용과 맞는지 확인할 수 있는거지?
[본문 + 참고문헌 목록을 PDF에서 복사해 붙여 넣음] 이렇게 붙이면 안돼? claude api key는 넣었어

Claude Code가 같은 글로 직접 재현해 원인을 찾았습니다. 줄이 끊긴 목록을 만나면 목록 찾기를 멈추는 버그였습니다. 고친 뒤 결과입니다. 처음에는 초록만 보고 판단해서 Beghetto 논문이 '관련 없음'으로 나왔습니다.

그래서 논문 PDF를 올렸습니다. Claxton 논문은 '반대 결론'이 나왔지만, 나머지 두 편은 '불확실'에 근거 문장도 없었습니다.

[캡처] pdf 넣었더니 이렇게 나왔어. 그리고 openAlex Api key는 (키 생략)
다운로드 폴더에 넣었어

Claude Code가 다운로드 폴더의 PDF에서 글자를 뽑아 보니, 줄 끝 하이픈(cre- / ativity)이 논문마다 90~165군데 있었습니다. AI가 근거를 creativity로 바르게 옮겨 적으면, 원문과 글자 하나까지 같은지 보는 검사에서 떨어져 '불확실'이 된 것입니다. 대조 방식을 고친 결과입니다.

녹색 배경이 있는 페이지의 스크린샷

고친 핵심 코드는 아래 한 함수입니다. 원문에 없는 문장은 여전히 걸러냅니다.

/**
 * 근거 문장 대조용: 글자·숫자만 남긴다. PDF 에서 뽑은 글의 줄 끝 하이픈('cre-\nativity'),
 * 합자('fi'), 따옴표 앞뒤 공백, 분리된 악센트('Besanc ¸on') 때문에 그대로 옮긴 인용도 어긋나기 때문이다.
 */
export function looseText(s: string): string {
  return s.normalize('NFKD').toLowerCase().replace(/[^\p{L}\p{N}]+/gu, '');

5단계. 표시 정리, GitHub, Vercel 배포

푸쉬해줘. 그리고 나는 이미 버셀 계정이 있어

Vercel에서 GitHub 저장소를 가져오고, 환경 변수 두 개(OPENALEX_API_KEY, CONTACT_EMAIL)를 넣은 뒤 Deploy를 눌렀습니다. 배포 전에 Claude Code가 같은 빌드를 미리 돌려 성공을 확인해 줬습니다.

결과와 배운 점

세 가지를 한 번에 확인하는 검증기를 만들어 Vercel에 배포했습니다. 세 가지는 존재 여부, 서지 정보, 주장 뒷받침입니다. 제 자료로 활용해보니 실제로 고쳐야 할 인용이 하나 있었습니다. "청소년기에 창의성이 가장 낮다 (Claxton et al., 2005)"는 문장인데, 그 논문은 오히려 9학년까지 점수가 증가했다고 보고했습니다. '감소'는 Claxton이 선행 연구로 소개한 다른 연구의 결과였습니다. 초록만 볼 때는 '부분적'이었고, PDF 전체를 넣자 '반대 결론'으로 바뀌었습니다.

배운 점과 꿀팁

  • 자동 시험 통과 ≠ 완성. 완료 기준 29개를 모두 통과했는데도, 제 자료를 넣자마자 버그가 나왔습니다. 꼭 실제 자료로 써 봐야 합니다.

  • 틀린 결과는 캡처와 "정답"을 같이 주세요. "2번째것만 맞고… 원본은 ○○였어"처럼 정답 원문을 붙이니, Claude Code가 그대로 재현하고 회귀 시험까지 만들었습니다.

  • 판단이 이상하면 원본 파일을 보여 주세요. PDF를 다운로드 폴더에 넣어 두기만 했더니, Claude Code가 직접 글자를 뽑아 원인(줄 끝 하이픈)을 찾았습니다.

  • AI 판단은 근거 문장과 함께 보세요. 이 검증기는 같은 판단을 3번 해서 모두 같을 때만 확정하고, 근거 문장이 원문에 실제로 있는지 검사합니다. 그래도 최종 판단은 원문을 읽고 사람이 합니다.

겪은 문제

원인

해결

완료 기준이 가끔 실패

Crossref 공용 한도(초당 1건), OpenAlex 하루 무료 한도 소진

요청 간격 조절과 재시도 추가, OpenAlex 키 발급

내 자료에서 3건 중 2건 엉뚱한 논문

머리글 없는 목록 미인식, 저자·연도만 맞는 후보를 확정

목록 인식 보강, 후보 확정 조건 강화, 회귀 시험 추가

PDF에서 복사한 목록이 0건

줄바꿈된 항목에서 목록 찾기가 멈춤

항목당 6줄까지 이어진 줄로 인식

PDF를 올려도 '불확실'

줄 끝 하이픈 때문에 근거 문장 대조 실패

글자·숫자만 비교, PDF 끝 참고문헌 목록은 빼고 전송

이니셜·대소문자 차이까지 '표기 차이'로 표시

APA 표기와 데이터베이스 표기 차이

고칠 필요 없는 차이는 숨김

도움이 필요한 부분

  • Claude 결과를 Codex에서 어떻게 검증하는지 궁금합니다

  • 다른 분야, 다른 인용 양식(Vancouver 등)으로 써 보신 분의 결과가 궁금합니다.

앞으로의 계획

  • KCI 키가 나오면 한국어 논문 조회 확인

  • 결과 .ris 파일을 Zotero로 가져오기 확인

  • 동료와 함께 쓸 수 있게 공개 범위 정하기 (지금은 Vercel 로그인한 본인만 접속)

도움 받은 글

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

이수진 프로필 이미지
이수진2026.10.12

먼곳에서 나와주셨는데, 검증부분 잘 진행되셨길 !! 화이팅입니다 아하님😇 😇 😇

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기