본문으로 건너뛰기

결과표에서 막히던 내가, 검증까지 자동화하기까지

Mango

2026.08.13

소개

매년 연구를 하는데, 자료는 모아둬도 결과표를 논의(Discussion)로 풀어 쓰는 단계에서 제일 오래 막혔다. 특히 참고문헌과 엮어서 해석·한계점·시사점을 정리하는 게 어려웠고, 마감이 다가올수록 이 지점에서 조급해지는 게 매년 반복됐다.

로드맵을 쓰기 전에 USER.md에 이렇게 적어뒀었다.

지금 나: 챗지피티/클로드로 통계 결과 테이블은 만들 수 있음. 하지만 거기서 논의로 못 넘어가고, 프롬프트를 체계적으로 설계해본 적은 없음.

되고 싶은 나: 결과표만 있으면 참고문헌과 엮은 논의 초안까지 자동으로 받아, 마감 앞두고 조급해지지 않는 사람.

그래서 4주 로드맵을 "결과표 + 참고문헌 → 논의 초안을 자동으로 뽑아주는, 나 혼자 쓰는 프롬프트 워크플로우 만들기"로 잡았다. 이 글은 그 4주를 실제 프롬프트와 함께 그대로 기록한 것이다.

진행 방법

1주차 — 로드맵부터 배포까지. 로드맵을 인터뷰로 다시 만들려고 이렇게 요청했다.

내 4주 로드맵 만들어줘. 내가 만들려는 것에 어렴풋한 방향이 있으면,
그것에 맞는 실제 사례나 방법을 먼저 찾아보고, 거기에 맞춰서 로드맵을 짜줘.

인터뷰가 끝나고 저장하려는 참에, 이틀 전(7/25)에 이미 로드맵을 하나 만들어뒀다는 걸 발견했다. "너는 어떻게 하는 게 좋을 것 같아?"라고 물으니 기존 로드맵을 뼈대로 병합하자는 답을 받아 그대로 진행했다.

같은 주에 사이트를 실제 인터넷 주소로 배포했다. GitHub·Vercel 계정을 처음 만들고 이렇게 요청했다.

- 오늘 필요한 도구를 전부 확인해줘: Git, GitHub CLI(gh), 그리고 Node.js.
- 없는 것만 지금 내 컴퓨터에 맞게 설치해줘. "깔까요?"라고 되묻지 말고 바로 진행해줘.
- 설치 중에 내가 직접 클릭해야 하는 화면이 나올 때만, 뭘 눌러야 하는지 알려줘.
- 설치가 끝났는데 도구를 못 찾겠다고 나오면, 새 터미널에서 다시 확인해줘.
- 다 되면 "이제 준비됐어"라고 알려줘.

(Tip: 이 배포 과정 중 GitHub CLI 설치 화면, Vercel Import 화면 캡처를 넣으면 좋을 것 같다.)

2주차 — Zotero 연결, 그리고 HARKing. 참고문헌 라이브러리를 Claude에 연결하려고 Zotero MCP 설치 스크립트를 돌렸는데, 로컬 서버가 하루 종일 안 켜졌다. 방화벽·백신(AhnLab V3)·포트 충돌·윈도우 포트 예약 범위까지 하나씩 확인했지만 전부 정상이었다. 진짜 원인은 지금 쓰는 Claude 앱이 스크립트가 가정한 옛날 연결 방식(설정 파일 직접 편집)을 지원하지 않는다는 것이었다. 대신 Zotero 파일 → 내보내기 라이브러리 → CSL JSON으로 내보낸 파일을 채팅창에 직접 첨부하는 방식으로 우회했다.

(Tip: Zotero "내보내기" 메뉴 화면, Claude 앱의 "로컬 MCP 서버 — 추가된 서버가 없습니다" 화면을 넣으면 좋을 것 같다.)

또 사이트를 로컬로 확인하고 커밋하려는데 .git/index.lock 파일이 계속 안 지워지는 문제를 겪었다. AI 자동화 환경(리눅스)이 이 드라이브에서 파일을 만들 수는 있어도 지울 수는 없는 권한 구조였다. 결국 새 터미널을 열어 아래 한 줄을 직접 쳐서 풀었다.

cd /d D:\클로드 && git add -A && git commit -m "..."

(Tip: git 에러 화면 → 직접 터미널에 쳐서 성공한 화면을 넣으면 좋을 것 같다.)

3주차 — 스킬 제작과 검증. PRD를 재료로 .claude/skills/논의초안/SKILL.md를 만들었다(SKILL.md 제작 도구는 관리 상태·인기·초보 접근성을 비교해서 skill-creator를 골랐다). 내장 eval로 스킬 적용/미적용을 같은 채점 기준(6개) 두고 비교했다.

마감 하루 전, 실제 결과표(순차매개, 200명)와 가설 4개, Zotero 문헌 6편으로 스킬을 처음 진짜로 돌렸다(8일차). [검증필요] 태그가 붙은 7건을 문헌 원문(초록)과 하나씩 대조했더니(9일차), 가설 4에 인용한 Yan(2024)이 "일부 경로만 유의한 패턴"의 근거로 쓰였는데 실제로는 그 논문의 매개효과가 유의했다(간접효과=.111, 95% CI[.065, .162]) — 정반대 사례를 근거로 쓰고 있었던 것이다. 이 발견을 SKILL.md에 그대로 반영했다.

- 주제어가 겹친다고 곧바로 추천하지 않습니다.  추천하기 전에 두 가지를 스스로 점검합니다:
  (1) 그 변수가 추천 문헌 안에서 어떤 역할인지 — 내 결과표에서와 같은 역할인지, 다른 역할인지.
  (2) 표본이 비교할 만한지 — 모집단, 문화권, 척도가 크게 다르면 비교 근거로는 약합니다.

오늘 있었던 일을 전혀 모르는 서브에이전트에게 같은 재료 + 개선된 SKILL.md만 주고 처음부터 다시 시켰더니(10일차), 9일차에 발견했던 실수를 이번엔 처음부터 저지르지 않았다.

4주차 — 발표 준비. 발표자료를 정리하고 이 글과 회고를 함께 썼다.

결과와 배운 점

수치로 본 결과: 스킬 적용 시 채점 기준 6/6(100%) 통과, 미적용 시 4/6(66.7%). Zotero 막힘 해결 시간은 몇 시간 → 5분, git lock은 30분 넘게 → 1분 미만으로 줄었다.

배운 점 1 — 프롬프트는 즉흥이 아니라 설계다. 역할 지정·구조화·few-shot, 딱 3개 개념만으로 "결과표 요약→문헌 추천→확인→논의 초안" 같은 다단계 흐름을 프롬프트 한 벌로 설계할 수 있다는 걸 알게 됐다.

배운 점 2 — "최신 방법"도 내 환경엔 안 맞을 수 있다. Zotero도, git lock도 조사한 방법을 그대로 믿지 않고 "이 방법이 지금 내가 쓰는 앱·버전에 정말 맞는지"부터 의심한 뒤에야 풀렸다.

배운 점 3 — 주제어가 겹친다고 좋은 근거가 아니다. 문헌을 추천받을 때 "이 변수가 그 논문에서 어떤 역할인가", "표본이 비교할 만한가" 두 가지를 반드시 점검해야 한다는 걸 실제 오류로 배웠다.

배운 점 4 (제일 크게 남은 것) — [검증필요] 태그는 형식이 아니라 안전장치였다. 실제로 눈앞에서 틀린 인용 하나를 잡아내고 나서야, "AI 인용은 사람이 검증해야 한다"는 원칙이 진짜 내 것이 됐다.

나만의 꿀팁 (재사용 자산)

- 기획 문서 만들 때: "혹시 이거 전에 만든 게 있는지 먼저 확인하고, 있으면 그냥 덮어쓰지 말고 나한테 물어봐줘."
- 막혔을 때: ① 확장자가 진짜 맞는지 ② 로컬 서버면 포트가 실제 열렸는지 ③ 그래도 안 되면 "이 방법이 지금 내 앱·버전에 정말 맞는지"부터 의심
- 연구질문을 바꾸고 싶을 때: "결과를 보기 전에도 이 모형이 이론적으로 말이 됐을까?" / "그냥 유의하게 나오게 하려는 건가?"
- 문헌을 추천받을 때: 그 변수가 나랑 같은 역할인가 다른 역할인가? 표본이 실제로 비교할 만한가?
- 스킬을 고친 뒤: 오늘 있었던 일을 모르는 실행자(서브에이전트)에게 다시 시켜서 재현되는지 확인

시행착오: GitHub CLI 설치파일을 zip으로 잘못 받은 것, Vercel-GitHub 계정 불일치로 무한 루프에 빠진 것, Zotero 로컬 서버가 하루 종일 안 켜진 것, git index.lock이 자동화 도구로는 계속 재생성된 것, 가설 3·4에서 변수 역할이 안 맞거나 정반대인 문헌을 인용할 뻔한 것까지 있었다. 막힌 지점마다 "일단 계속 시도"가 아니라 "이 방법이 맞는 방법인가"로 방향을 바꿔서 풀었다.

도움이 필요한 부분: git index.lock 문제의 근본 원인(왜 마운트된 드라이브에서 자동화 환경이 파일을 만들 수는 있는데 지울 수는 없는지)은 아직 못 밝혔다. 비슷한 환경(리눅스 자동화 + Windows 마운트 드라이브)을 겪어본 분이 있다면 원인이 궁금하다.

앞으로의 계획: 이 워크플로우는 지금까지 연구 결과표 하나로만 검증됐다. 다음엔 다른 주제·다른 결과표로 넓혀볼 차례다. "막히면 의심하고, 검증하면 잡아낼 수 있다"는 걸 이번 달에 직접 확인했으니, 다음엔 자신감을 가지고 접근하고 싶다.

도움 받은 글 (옵션)

  • Zotero MCP — Zotero 라이브러리를 Claude에 연결하는 도구(1주차 로드맵 조사 때 참고. 실제로는 지금 쓰는 앱과 연결 방식이 안 맞아, 파일 내보내기로 우회했다).

  • 10 AI Prompts for Writing the Discussion Section — "AI는 논의를 구조화하는 데 강하지만, 문헌 비교·해석은 사람이 검증해야 한다"는 로드맵 설계의 근거가 된 글.

  • 그 외엔 외부 글보다, 이번 달 동안 쌓인 학습일지(src/content/journal/)와 사례글(src/content/wiki/) 전체가 재료였다.

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기