Codex로 ‘검증 가능한 리서치 시스템’을 만들다
2026.07.25
Codex로 ‘검증 가능한 리서치 시스템’을 만들다
📝 한줄 요약
쌓아둔 개인 지식 노트에서 연구 주제를 고르고, Codex와 함께 논문 20편을 추린 뒤 핵심 3편을 원문·독립 검수해 검색 가능한 정본 지식 베이스까지 만들었습니다. 핵심은 AI에게 답을 맡긴 것이 아니라, AI가 만든 초안을 검증하고 사람 승인 뒤 축적하는 흐름을 만든 점입니다.
바쁘시면 이것만 읽어도 돼요:
- 개인 노트에서 출발해 ‘자기수탁 지갑 위험을 어떻게 판단할까?’라는 연구 질문을 정했습니다.
- 논문 20편을 수집하고 미리 정한 기준으로 4편을 추린 뒤, 3편을 PDF 원문으로 검증했습니다.
- 독립 검수에서 AI 요약의 과장된 표현과 인용 위치를 실제로 발견해 수정했습니다.
- 결과를 바로 결론으로 쓰지 않고, 초안 → 검수 → 사람 승인 → 정본 지식 베이스 순서로 관리했습니다.
- 이 방식은 가상자산뿐 아니라, 새 주제를 조사해야 하는 모든 개인 리서치에 재사용할 수 있습니다.
🎯 이런 분들께 도움돼요
- 메모와 노트는 많이 쌓였는데 다음 연구 주제를 정하기 어려운 분
- AI로 리서치해보고 싶지만 결과를 어디까지 믿어야 할지 걱정되는 분
- 비개발자도 조사 결과를 나중에 다시 찾고 검증할 수 있게 정리하고 싶은 분
😫 문제 상황: 노트는 쌓였는데, 다음 질문이 없었다
개인 지식 노트에는 가상자산, 자금세탁방지, 해외 이전 규제처럼 서로 연결될 만한 내용이 이미 있었습니다. 문제는 ‘그래서 다음에 무엇을 연구해야 하지?’였습니다.
노트를 많이 갖고 있다고 연구 주제가 저절로 생기지는 않더라고요. 주제를 하나 고르더라도 너무 넓으면 끝나지 않고, 너무 좁으면 나중에 쓸모가 없을 수 있습니다. 게다가 AI가 논문을 찾아주더라도, 그 요약과 숫자를 그대로 믿어도 되는지 불안했습니다.
그래서 이번에는 답을 빨리 얻는 것보다, 다음에도 다시 쓸 수 있는 조사 방식을 만들어보기로 했습니다.
🛠️ 사용한 도구
- Codex: 주제 후보 검토, 문헌 수집·분류, 원문 요약, 검수, 지식 베이스 정리
- arXiv: 논문 수집 출처
- PDF 원문: 논문 내용과 수치의 직접 확인
- FATF·금융위원회·EUR-Lex: 규제 관련 1차 자료 확인
- Markdown 지식 베이스: 검증된 결과의 축적과 검색
---
🔧 작업 과정
개인 노트에서 ‘조사할 질문’ 찾기
처음에는 “가상자산을 연구하자”처럼 넓은 방향만 있었습니다. 그래서 Codex에게 제 지식 노트 묶음을 읽고, 이미 쌓인 맥락과 이어질 수 있는 연구 주제를 제안해달라고 했습니다.
내 연구 주제 뭐하면 좋을지 Agent-wiki의 지식 노트들을 보고 검토해봐그 결과, ‘자기수탁 지갑(Self-custody wallet)의 위험을 어떻게 판단할까?’라는 질문을 골랐습니다. 여기서 자기수탁 지갑은 거래소가 아니라 사용자가 직접 관리하는 지갑을 뜻합니다.
주제를 고른 뒤에는 무엇을 관련 논문으로 볼지부터 정했습니다. 예를 들어 지갑 위험, 자금 흐름, 자금세탁방지, 믹싱 서비스는 포함하고, 가격 예측이나 NFT 게임처럼 이번 질문과 거리가 먼 주제는 제외했습니다.
이 단계에서 느낀 점은 단순했습니다. AI에게 “논문 찾아줘”라고 말하기 전에, 무엇을 포함하고 무엇을 빼야 하는지를 먼저 합의해야 결과가 흔들리지 않습니다.
---
논문 20편에서 3편만 남기는 기준 만들기
Codex는 arXiv에서 관련 논문 20편을 모았고, 앞에서 정한 기준으로 4편을 추렸습니다. 그중 실제 판단 기준에 연결될 수 있는 3편을 원문 검증 대상으로 골랐습니다.
여기서 중요한 것은 ‘많이 찾는 것’이 아니라 ‘왜 남겼는지 설명할 수 있는 것’이었습니다. 결과적으로 세 논문은 서로 다른 관점을 보여줬습니다.
- 거래 주소 하나보다 연결된 자금 흐름을 봐야 한다는 연구
- DEX 교환, 믹싱, 브리지처럼 자금이 빠르게 형태를 바꾸는 흐름을 분석한 연구
- 고액 한 번보다 소액 반복 전송, 빠른 입출금, 잔액 소진을 함께 봐야 한다는 연구
덕분에 ‘이 주소는 위험한가?’라는 단순한 질문이 ‘이 거래는 추가 확인이 필요한가?’라는 더 쓸모 있는 질문으로 바뀌었습니다.
---
“AI 요약도 틀릴 수 있다”를 확인한 순간
이번 작업에서 가장 인상적이었던 장면은 여기였습니다. AI가 논문을 요약한 뒤, 별도의 검수자가 원문 PDF와 초안을 다시 대조했습니다. 이전 대화의 의도나 결론을 모르는 상태에서 보는 검수라서 더 의미가 있었습니다.
cold-read 검수해보고 인사이트뽑아줘실제로 수정할 내용이 나왔습니다. 한 성능 수치는 특정 실험 조건에서만 성립했는데, 초안만 읽으면 일반적인 성능처럼 보일 수 있었습니다. 또 한계 항목의 절 인용 하나도 바로잡아야 했습니다.
수치가 크게 틀린 것은 아니었지만, 이런 작은 차이가 리서치에서는 중요합니다. 그래서 논문 세 편 모두 다음 순서를 거쳤습니다.
1. AI가 원문 PDF를 읽어 초안 작성
2. 자동 검사로 페이지 인용·수치·필수 섹션 확인
3. 독립 검수자가 원문과 초안을 다시 대조
4. 발견된 문제를 수정하고 검증 기록 보관
결과는 자동 검사 PASS 3, 수치·인용 오류 FAIL 0이었습니다. 다만 초록 메타데이터와 PDF 원문을 함께 쓰면서 생긴 형식 경고는 숨기지 않고 초안 상태로 남겼습니다.
이 경험 이후로는 AI 요약을 ‘결과물’이 아니라 검수할 초안으로 보게 됐습니다.
---
논문 언어를 ‘추가 확인 기준’으로 바꾸기
논문은 그래프, 중심성, 거래망 밀도 같은 기술 언어로 쓰여 있습니다. 하지만 실제로 알고 싶었던 것은 “자기수탁 지갑 거래를 언제 더 확인해야 할까?”였습니다.
그래서 논문 속 발견을 바로 정책으로 단정하지 않고, 운영 흐름으로 번역했습니다.
| 단계 | 살펴볼 것 | 다음 행동 |
|---|---|---|
| 일반 심사 | 고객·거래 정보가 완결돼 있고 뚜렷한 위험 신호가 없는가 | 일반 절차로 진행 |
| 추가 확인 | 자금 흐름 연결, 소액 반복, 빠른 DEX·브리지·믹싱 이동, 지갑 소유 확인 필요성이 있는가 | 추가 정보·증빙 요청 및 강화 모니터링 |
| 고위험 검토 | 강한 불법 자금 연결, 정보 불일치, 여러 비정상 신호가 겹치는가 | 내부 AML 절차에 따라 책임자 검토 |
이 표는 법률 자문이나 자동 차단 규칙이 아닙니다. 논문에서 얻은 신호와 FATF, 한국 금융위원회, EU의 공식 자료를 연결한 운영 가설입니다.
특히 규제를 확인하면서, 한국의 VASP 간 트래블룰과 거래소별 개인지갑 사전등록 정책은 구분해야 한다는 점도 확인했습니다. 아직 확정되지 않은 2026년 강화안은 ‘현재 의무’로 쓰지 않고, 별도의 규제 레이더로 남겼습니다.
---
AI가 만든 지식을 사람이 승인해 정본으로 남기기
조사를 끝낸 뒤에도 바로 지식 베이스에 넣지는 않았습니다. 초안과 검증 기록을 먼저 보여주고, 사람 승인을 받은 뒤에만 정본 노트로 승격했습니다.
승격 후에는 ‘자기수탁 지갑 거래는 언제 추가 확인해야 하나?’라는 질문으로 검색해, 정본 노트가 실제로 조회되는지도 확인했습니다.
이 단계가 있었기 때문에 AI가 만든 텍스트가 쌓이는 것이 아니라, 무엇이 검증됐고 무엇이 아직 가설인지 구분된 지식이 쌓이기 시작했습니다.
✅ 결과
Before vs After
| 항목 | Before | After |
|---|---|---|
| 연구 주제 | 개인 노트에 관심사가 흩어져 있음 | ‘자기수탁 지갑 위험 판단’이라는 검증 가능한 질문 |
| 자료 선정 | 무엇을 읽을지 매번 다시 판단 | 포함·제외 기준으로 20편 중 4편 추출 |
| AI 요약 | 신뢰 범위가 불명확 | 핵심 3편을 원문·독립 검수한 초안 |
| 결과 보관 | 메모와 대화에 흩어질 가능성 | 사람 승인 후 검색 가능한 정본 노트 |
결과물
- 검증을 통과한 논문 3편 요약과 비교표
- FATF·한국 금융위원회·EU 자료를 연결한 규제·운영 메모
- 검색 가능한 정본 지식 노트 1개
- 다음 주제에도 재사용할 수 있는 분류 → 검수 → 승인 → 축적 흐름
💬 이 과정에서 배운 AI 활용 팁
효과적이었던 것
1. 기준부터 정하기
- AI에게 자료를 찾게 하기 전에, 포함·제외 기준을 먼저 정했습니다. 덕분에 왜 어떤 논문을 남겼는지 설명할 수 있었습니다.
2. AI 요약은 초안으로 다루기
- 핵심 수치, 비교 방향, 한계는 원문에서 다시 확인했습니다. 독립 검수는 AI가 그럴듯하게 만든 과장을 잡는 데 특히 유용했습니다.
3. 사람 승인 뒤 정본화하기
- 초안·검증 기록·정본을 분리하니, 나중에 무엇을 믿고 재사용할지 훨씬 명확해졌습니다.
이렇게 하면 안 돼요
1. AI가 고른 논문 목록을 곧바로 ‘중요한 논문 목록’으로 확정하지 않기
2. 논문 수치 하나를 운영 규칙이나 법적 의무로 바로 바꾸지 않기
3. 아직 확정되지 않은 규제 예고를 현행 규정처럼 쓰지 않기
🌍 다른 업무에 적용한다면?
이 방식은 가상자산 연구에만 쓰이지 않습니다. 예를 들어 새로운 시장 조사, 경쟁사 분석, 법·정책 변화 추적, 사내 의사결정 자료 정리에도 적용할 수 있습니다.
핵심 흐름은 같습니다. 이미 가진 노트에서 질문을 고르고, 자료 선정 기준을 만든 뒤, AI가 만든 초안을 독립적으로 검수하고, 사람 승인 뒤에만 정본으로 남기는 것입니다.
🚀 앞으로의 계획
이번에는 자기수탁 지갑 위험 판단을 주제로 시험했습니다. 다음에는 이 과정을 다른 주제에도 적용해, 개인 지식 노트에서 시작하는 재사용 가능한 리서치 시스템으로 확장할 계획입니다.
📋 재사용 가능한 프롬프트
프롬프트 1: 개인 노트에서 연구 질문 고르기
아래 지식 노트를 읽고, 이미 쌓인 맥락과 연결되는 연구 주제 3개를 제안해줘. 각 주제마다 왜 지금 조사할 가치가 있는지, 너무 넓거나 좁지 않은지, 다음에 확인할 자료 유형을 설명해줘. > [지식 노트 경로 또는 내용 붙여넣기]프롬프트 2: AI 리서치 결과 검수하기
아래 논문 요약 초안을 원문 PDF와 대조해 검수해줘. 제목, 방법, 모든 수치, 비교 방향, 한계, 페이지 인용을 확인하고 PASS / REVISE / BLOCK 중 하나로 판정해줘. 틀리거나 과장된 표현이 있으면 원문 페이지 근거와 함께 수정안을 제시해줘. [PDF 경로] [요약 초안 경로]프롬프트 3: 초안을 정본 지식으로 승격하기
아래 초안에서 ‘원문으로 확인된 사실’, ‘해석 또는 가설’, ‘아직 확인이 필요한 질문’을 구분해 정리해줘. 정본에 반영하기 전 변경 미리보기를 먼저 보여주고, 내 승인 후에만 실제 정본으로 저장해줘. [초안 경로]로그인하고 댓글을 남겨 주세요
개인 지식 노트에 흩어진 가상자산·자금세탁방지·해외 이전 규제의 맥락에서 출발해 ‘자기수탁 지갑의 위험 판단’이라는 구체적인 연구 질문으로 좁혀가신 과정이 인상적이었어요. 논문을 고를 때 포함·제외 기준을 먼저 세우고, 한국의 VASP 간 트래블룰과 거래소별 개인지갑 사전등록 정책을 구분해 확인하신 점에서 자료를 실제 판단에 연결하는 꼼꼼함이 느껴졌습니다. 확정되지 않은 2026년 강화안은 현행 의무와 섞지 않고 규제 레이더로 따로 남겨두신 태도도 신뢰감을 더해주네요.



자기수탁 지갑 위험이라는 주제보다, AI 요약도 틀릴 수 있다는 것을 실제로 확인한 대목이 이 글의 심장입니다. 요약을 만든 뒤 별도 검수자가 원문 PDF 와 다시 대조했고, "이전 대화의 의도나 결론을 모르는 상태에서 보는 검수라서 더 의미가 있었습니다" 라고 그 이유까지 적어 뒀습니다.
이 한 줄이 왜 중요한지는 무엇을 바꿨는지로 보면 분명합니다. 검수자를 다른 모델로 바꾸는 것과 맥락을 끊는 것은 다른 조치입니다. 같은 세션에 다시 물으면 그 세션은 이미 앞선 결론을 갖고 있어서, 지켜야 할 결론이 생깁니다. 맥락을 모르는 검수는 그 결론을 없앱니다. 도구를 늘리지 않고도 되는 조치라서 비개발자에게 특히 값이 큽니다.
실제로 잡힌 것이 구체적인 것도 좋았습니다. 한 성능 수치가 특정 실험 조건에서만 성립하는데 초안만 읽으면 일반 성능처럼 보였다는 것 — 이건 틀린 숫자가 아니라 범위가 빠진 숫자입니다. 값 대조로는 안 걸리고 원문의 조건부를 열어봐야 걸립니다. 형식 검사와 내용 검사가 다르다는 말이 여기서 사례로 확인됩니다.
무엇을 포함하고 무엇을 뺄지 기준을 자료보다 먼저 정한 순서도 눈에 띕니다. 통과와 탈락 기준을 결과물보다 나중에 만들면 기준이 결론에 맞춰 휘어집니다. 그리고 많이 찾는 것이 아니라 왜 남겼는지 설명할 수 있는 것을 기준으로 삼았다는 대목이 이 시스템의 성격을 정합니다.
"노트를 많이 갖고 있다고 연구 주제가 저절로 생기지는 않더라고요" 도 오래 남습니다. 자료가 쌓이는 것과 다음 질문이 서는 것은 별개라는 얘긴데, 20편에서 4편, 다시 3편으로 좁힌 과정이 그 간극을 메우는 방식이었습니다.
옮겨갈 범위는 넓습니다. 시장 조사, 경쟁사 분석, 법과 정책 추적처럼 새 주제를 조사해 정리하는 작업은 전부 같은 흐름을 씁니다. 다만 조건이 하나 붙습니다 — 초안과 검증 기록과 정본을 분리해 두는 것이 작동하려면 정본으로 올리는 승인 주체가 한 명으로 정해져 있어야 합니다. 승인자가 흐릿하면 세 칸이 그냥 폴더 세 개가 됩니다.
확정되지 않은 규제 예고를 현행 의무로 쓰지 않고 따로 남긴 것, 그리고 형식 경고를 숨기지 않고 초안 상태로 남긴 것이 이 기록을 믿게 만듭니다. AI 요약을 결과물이 아니라 검수할 초안으로 본다는 관점 전환 하나가 전체를 지탱하고 있습니다.