본문으로 건너뛰기

논문을 다시 읽지 않고도 “왜 다른가”를 찾게 만든 연구 지식그래프

Aha

2026.08.12

소개

219편의 논문을 찾고, 45편의 근거 노트를 만들고도 남아 있던 마지막 문제, “이 연구들은 어디서 서로 지지하고 충돌하는가?”를 페이지 근거까지 추적되는 로컬 지식그래프로 구현했습니다.

문헌을 찾는 것과 연구를 이해하는 것은 달랐습니다

첫 번째 사례에서는 ERIC 논문 219편을 조사해 검증된 연구 42편을 정리했습니다. 두 번째 사례에서는 이 자료를 개인 지식관리(PKM) 구조로 바꿔, 질문에 맞는 문헌을 안정적으로 찾도록 만들었습니다.

검색은 잘됐습니다. 그런데 실제 연구를 진행하려면 한 단계가 더 필요했습니다.

  • 어떤 연구는 멘토의 개인적 성향이 성패를 좌우한다고 말합니다.

  • 다른 연구는 현장 멘토 모델이 실패해 대학 코칭으로 전환했다고 보고합니다.

  • 또 다른 연구는 높은 교직 잔류율을 보여주지만, 비교집단이 없어 효과로 해석하면 안 된다고 경고합니다.

문서 검색은 “어느 파일에 있는가”를 알려줍니다. 하지만 저는 “어떤 주장이 어떤 주장을 지지하고, 대조하고, 확장하는가”를 묻고 싶었습니다. 답을 찾으려면 결국 여러 노트를 다시 열고 페이지를 대조해야 했습니다.

그래서 목표를 이렇게 정했습니다.

기존 연구노트는 수정하지 않는다. 근거가 확인되는 주장만 구조화한다. 사람이 확인한 관계를 보존하고 결과를 자동으로 점검한다.

거창한 온톨로지나 그래프 데이터베이스부터 시작하지 않았습니다. 실제 연구 질문에 답할 수 있는 가장 작은 근거 기반 연구 지식그래프부터 만들었습니다.

진행 방법

1. 먼저 “무엇을 믿을 것인가”를 코드 계약으로 정했습니다

AI에게 단순히 “지식그래프를 만들어줘”라고 하지 않았습니다. 그렇게 하면 보기 좋은 관계를 과도하게 만들어낼 수 있기 때문입니다. 대신 다음 원칙을 프롬프트와 테스트에 명시했습니다.

20-knowledge-base/wiki/notes를 읽기 전용으로 사용하라.
Compiled Truth에서 p., Table, Figure 근거가 있는 항목만 claim 노드로 승격하라.
기존 supports, contrasts, extends 링크를 보존하라.
출처 없는 주장은 제외하라.
끊긴 관계, 출처 연결률, 골드 질의를 결정론적으로 채점하라.
기존 연구노트는 수정하지 말고 artifacts에만 출력하라.

핵심은 “AI가 그럴듯한 관계를 새로 발명하지 못하게 하는 것이었습니다. 관계 유형은 이미 노트에 기록된 링크에서 가져오고, 주장 노드는 페이지·표·그림 위치가 표시된 문장만 허용했습니다.

2. 결과보다 테스트를 먼저 만들었습니다

그래프가 완성됐다고 말하려면 최소한 다음 질문에는 답해야 했습니다.

  • 멘토 관련 연구 중 서로 대조되는 주장을 찾을 수 있는가?

  • 높은 잔류율 연구를 비교집단 한계와 함께 제시할 수 있는가?

  • 각 결과에서 원문 노트와 페이지 근거를 역추적할 수 있는가?

  • 존재하지 않는 노트를 가리키는 끊긴 관계가 없는가?

이 질문을 4개의 골드 관계 사례로 만들고, Given / When / Then 구조의 테스트와 실제 CLI 종단간 테스트를 먼저 고정했습니다.

3. Markdown 노트를 “노트-주장-개념” 그래프로 바꿨습니다

구현 흐름은 다음과 같습니다.

Markdown 노트 51개
  → YAML 메타데이터와 Compiled Truth 파싱
  → 페이지 근거가 있는 주장만 추출
  → note / claim / concept 노드 생성
  → links / supports / contrasts / extends 관계 연결
  → graph.json 저장
  → audit / query / grade 실행

그래프는 세 종류의 노드로 구성했습니다.

  • note: 논문 또는 종합 노트

  • claim: 페이지·표·그림 근거가 붙은 주장

  • concept: 멘토링, 잔류, 비교집단 같은 검색 개념

관계는 일반 링크 외에 supports, contrasts, extends, makes_claim, tagged_with로 구분했습니다. 덕분에 “멘토”라는 단어가 있는 문서를 찾는 것을 넘어, 멘토 관련 대조 관계만 골라낼 수 있게 됐습니다.

4. 실제 자료 전체로 실행했습니다

프로젝트 루트에서 다음 명령을 실행했습니다.

uv run --project artifacts/knowledge_graph teacher-kg --workspace . build
uv run --project artifacts/knowledge_graph teacher-kg --workspace . audit
uv run --project artifacts/knowledge_graph teacher-kg --workspace . grade
uv run --project artifacts/knowledge_graph teacher-kg --workspace . query '멘토' --relation contrasts
uv run --project artifacts/knowledge_graph teacher-kg --workspace . query '잔류 비교' --relation supports
uv run --project artifacts/knowledge_graph teacher-kg --workspace . query '잔류 비교' --relation extends

생성된 결과는 모두 JSON으로 남겼습니다.

  • output/graph.json: 전체 그래프

  • output/audit-report.json: 출처 연결률과 끊긴 관계 감사

  • output/grade-report.json: 골드 관계 질의 채점

  • output/query-*.json: 실제 질의 결과

5. 텍스트가 놓친 Windows 한글 출력 오류가 문제였습니다

테스트는 통과했지만 실제 노트로 처음 실행했을 때 Windows 콘솔에서 UnicodeEncodeError가 발생했습니다. 노트 제목에 포함된 특수문자를 기본 CP949 콘솔이 출력하지 못한 것이 원인이었습니다.

CLI 시작 시 표준 출력을 UTF-8로 재설정하도록 수정한 뒤, 같은 실제 명령을 다시 실행해 정상 출력을 확인했습니다. 작은 문제처럼 보이지만 자동화는 샘플 테스트가 아니라 사용자의 실제 환경에서 끝까지 실행되어야 한다는 점을 다시 배웠습니다.

6. 질의 결과를 원문 근거까지 확인했습니다

멘토 + contrasts 질의에서는 다음과 같은 대조가 잡혔습니다.

  • “멘토링 경험의 성패는 모델 구조뿐 아니라 멘토가 가져오는 성향으로 결정된다”(p.3)

  • “첫 3년간 현장 기반 멘토 모델이 작동하지 않았으며, 프로그램의 개념틀을 지지할 멘토를 찾지 못한 것이 원인이다”(p.7)

잔류 비교 + supports 질의에서는 높은 잔류율 수치만 보여주지 않고, 저자가 TRP와 비TRP 비교를 프로그램 효과 추정치로 해석할 수 없다고 명시한 문장(p.4)을 함께 찾았습니다.

연구에서 중요한 것은 숫자를 많이 찾는 것이 아니라, 숫자를 어디까지 해석할 수 있는지 함께 찾는 것이라는 생각이 들었습니다.

결과와 배운 점

실제 실행 결과

항목

결과

전체 Markdown 노트

51개

문헌 노트

45개

페이지 근거가 있는 주장 노드

390개

개념 노드

16개

전체 노드

457개

전체 엣지

648개

유형이 지정된 연구 관계

9개

contrasts 관계

4개

주장 출처 연결률

100%

끊긴 관계

0개

골드 관계 질의

4/4 통과

자동 테스트

5개 통과

Ruff / basedpyright

오류 0개

Before / After

Before

After

검색 결과에서 관련 문서를 연다

관계 유형으로 후보를 바로 좁힌다

여러 노트의 주장을 사람이 다시 대조한다

주장 단위로 양쪽 근거를 함께 본다

인용 위치를 노트에서 다시 찾는다

각 claim에서 원문 노트와 페이지를 역추적한다

링크가 끊겼는지 알기 어렵다

감사 보고서가 끊긴 관계를 자동 집계한다

“잘 되는 것 같다”로 평가한다

미리 정한 골드 사례로 재현 가능하게 채점한다

배운 점

1: 지식그래프보다 먼저 필요한 것은 증거 규칙입니다

노드를 많이 만드는 것은 어렵지 않습니다. 더 어려운 것은 “무엇을 주장으로 인정할 것인가”입니다. 이번에는 페이지·표·그림 근거가 없는 항목을 과감히 제외했습니다. 그래프 크기는 줄어들 수 있지만, 연구자가 결과를 다시 검증할 수 있게 됩니다.

2: 관계를 자동 생성하는 것과 운영 가능하게 만드는 것은 다릅니다

이번 구현은 AI가 논문 사이의 모든 의미 관계를 새로 추론한 시스템이 아닙니다. 사람이 검토해 노트에 남긴 supports, contrasts, extends 관계를 기계가 질의·감사·채점할 수 있게 만든 시스템입니다.

저에게 지금 필요한 것은 화려한 자동 추론보다 틀렸을 때 어디서 틀렸는지 찾을 수 있는 구조였습니다.

3: 작은 골드셋이라도 없으면 개선 방향을 잃습니다

현재 골드셋은 4개 사례뿐입니다. 따라서 4/4 통과를 일반적인 정확도 100%라고 해석할 수는 없습니다. 다만 코드나 노트 구조를 바꾼 뒤, 제가 중요하게 본 관계가 그대로 살아 있는지 확인하는 회귀 테스트로는 유용했습니다.

시행착오와 현재 한계

  • Windows CP949 환경에서 특수문자 출력이 실패해 CLI를 UTF-8로 보정했습니다.

  • 관계 자체는 정확히 찾더라도, 각 노트에서 대표 claim을 고르는 단계는 단순한 키워드 겹침 점수를 사용합니다. 어떤 질의에서는 핵심 결론보다 방법론 문장이 먼저 선택될 수 있습니다.

  • 양방향으로 기록된 대조 관계가 검색 결과에서 중복처럼 보일 수 있습니다.

  • 현재 4개 골드 사례는 시연용 최소 세트입니다. 더 넓은 주제에서 성능을 주장하려면 골드셋을 늘려야 합니다.

따라 하실 분께 드리는 팁

  1. 처음부터 Neo4j나 복잡한 온톨로지로 시작하지 마세요. 본인이 반복해서 묻는 연구 질문 2~3개부터 정하는 편이 낫습니다.

  2. 주장 노드에는 반드시 페이지·표·그림 같은 역추적 정보를 넣으세요.

  3. 원문 노트와 생성 산출물을 분리하세요. 자동화가 정본을 덮어쓰면 신뢰하기 어렵습니다.

  4. AI에게 “관계를 많이 찾아라”보다 “출처 없는 관계는 만들지 마라”를 먼저 지시하세요.

  5. 샘플 파일만 테스트하지 말고 실제 한글 경로와 Windows 콘솔에서 끝까지 실행해 보세요.

도움이 필요한 부분

아래 세 가지에 대한 피드백이 필요합니다.

  • supports / contrasts / extends만으로 연구 관계를 충분히 표현할 수 있는가?

  • 같은 대조 관계의 양방향 중복을 화면에서 어떻게 보여주는 것이 자연스러운가?

  • 키워드가 아니라 연구질문·대상·성과·맥락을 이용해 대표 claim을 고르는 것이 더 유용한가?

앞으로의 계획

  • 골드 관계를 4개에서 주제별 최소 20개 이상으로 확대

  • 연구대상, 비교집단, 결과변수, 맥락을 별도 필드로 구조화

  • 대표 claim 선택 로직 개선

  • 필요할 때만 GraphML 또는 시각화 화면 추가

  • 새 논문이 들어오면 그래프 생성, 감사, 골드 채점을 한 번에 실행하는 파이프라인 구성

참고한 지피터스 글이나 외부 사례를 알려주세요.

스터디장님(엔지니어H) 강의와 유인물

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.12

219편 논문에서 45편 근거 노트, 그리고 지식그래프까지—단계마다 문제를 명확히 정의하고 이어간 흐름이 잘 보여요. 특히 AI가 관계를 발명하지 못하도록 "페이지·표·그림 근거가 있는 주장만 claim 노드로 승격"이라는 코드 계약을 프롬프트와 테스트 양쪽에 명시한 게 핵심이었겠죠. 전세사기처럼 오탐이 치명적인 영역이 아니더라도, 그럴듯한 관계를 AI가 만들어내면 연구 신뢰성이 흔들리니까요.

결과보다 테스트를 먼저 만들고—멘토 관련 대조 주장 찾기, 비교집단 한계 포함한 잔류율 제시, 끊긴 관계 없음 확인—그 질문들을 Given/When/Then 구조로 고정한 뒤에 구현에 들어갔다는 순서가 인상적이에요. 🐈‍⬛

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기