본문으로 건너뛰기

온톨로지 스키마를 넓히자 세부 값 정답률이 오르고, RAG와 함께 쓰면 RAG 단독보다 높았습니다

Knock

2026.10.13

1) 지난주 결론과 이번 목적

지난주에는 정책자금 공고 94종으로 온톨로지를 만들어 일반 LLM, RAG, LLM 위키와 비교했습니다. 원문만 보고 낸 문제에서 온톨로지의 정답률은 RAG(34~38/50), LLM 위키(34/50)보다 크게 낮았습니다(10~13/50). 이유는 대부분 스키마가 공고의 정보 구조를 수용하지 못해서였습니다. 스키마는 접수 기간 하나, 한도 하나만 담았는데 질문은 분기별 접수 일정, 한도 구간, 금리와 상환 조건을 물었습니다. 그래서 관심이 "데이터를 구축하고 검증하는 방법"으로 옮겨 갔습니다.

이번 목적은 네 가지입니다.

  • 온톨로지 스키마를 넓혀(v3) 세부 값 질문의 정답률이 얼마나 오르는지 본다. (4장 1))

  • RAG와 비교하고, 온톨로지와 RAG를 함께 쓰면 어떤지 본다. 판정이 필요한 결론형에서 온톨로지가 유리한지도 확인한다. (4장 2))

  • 비정형 문서를 온톨로지로 만들고 그 데이터를 검증하는 데 필요한 방법을 얻는다. (4장 3))

  • 자금 하나를 온톨로지에 넣고 질문에 답하는 데 드는 토큰과 비용을 본다. (7장)

2) 질문 유형

질문 유형 2종류(세부형, 결론형)로 정책자금 19종에서 100개의 질문을 뽑았습니다. 결론형은 날짜와 금액을 계산해 결론을 내야 합니다. 그래서 판정 엔진이 있는 온톨로지가 유리할 거라고 기대한 유형이고, 지난주에도 온톨로지는 이 유형에서 좋은 점수를 받지 못했습니다.

유형

묻는 것

예

개수

세부형

공고에 적힌 세부 값

대구 소상공인 지원자금은 언제 접수를 시작하고 어떻게 마감되나요? 회차별 배정액은?

76 (19종 × 한도·금리·상환·접수)

결론형

사업자 상황을 주고 판정을 묻는 질문

대구 수성구 커피 전문점, 개업 2021년, 직원 2명, 연매출 2.1억인데 신청할 수 있나, 최대 한도는?

24

2. 결론

1) 결과

  1. 세부형: 스키마를 넓히자(v3) 온톨로지의 정답률이 69%에서 86%로 올랐습니다. 가장 크게 오른 것은 접수(37%→87%)입니다. RAG에 v3 값을 더하면 85%로, RAG만(77%)보다 높았습니다.

  2. 결론형: 이번 실험에서는 판단을 보류합니다. 이유는 두 가지입니다.

    • 이번 결론형은 자금을 지정해 준 한 자금의 판정이었습니다. 여러 자금을 한 번에 판정하거나 맞는 자금을 찾는, 온톨로지가 유리할 것으로 본 부분은 재지 못했습니다. 이 조건에서는 v3를 더해도, 판정 엔진을 붙여도 RAG와 같았고(87%와 88%), LLM 위키가 98%로 가장 높았습니다.

    • 지난주 기존 온톨로지의 결론형 오답은 원인이 계산보다 데이터 모델과 질의기에 있었습니다(오답 8문항 중 계산 오류 2, 속성 부재 4, 근거 누락 1, 질의기의 결과 필터링 1). 이 원인을 고치기 전에는 판정 방식 자체를 평가하기 어렵습니다.

    사업자 상태만 주고 받을 수 있는 자금을 모두 찾게 하는 시험을 별도로 추가할 예정입니다(5장).

2) 인사이트 요약

  • 지난주 온톨로지의 낮은 정답률은 스키마 커버리지 문제였습니다. 기존 스키마는 접수를 applicationPeriod 하나(from, to)로만 담아 회차를 표현하지 못했습니다. 접수 회차(ApplicationRound) 클래스를 추가하자 접수 질문이 37%에서 87%로 올랐습니다. 금리·상환은 기존에도 문자열 속성(rate, term)으로, 한도는 limit으로 담겨 있어 클래스로 바꿔도 차이가 작았습니다. 스키마는 질문이 요구하는 정보 구조에서 역산해 설계해야 합니다. (4장 1))

  • 온톨로지와 RAG를 함께 활용하면 정답률이 올라갑니다. RAG(자금 지정) 77%, 온톨로지 v3 + RAG 85%입니다. 검색 범위를 해당 자금 문서로 제한하는 것도 오르는 경향이었지만(RAG 전체 69%→자금 지정 77%) 우연일 가능성을 배제하지 못했습니다(p=0.06). 다만, 온톨로지 자체의 효과라기보다는 정보를 분리한 효과입니다. 세부형에는 정보를 클래스·속성으로 나눠 담은 부분만 쓰였고, 관계와 추론(그래프 탐색, 판정 엔진)은 쓰이지 않았습니다. 관계와 추론이 쓰인 결론형 질문에서는 정답률이 RAG와 큰 차이가 없었습니다(87% 대 88%). (4장 2))

  • 자금 하나를 넣는 AI 비용은 약 $0.4이고, 진짜 비용은 사람 검수입니다. 위키 정리, 요건 규칙 추출·검증, v3 추출·검증을 모두 합친 값입니다. 판정 엔진은 자금마다 만들지 않고 새 요건 유형이 나올 때만 고칩니다. 이번 실험의 토큰 대부분은 방식 비교(풀고 채점)에 들어 운영에서는 반복되지 않습니다. (7장)

  • 추출 품질은 입력 전처리에서 갈립니다. 추출 입력의 원문 파일 범위를 확인하고, 표는 PyMuPDF 표 추출로 읽고, 정답 세트도 원문과 대조합니다. (4장 3))

3. 진행 방법

1) 순서

원문은 한 자금의 근거 문서 전체(공고문, 안내 책자, FAQ, 변경공고, 법령)입니다. 자금 하나에 문서가 여러 개일 수 있습니다.

  1. 스키마 넓히기(v3). 한도 구간(LimitTier), 접수 회차(ApplicationRound), 금리 조건(RateTerm), 상환 조건(RepaymentTerm) 클래스를 만들었습니다.

  2. 추출과 인스턴스화. LLM이 원문을 읽고 자금의 인스턴스를 만들었습니다. 값마다 근거가 된 원문 문장을 함께 저장했습니다.

  3. 정답 만들기. 추출과 분리된 검증 에이전트(Sonnet) 5개가 원문만 보고 19종의 한도, 금리, 상환, 접수 정답을 만들었습니다.

  4. 질문 만들기. 세부형 76개는 이 정답에서 항목마다 하나씩 만들었습니다. 결론형 24개는 지난주 계산 문제입니다.

  5. 풀고 채점하기. 같은 질문을 아래 조건으로 풀고, Opus가 정답표의 필수 항목을 몇 개 충족했는지 셌습니다.

    • RAG (전체 자금): 모든 자금의 문서에서 질문과 가까운 구절 5개 (지난주 RAG와 같은 검색)

    • RAG (자금 지정): 질문이 지목한 자금을 지정해 주고 그 자금의 문서에서만 찾은 구절 5개

    • 기존 온톨로지, 온톨로지 v3: 기존 인스턴스만, 또는 v3 인스턴스를 더 읽음

    • 온톨로지 v3 + RAG: RAG(자금 지정)에 v3 값을 더함. 결론형은 엔진 판정도 더함

  6. 지난주 결과 다시 세기. 지난주 결론형 24문항의 답을 이번 채점기로 다시 채점하고, 온톨로지가 오답을 낸 원인을 분류했습니다.

2) 참고: v3에서 스키마를 넓힌 예시 (경남 공고의 금액)

기존 스키마는 자금의 금액을 한도(limit) 하나로만 담았고, 회차별 배정액 같은 금액은 note와 인용 문장 속에 섞여 있었습니다. v3는 뜻에 따라 나눠 담습니다. 경남 공고에는 서로 뜻이 다른 금액이 세 개 나옵니다.

금액

뜻

v3에서 들어간 곳

3천만원

한 업체가 받는 최대 금액

한도 구간(LimitTier). value=30000000, unit=원, basis=「업체당 최대」

150억원 (1월, 7월)

경상남도 전체의 회차별 배정액

접수 회차(ApplicationRound) 2개. allocation의 value=15000000000, unit=원

300억원

자금 전체 규모

값으로 저장하지 않고 한도 구간의 note 문장으로만 남김

4. 인사이트 및 아쉬운 점

1) 핵심 발견: 온톨로지를 수정하자(v3) 세부 값 질문의 정답률이 올랐습니다

결론: 세부형 질문 76개의 정답률이 69%에서 86%로 올랐습니다. 같은 질문끼리 비교하면 실험군(온톨로지 v3) 우세 16문항, 대조군(기존 온톨로지) 우세 2문항입니다(p=0.001). 가장 크게 오른 것은 접수(37%→87%)입니다.

항목

기존 온톨로지 (대조군)

온톨로지 v3 (실험군)

한도

84%

88%

금리

86%

88%

상환

76%

77%

접수

37%

87%

정답률 (오차 범위)

69% (61~75%)

86% (79~90%)

접수가 크게 오른 것은 회차, 시작일, 배정액을 나눠 담는 접수 회차(ApplicationRound) 클래스가 생겼기 때문입니다(예시는 3장 2)). 한도, 금리, 상환은 기존 스키마에도 속성이 있어 차이가 작았습니다.

v3 값을 더해도 결론형 판정이 흔들리지 않는지도 확인했습니다. 결론형 24문항에서 87%로 같았습니다. 판정은 엔진이 요건 규칙으로 계산하고 v3는 그 규칙을 바꾸지 않으므로 예상한 결과입니다.

2) 핵심 발견: 온톨로지 v3 + RAG가 RAG보다 정답률이 확실히 높았습니다

결론: RAG보다 확실히 나은 것은 온톨로지 v3 + RAG입니다(필수 항목 충족률 85% 대 77%, p=0.013). 온톨로지 v3 단독은 충족률이 86%로 높지만, 질문 하나를 빠짐없이 맞힌 수는 54개로 RAG(55개)와 같았습니다. RAG를 더하면 61개로 가장 많았습니다. v3가 구조화된 값을 주고, 원문 구절이 빠진 세부를 채운 것으로 보입니다. 결론형은 자금을 지정한 판정이라 별도 실험으로 판단합니다.

a. 세부형 76문항

항목

RAG (전체 자금)

RAG (자금 지정)

온톨로지 v3

온톨로지 v3 + RAG

한도

55%

72%

88%

84%

금리

79%

83%

88%

89%

상환

76%

84%

77%

88%

접수

66%

70%

87%

81%

합계 (오차 범위)

69% (61~76%)

77% (69~83%)

86% (79~90%)

85% (79~90%)

질문 단위 완전 정답 (모든 필수 항목 충족)

44/76

55/76

54/76

61/76

같은 질문을 두 방식으로 풀어 질문마다 필수 항목 충족 비율을 비교했습니다. 「우세」는 그 질문에서 필수 항목을 더 많이 충족한 쪽입니다. 나머지 질문은 동점이었습니다. p는 차이가 없는데도 우연히 이만큼 기울 확률이고, 0.05보다 작으면 차이가 있다고 판단합니다. 비교를 여러 번 했으므로 0.05에 가까운 값은 경계선으로 봅니다.

대조군 → 실험군

실험군 우세

대조군 우세

p

판단

RAG 전체 → RAG 자금 지정

14

5

0.064

차이 없음 (경계선)

RAG 자금 지정 → 온톨로지 v3 + RAG

14

3

0.013

유의미

RAG 자금 지정 → 온톨로지 v3

15

10

0.42

차이 없음

온톨로지 v3 → 온톨로지 v3 + RAG

12

7

0.36

차이 없음

비고

  • 정답률을 올린 것은 v3 값입니다. 온톨로지 v3(86%)에 RAG를 더해도 85%로 차이가 없었습니다.

  • RAG보다 확실히 높다고 말할 수 있는 것은 온톨로지 v3 + RAG입니다. 온톨로지 v3만으로는 RAG(자금 지정)와의 차이가 우연일 수 있습니다(필수 항목 충족 p=0.42, 질문 단위 완전 정답 54 대 55). 질문 단위 완전 정답은 v3 + RAG가 v3 단독보다 많았지만(61 대 54, 같은 질문끼리 12 대 5) 우연을 배제할 만큼은 아닙니다(p=0.14).

  • 정답도 판정해 고쳤습니다. 정답과 v3 값이 다른 33개 항목을 판정 에이전트(Opus)가 원문과 대조해 가렸습니다. 정답이 맞음 12, 둘 다 맞음(표기·분류 차이) 14, v3가 맞음 3, 둘 다 일부만 맞음 2, 판단 불가 2입니다. 정답이 틀렸거나 모자란 5개 항목을 고쳐 그 질문만 다시 채점했고, 위 표는 고친 뒤의 수치입니다.

  • 자금을 지정해 준 조건입니다. 운영에서는 자금을 찾는 단계가 따로 필요합니다.

b. 결론형 24문항 (참고)

이번 주까지 진행한 테스트는 자금을 지정해서 진행한 판정이었고, 결론형에서 온톨로지가 유리하게 잡히지 않았습니다. 결론형의 판단은 별도의 실험으로 진행할 예정입니다(5장).

참고로 기존 온톨로지만으로는 44%, 여기에 RAG를 붙이면 87%로 RAG(자금 지정) 88%와 같았고, LLM 위키가 98%로 가장 높았습니다.

3) 비정형 문서를 온톨로지로 만드는 데 필요한 팁

  • 값이 비면 모델을 의심하기 전에 AI에게 준 원문부터 봅니다. 충북 접수 회차 표는 hwp 변환 파일에만 있었는데 읽는 범위에 없어서 비어 있었습니다.

  • 표는 표 전용 도구로 읽습니다. pdf 별표3(소기업 매출 상한 표)은 일반 텍스트 변환으로는 병합 셀이 풀리지 않아 열이 어긋났습니다. 파이썬 라이브러리 PyMuPDF의 표 추출로 병합 셀을 채운 43행 표를 만들고 원본 이미지와 대조하자 값이 제대로 뽑혔습니다. 판정에 쓰던 매출 상한 값 세 개가 원문과 달랐다는 것도 이때 드러났습니다. 다른 표에서도 잘 되는지는 확인하지 않았습니다.

  • 정답도 원문과 대조합니다. 먼저 만든 정답 20개 중 14개에 판정을 바꾸는 오류가 있었습니다.

4) 아쉬운 점

  • 정답도 AI가 만들고 AI가 판정했습니다. 사람의 확인은 거치지 않았고, 판단 불가 2개 항목은 그대로 두었습니다.

  • 세부형 76문항은 틀 문장이라 실제 질문보다 단순하고, 한 번씩만 풀었습니다.

  • 자금을 지정해 준 조건입니다. "자금을 찾아 주는 온톨로지"의 가치는 재지 못했습니다. 자금 이름이 없는 실제 질문으로 답까지 보는 시험이 필요합니다.

5. 이후 계획

  1. 결론형 추가 시험: 받을 수 있는 자금 모두 찾기. 먼저 알려진 오답 원인(신용평점 구간표·연령 기준일 같은 빠진 속성, 질의기의 결과 필터링)을 고친 뒤 시험합니다. 사업자의 상태 정보만 주고 "받을 수 있는 자금을 모두 알려줘"라고 묻습니다(예: "충북 청주 한식당, 개업 2021년, 직원 4명, 연매출 2억인데 받을 수 있는 자금은?"). 온톨로지(엔진이 전체 자금을 판정), RAG(전체 자금), LLM 위키, 온톨로지 후보 + RAG를 비교해, 맞는 자금을 빠짐없이 찾는지와 엉뚱한 자금을 넣지 않는지, 질문당 토큰을 봅니다. 결론형에서 온톨로지가 유리한지는 이 시험으로 판단합니다.

  2. 서술형 규정을 별도 클래스로 담을지 검토하기 (RAG로 충분하면 만들지 않음)

  3. 지난주에 미뤄 둔 SHACL 제약 검증과 해석 원칙 기록

6. 그래도 온톨로지가 도움이 되는 것

그래도 온톨로지가 도움이 되는 것을 뽑아보면 다음과 같습니다.

도움이 되는 것

근거

확인 여부

세부 값을 정해진 속성으로 주면 정답률이 오른다

RAG(자금 지정) 77%에 v3 값을 더하면 85%(p=0.013). 원문 구절을 받은 상태에서도 올랐습니다. 다만 관계 없이 잘 짠 추출 템플릿으로도 될 수 있습니다

측정함

검증할 수 있는 데이터가 된다

정답과 항목 단위 자동 대조(76개 중 43개 일치), 값마다 원문 근거 문장 저장, 엔진의 매출 상한 값 3개 오류 발견. RAG와 위키의 답은 문장이라 이런 대조가 어렵습니다

측정함

자금 전체를 빠짐없이 판정하고 되물을 질문을 낸다

판정 엔진이 94종을 요건별 충족, 불충족, 미확정으로 나눕니다. 로컬 계산이라 토큰 0이고, 미확정 요건이 되물을 질문이 됩니다

기능만 확인, 정확도는 재지 않음

자금을 찾아 주는 단계를 맡는다

자금 이름이 없는 질문은 전체 문서 검색으로 정답 구절을 상위 5개 안에 4%만 찾았고, 자금을 정해 주면 69%였습니다. 지역, 업종, 업력 같은 속성으로 후보를 좁히는 일은 온톨로지가 할 수 있습니다

재지 않음 (5장 1번)

반대로 이번 실험에서 온톨로지의 이유가 되지 못한 것도 있습니다. 결론형 판정 정확도는 기존 온톨로지 + RAG 87%로 RAG(자금 지정) 88%, LLM 위키 98%보다 높지 않았고, 질문 하나의 토큰도 온톨로지만 조건(약 2만)이 RAG(약 0.8만)보다 많았습니다. 정리하면, 온톨로지는 답을 쓰는 도구로서는 RAG나 위키보다 낫지 않았지만 값을 구조화해 정답률을 보태고 데이터를 검증 가능하게 만들었습니다. 운영에서의 가치는 자금 찾기와 전수 판정에 있을 수 있지만 아직 재지 않았습니다.

7. 참고: 토큰 소모량과 비용

1) 자금 하나를 넣는 전체 비용

운영에서 자금 하나를 온톨로지에 넣을 때 드는 AI 비용입니다. 이번 주에 한 v3 단계뿐 아니라 지난주까지 한 위키 정리와 요건 규칙 단계도 넣었습니다. 금액은 API 정가 기준으로 예측했습니다.

단계

하는 일

토큰

금액

근거

1. 원문 → LLM 위키

공고 원문을 위키 쪽으로 정리(추출의 입력)

기록 없음

약 $0.06 (원문 1건 $0.16, 원문 100건에 자금 약 270종)

docs/31

2. 요건 규칙 추출

판정 엔진이 쓸 자격·제외 규칙 초안

기록 없음

약 $0.14~0.20

docs/31

3. 요건 규칙 검증

규칙을 원문과 다시 대조

약 1.5만

약 $0.04

docs/30 (94종 약 139만)

4. v3 추출

한도·금리·상환·접수 인스턴스 만들기

약 2.4만~2.7만

약 $0.06~0.07

이번 주

5. v3 검증

검증 에이전트의 독립 정답과 대조, 다른 항목만 판정

약 3만

약 $0.08

이번 주

AI 합계

약 $0.38~0.45

6. 사람 검수

초안을 그대로 쓸 수 없어 사람이 확인

15~60분 (가정, 아직 재지 않음)

docs/31

  • 판정 엔진은 자금마다 만들지 않습니다. 자금들의 요건 규칙을 읽어 계산하는 공통 코드라, 자금이 늘면 규칙 데이터(2·3단계)만 늘어납니다. 엔진은 처음 한 번 만들고, 지금 규칙으로 담을 수 없는 새 요건 유형(예: 신용평점 구간 하락, 시행연도 1월 1일 기준 연령)이 나올 때만 고칩니다. 엔진과 질의기·추출기 개발은 Claude Code 작업 대화로 해서 토큰 기록이 없습니다.

  • AI 비용보다 사람 검수가 큽니다. 검수를 15분만 잡아도 시급 3.5만 원 기준 약 9천 원으로 AI 비용의 10배가 넘습니다. 자동 검증(근거 문장 대조·형식 점검 같은 코드 점검과 검증 에이전트)으로 사람이 볼 항목을 줄이는 것이 비용을 줄이는 핵심입니다.

2) 질문 하나에 답하는 비용

질문

토큰

금액

세부형 (자금 하나의 값을 물음)

약 0.8만

약 $0.02

결론형 (자연어를 프로필로 옮기기 포함, 판정 엔진은 로컬 계산이라 0)

약 2.4만 (24문항 평균)

약 $0.06

  • 운영 비용은 질문 수에 비례합니다. 지금 수치는 질문이 자금 하나를 가리키는 경우입니다.

  • 「받을 수 있는 자금 모두」처럼 여러 자금을 보는 질문은 온톨로지는 엔진이 로컬에서 판정해 거의 늘지 않고, RAG와 위키는 읽을 자금 수만큼 늘어납니다(5장 1번에서 잴 예정).

3) 이번 실험에 쓴 토큰

방식을 비교하는 연구 비용이라 운영에서는 반복되지 않습니다. 글을 쓰고 코드를 고친 작업 대화는 뺐습니다.

묶음

토큰

금액

데이터 구축 (자금 39종의 v3 추출, 방식 시험과 재추출 포함)

약 129만

약 $3.2~3.5

정확성 측정 (정답 만들기, 질문·정답표 작성, 다섯 조건으로 풀고 채점, 재채점)

약 1,109만

약 $28~30

  • 정확성 측정 중 세부형 질문 4개를 한 조건으로 풀고 채점하는 데 자금당 RAG 약 4만(약 $0.10), 온톨로지만 약 8~9만(약 $0.20~0.24)이 들었습니다. 온톨로지만 조건은 질문마다 여러 번 호출해 RAG의 약 2배입니다.

  • 금액은 토큰 대부분이 캐시 읽기라 100만 토큰당 약 $2.5~2.7로 계산했습니다(Sonnet 5.5 입력 $2·캐시 읽기 $0.10·출력 $10, Opus 5.5 입력 $4·캐시 읽기 $0.20·출력 $20, 100만 토큰당).고, 어떻게 활용하셨나요?

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

DECK 프로필 이미지
DECK2026.10.14

접수 기간이라고 하면 시작일과 마감일 두 칸부터 떠올렸습니다. 회차가 빠지면 같은 날짜 정보도 질문에 답할 수 없다는 대목에서, 제가 생각한 ‘기간’이 꽤 단순했음을 느꼈어요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기