AI 답변을 좀 더 믿고 싶다(희망편) : 검증 가능한 법령 LLM Wiki를 만든 3박 4일
2026.09.20

## 📝 한줄 요약
판례·논문·조문을 따로 찾아 대조하던 업무를, 한 번의 질문으로 근거와 사건번호까지 확인하는 중대재해처벌법 거대언어모델(LLM) 위키로 바꿨다. 첫 구조는 6시간 만에 버렸고, 두 번째 구조에서는 자료를 많이 넣는 것보다 답변을 검증하는 장치를 먼저 세웠다.
## 🎯 이런 분들께 도움돼요
- 사내 문서나 법령 자료에 AI 검색을 붙이되, 답변의 정확성을 별도로 검증하고 싶은 조직
- 다른 법령 분야에서 근거 중심 LLM Wiki를 만들려는 실무자
- 판례·법령·행정해석을 반복해서 찾아야 하는 관계자
## 😫 문제 상황 (Before)
안전보건 업무에서 필요한 답은 한 문서에 있지 않다. 법 조문을 읽고, 관련 판례를 찾고, 논문과 행정해석을 대조해야 한다. 자료가 흩어져 있으니 검색에 시간이 오래 걸렸다. 같은 쟁점을 다음에 다시 검토할 때도 비슷한 탐색을 반복해야 했다.
일반 AI에 질문하면 더 빠를 때도 있었다. 문제는 답변이 부정확할 때가 많았다는 점이다. 그럴듯한 문장 아래에 어떤 판결과 원문이 있는지 추적하기도 어려웠다. 결국 빠르게 받은 답을 다시 처음부터 검증해야 했다.
처음 요구사항은 구체적이었다.
```text
/ouroboros:interview # 중대재해처벌법 LLM Wiki 구축
## 1. 목적
- 중처법 관련 질의응답과 사례 검색
- 예: "원청 무죄·하청 유죄 사건 찾아줘", "안전보건관계자 평가 미흡으로 유죄된 사건과 레슨런·평석 찾아줘"
## 2. 보유 데이터
- 판례: 대부분 다운로드 완료, 최근 판례는 연동 필요
- 논문·평석·기사: 2026년 8월 말까지 수집
- 법조문: 중처법·시행령 추가 필요 (산안법 위키는 별도 구축됨)
## 3. 요청사항
- 위 데이터로 LLM Wiki 구조 설계 및 구축
- 판례는 피고인별(원청/하청, 경영책임자/법인) 판결결과, 법원이 인정한 위반 조항, 무죄 사유를 검색 가능하게 정리
- 판례 ↔ 평석·기사 ↔ 조문 상호 연결
- 최근 판례 증분 업데이트 방식 포함
## 4. 기타
- 원문은 수정하지 말고, 사건번호·선고일 등은 원문 값만 사용
- 법원 판단과 평석·기사 의견은 구분 표기
- 근거 없는 내용은 생성하지 말고 [확인필요] 표기
- 스키마 초안을 먼저 제안받고 검토 후 구축 진행
```
## 🛠️ 사용한 도구
| 도구 | 역할 | 선택 이유 |
|---|---|---|
| Claude Code | 전체 작업 지휘, 스키마 설계, 자료 적재, 질의, 검증 | 실제 파일과 원문을 읽고 수정 이력을 남기면서 긴 작업을 이어갈 수 있었다 |
| 옵시디언(Obsidian) 볼트 | 원천 자료와 위키 문서 저장 | 사람이 직접 읽을 수 있는 마크다운 문서로 원문과 정리 결과를 함께 관리할 수 있었다 |
| LLM Wiki | 질의 경로와 자료 연결 | 판례·조문·행정해석·논문을 근거 등급에 따라 연결할 수 있었다 |
| Grok 워커 | 판결과 논문의 병렬 컴파일 | 대량 자료를 여러 묶음으로 나눠 처리했다 |
| Orca 워커 | 외부 실무 질문 수집과 분류 | 실제 사용자가 올린 질문을 평가 데이터로 모았다 |
| 검증 도구 | 인용 대조, 자료 수 계산, 회귀시험 | AI의 자기보고와 실제 파일 상태를 분리해 확인했다 |1. 6시간 만에 첫 구조를 버렸다
첫 번째 위키는 우로보로스(Ouroboros)로 만들었다. 파일 수와 헤딩 존재 같은 형식 검사는 잘 통과했다. 그러나 실제 내용을 재보니 판결 위키 167장에 [확인필요]가 1,724회 남아 있었다. 첫 실행은 스스로 12개 조건을 모두 통과했다고 보고했지만, 외부 검증에서는 12건 전부 거절됐다.
형식은 채워졌지만 답변에 쓸 내용은 부족했다. 중간에 자료와 규칙을 계속 추가하면서 적재(ingest) 과정도 꼬였다. 09월 18일 21시 11분, 기존 구조를 고치는 대신 새 폴더에서 다시 시작하기로 했다.
```text
현재 짜여진 llm wiki의 문제점을 분석해줘.
내가 이거 우로보로스로 돌리고 있는데. 중간중간에 내용추가하고. 파일 추가하고 이러다보니가 오히려 인제스트 이런게 꼬인거 같은 느낌이야.
그래서 이번에는 우로보로스 말고 llm wiki에 있는 스킬등을 이용해서 온보딩부터 시작하려고해. 새로운 위키폴더에서.
이렇게 할 경우 주의해야될 사항 등을 고려해서 프롬프트를 적어줘.
전체프로젝트 및 우로보로스 시드 등을 파악해서 답해줘
```2. 자료보다 규칙을 먼저 넣었다
두 번째 위키에서는 순서를 바꿨다. 먼저 스키마(schema)를 만들고, 질문 유형과 근거 등급, 원문 인용 방식, 사람이 확인해야 할 지점을 정했다. 그다음 자료를 넣었다.
중요한 구조 결정은 AI에 넘기지 않았다. AI가 제안한 뜻을 이해하지 못하면 바로 물었고, 근거를 확인한 뒤 채택하거나 버렸다. 실제 작업에서는 AI의 결론이 사용자 질문으로 여러 번 뒤집혔다. 엔티티 페이지를 만들지 않기로 한 결정, 조문 전문과 선별 수록을 나눈 결정, 발췌를 개념 페이지 한 곳에만 두기로 한 결정이 그 결과다.
최종 질의 경로도 질문에 따라 나눴다.
- 조문만 묻는 질문: 조문을 우선 확인한다.
- 법 해석을 묻는 질문: 판례, 행정해석, 학설을 근거 등급에 따라 확인한다.
- 통계를 묻는 질문: AI가 눈으로 세지 않고 도구로 계산한다.
- 자료로 답할 수 없는 질문: 수집 공백, 법적 공백, 확인 실패를 구분해서 말한다.
3. 좋은 답변도 오래 걸리면 실무 도구가 아니다
실제 질의를 던지자 품질과 속도 문제가 동시에 드러났다.
```text
/query 중대재해처벌법 상상적 경합관계 관련해서 다룬 판례를 소개해줘.
```
답변은 대법원 1건, 항소심 5건, 제1심 1건과 학설 6명을 근거 등급별로 정리했다. 내용은 좋았지만 약 5분이 걸렸다. 바로 다음 질문에서 문제를 제기했다.
```text
내용은 좋은데. 시간이 너무 오래걸리는데...?
이건 일단 다 파싱하고 나중에 정리를 해야되나?
의견을 말해줘.
```분석 결과, 이미 끝난 자료 적재가 원인은 아니었다. 반복 탐색, 높은 추론 강도, 긴 서술이 대부분의 시간을 차지했다. 같은 실무 질문을 고정하고 다시 시험했다. 도구 호출을 묶고, 질문 유형에 따라 탐색 범위를 조정하고, 답변 길이의 상한을 정했다.
같은 조건을 비교한 결과는 다음과 같다.
| 지표 | 1차 | 3차 | 변화 |
|---|---:|---:|---:|
| 문항당 평균 응답 시간 | 280초 | 163초 | 42% 감소 |
| 문항당 최대 응답 시간 | 399초 | 214초 | 46% 감소 |
| 10문항 전체 벽시계 | 12분 12초 | 3분 34초 | 71% 감소 |
| 답변 본문 평균 | 4,253자 | 1,274자 | 70% 감소 |속도만 좋아진 것은 아니었다. 3차 답변의 인용 40건은 모두 원천 자료에서 추적됐다. 동시에 새 결함도 보였다. 인용의 71%가 검증기가 읽지 못하는 인라인 형식으로 들어갔다. 성능 개선이 검증 형식을 약하게 만들 수 있다는 사실까지 시험 결과로 남겼다.
✅ 결과 (After)
Before vs After
| 항목 | Before | After |
|---|---|---|
| 자료 탐색 | 판례·논문·조문을 각각 검색하고 사람이 대조 | 한 번의 질의에서 관련 근거와 사건번호를 함께 제시 |
| AI 답변 신뢰 | 그럴듯하지만 출처와 정확성을 다시 처음부터 확인 | 원문 발췌, 근거 등급, 독립 인용 대조로 확인 |
| 자료 구조 | 형식만 갖춘 판결 페이지 167장, `[확인필요]` 1,724회 | 원천 자료 335건과 위키 문서 212장을 스키마로 연결 |
| 품질 평가 | AI의 자기보고와 파일 수 중심 | 내부 10문항과 외부 실무 질문 140건을 분리 |
| 응답 성능 | 같은 실무 질문의 평균 280초 | 평균 163초, 최대 214초까지 단축 |확인 가능한 결과물
- 원천 자료(Raw Sources) 335건: 판결문 167건, 논문 158편, 법령 9건, 행정해석 1건
- 위키 문서 212장: 판결 카드 171장, 개념 페이지 39장, 맵 2장
- 외부 실무 질문 140건, 우선 평가 대상 38건, 반복 비교용 고정 질문 10건
- 내부 회귀시험 T1부터 T10까지 10문항
완성됐다고 선언할 단계는 아니다. 판결 원천 자료 167건 중 개념 페이지가 인용한 판결은 92건이고, 논문 158편 중 인용된 논문은 77편이다. 기사와 평석 246건은 두 번째 위키에 아직 넣지 않았다. 인라인 인용과 검증기 형식의 충돌도 남아 있다.
그래도 이전과 다른 점은 분명하다. 무엇이 들어왔고 무엇이 비었는지, 어느 답변과 검사가 틀렸는지 다시 셀 수 있게 됐다.
💬 이 과정에서 배운 AI 활용 팁
효과적이었던 것
1. 스키마와 시험을 자료보다 대략적으로 잡아주고 계속 업데이트 해준다. 대량 적재 뒤에 규칙을 바꾸면 모든 문서를 다시 손봐야 한다.
2. 중요한 결정은 사람이 뜻을 이해한 뒤 확정한다. AI에게 “추천안을 실행해”라고 하기 전에 왜 필요한지, 기존 규칙과 충돌하지 않는지 묻는다.
3. AI의 자기보고를 그대로 믿지 않는다. 답변자와 검토자를 나누고, 인용은 원문에서 다시 확인한다.
4. 실제 업무 질문을 고정해 반복한다. 같은 질문으로 정확도, 시간, 답변 분량을 비교해야 개선 여부를 알 수 있다.
5. 모른다는 답을 세분한다. 자료를 아직 모으지 못한 것, 법적으로 정리되지 않은 것, 검증에 실패한 것은 서로 다른 문제다.
이렇게 하면 안 돼요
- 첫 설계가 아깝다는 이유로 계속 덧붙이면 오염을 고치는 비용이 새로 만드는 비용보다 커질 수 있다.
- 답변 시간을 줄이면서 인용 형식과 검증 범위가 깨지지 않았는지 함께 확인해야 한다.
🌍 다른 업무에 적용한다면?
이 방식은 중대재해처벌법에만 묶이지 않는다. 산업안전보건법, 환경법, 개인정보보호법처럼 조문과 판례, 행정해석이 함께 움직이는 분야에 적용할 수 있다. 안전보건 관계자와 대표가 반복해서 확인하는 질문을 고정 평가셋으로 만들면 사내 지식검색에도 쓸 수 있다.
다만 세 가지 조건이 필요하다.
1. 원문을 보관하고 답변에서 다시 찾아갈 수 있어야 한다.
2. 사건번호, 조문, 문서 식별자처럼 검증 가능한 기준이 있어야 한다.
3. 도메인을 아는 사람이 스키마와 평가 결과를 직접 확인해야 한다.
AI가 법적 판단을 대신하는 서비스로 쓰는 것이 목적은 아니다. 흩어진 근거를 빠르게 찾고, 사람이 판단하기 전에 확인해야 할 자료를 빠뜨리지 않도록 돕는 도구에 가깝다.
🚀 앞으로의 계획
다음 단계는 자료 적재와 서비스 제공을 앞뒤로 연결하는 것이다.
1. 새 판례를 자동으로 인지해 판례 데이터베이스에 넣는다.
2. 데이터베이스의 새 판례를 LLM Wiki에 자동 적재한다.
3. 새 자료가 들어올 때마다 내부 회귀시험과 외부 실무 질문을 다시 실행한다.
4. 응답 속도와 인용 정확성을 적정성을 찾아가면서 개선한다.
5. LLM Wiki를 개인용 봇(bot)에 연결해 직접 사용한다.
6. 응용 프로그램 인터페이스(API)를 붙인 웹서비스로 만들어 내부 직원에게 제공한다.
현재 구현된 것은 위키와 평가 체계까지다. 판례 자동 수집, 봇, 내부 웹서비스는 다음 단계의 계획이다.
로그인하고 댓글을 남겨 주세요
첫 위키가 형식 검사는 통과했는데 실제론 [확인필요]가 1,724회, 외부 검증 12건 전부 거절이었다는 수치를 그대로 남기신 게 좋았어요. "AI의 자기보고와 실제 파일 상태를 분리해 확인"하는 검증 도구를 따로 두신 것도 근거 중심 위키를 만들 때 꼭 필요한 장치인 것 같습니다.
자료부터 채우지 않고 스키마·근거 등급·인용 방식을 먼저 세운 두 번째 구조 설계 순서, 다른 법령 분야에도 그대로 참고하고 싶네요 🐾




좋은 글 잘 읽었습니다~