소개
복잡한 정보화사업 관련 규정을 한 번에 찾아볼 수 있는 IT법령 WIKI 파일럿 구축, 이후 할루시네이션 테스트로 정확도 검증
바쁘시면 이것만 읽어도 돼요:
정보화사업 관련 규정(법령·지침·가이드 등)은 종류가 다양하고, 분량도 많아 업무담당자가 모든 규정을 숙지하고 적용하기 쉽지 않음
특히, 관련 규정 제개정이 잦아 자료의 신선도 유지 가 핵심
정보화담당자 질의에 LLM이 WIKI 기반으로 답변을 생성하는 파일럿 제작
자료 소스는 2가지로 설계 : 법제처 Open API로 법령·시행령·행정규칙 자동 수집 + 사용자가 매뉴얼 등 직접 업로드
파일럿 제작 후 할루시네이션 테스트로 정확도 검증
---
🎯 이런 분들께 도움돼요
기업, 공공기관에서 정보화사업을 담당하는 분
법령·규정·지침을 자주 찾아야 하는 업무 담당자
많은 자료를 관통하는 답변을 얻고 싶은 분
---
🛠️ 사용한 도구
헤르메스: 메라 - 집사 에이전트, 그레이스가 고장날 때마다 고쳐줌 (claude Sonnet, api 방식)
헤르메스: 그레이스 - 코딩전담 에이전트 (gpt5.5, auth 방식)
아마존 라이트세일 서버: 헤르메스 구동, 사용자 인터페이스 운영 (메모리 8GB, CPU 2개)
클로드: 프로그램 기획서 작성 (채팅), 사용자 인터페이스 개선 (아티팩트)
디스코드: 에이전트와 바이브 코딩
Git-Hub: 소스코드 관리
---
🔧 작업 과정
1단계 — 기획 : 삽질 시작
지피터스 입문 3주차, 그동안 이런저런 삽질을 하다 보니 에이전트를 감독할 것이 아니라 에이전트에게 전부 위임하는 방식으로 LLM-WIKI 구축이 가능하겠다는 확신이 섰다.
업무에서 가려웠던 부분을 생각해 보니 정보화 관련 규정을 한 번에 찾아볼 수 있는 IT법령 WIKI가 필요했다.
[문제 점]
① 자료 분산 → 종합 검색 불가
② 개정 이력 추적 어려움 → 구버전 적용 실수
③ 조문 해석 역량 차이 → 담당자별 업무 편차
④ 신규 담당자 온보딩 기간 3~6개월
클로드에게 프로그램 기획서를 작성하도록 했더니 매우 상세한 기획서가 금방 만들어졌다.
그레이스에게 기획서에 따라 개발 진행을 맡기고 진행 중 의문이 드는 사항은 물어보도록 하였다. 하지만, 개발을 진행하다 보니 처음부터 너무 욕심을 부렸던 것 같다. 중간에 자료 저장 방식을 크게 뜯어 고쳐야 했고, 주기적인 법령 현행화, 멀티 에이전트팀에 의한 업무분담은 근처에도 가지 못하였다.
---
2단계 — 자료 수집 : RAG를 버리다
그레이스가 기획서에 따라 수집 대상 법령을 국가법령정보센터에서 Open API를 이용하여 수집하고, 조문별로 청크하여 DB에 넣는 작업을 진행하였다.
문득 '이렇게 DB에 넣는 것은 WIKI 보다는 RAG와 가깝지 않나'라는 생각이 들었다. 질의를 던져보니 정확한 법조문만 뱉어내고 끝난다. 뭔가 이상하다. 이렇게 하면 맞는 답변인지 사용자가 원문을 참조할 수 없다.
이상한 느낌은 잘못된 방향으로 가고 있다는 신호다. 지난주 토요일 모각에서 자연어회계처리님과 이야기를 나누다 보니 더욱 명확해 졌다. 자연어회계처리님은 옵시디언과 같이 VAULT에 문서를 저장하는 구조를 추천하였다.
결국 DB를 버리고 국가법령정보센터에서 수집하는 법령을 모두 Markdown 문서로 변환하여 VAULT에 저장하도록 방식을 바꾸었다.
사용자가 업로드하는 문서도 MD 파일로 변환하여 VAULT에 저장하고, 원본 파일은 별도의 폴더에 보관하되 MD 파일과는 링크로 연결되도록 하 였다.
---
3단계 — 사용자 인터페이스 : 원문 확인 가능하게
다음은 사용자 인터페이스 차례이다. 그레이스가 만든 사용자 인터페이스가 너무 허접하여 클로드 아티팩트를 이용하여 다듬었다.
인터페이스는 최대한 단순하게 구성하였다. 좌측에 VAULT가 트리구조로 보이고, 우측에 문서보기/문서검색/문서업로드 메뉴가 있다.
한국어 웹사이트의 스크린샷
문서검색 화면은 다음 사항을 고려하였다.
답변에 언급한 내용의 근거 법령과 조문을 표기하도록 하였다.
조문만 보면 맥락 파악이 어려우므로 답변 화면 하단에 인용된 법령의 원문을 연결해 두었다
사용자가 직접 업로드한 파일이 MD 파일이 아닌 경우, 링크를 눌렀을 때 원본 파일을 다운로드 받을 수 있도록 하였다.
한국어 텍스트가 포함된 웹사이트의 스크린샷
---
4단계 — 정확도 검증: 할루시네이션 테스트
LLM이 인용한 근거 법령의 원문을 제공하도록 하였지만 충분하지 않다는 느낌이 들었다.
폐쇄망 안에 갇힌 로컬 모델들은 파인튜닝, RAG 생성 이후 꾸준한 관리가 안되면 할루시네이션이 발생한다. 또한, 아무리 부지런히 관리한들 인터넷의 정보가 변경되는 속도를 따라가기 어렵다.
문득 폐쇄망 로컬 모델들의 할루시네이션 테스트를 해보자는 생각이 들었다. 아래와 같이 실행 방법을 기획하고 진행하였다.
동일한 질의를 로컬 모델들에게 주고, 각자의 답변을 저장한다.
각 답변에서 인용된 근거 법령(조문이 있으면 조문까지)을 추출한다.
국가법령정보센터와 연결해서 해당 법령과 조문이 존재하는지 확인한다.
존재하면 답변맥락과 조문내용을 비교하여 내용 일치도를 분석한다.
검사 결과를 수치화 한다.
로컬 모델 9개 대상으로 할루시네이션 테스트를 했다.
존재하지 않는 법령을 인용하거나, 법령은 존재하지만 없는 조문을 인용하는 모델도 있었다.
인용된 법령과 조문이 모두 존재하는 경우, 내용 일치도 검사를 한다. 전문가가 아니어서 정확히 설명하기 어렵지만, 일치도 검사는 답변과 실제 조문에 나타나는 단어들을 벡터 수치화하여 가리키는 방향이 비슷할수록 일치도가 높은 것으로 판단한다고 한다.
로컬 모델들의 내용 일치도는 0~21.6%으로 나타났다.
이어서 IT법령 WIKI에게도 동일한 질문을 주고 답변을 검사하였다.
검사 결과, 법령조문 일치도 100%, 내용 일치도 59%.
생성형 LLM은 법조문 그대로 표현하는 법이 없고 여러 문서를 관통하는 답변을 내놓기 때문에 100%에 가까운 내용 일치도가 나오기 어렵다. 앞서 로컬 모델들의 내용 일치도를 고려하면 59%는 상당히 높은 편이라 할 수 있다.
---
✅ 결과물 (현재 작동 중인 MVP)
법령·시행령·행정규칙 수집 및 VAULT 반영
VAULT 저장소 트리 탐색
PDF/HWPX/MD 파일 업로드 및 ingest
WIKI에 근거하여 LLM이 답변 생성
할루시네이션 검사 결과 : 조문 적중률 100%, 내용 일치도 59%
---
💬 이 과정에서 배운 AI 활용 팁
효과적이었던 것
에이전트에게 시키지 말고 위임하기 — 에이전트에게 시키기만 하면 나의 한계를 벗어날 수 없다. 위임하면 생각지 못한 방법을 제시한다.
모각에서 물어보기 — 모각에서 같이 공부하는 분들로부터 많은 팁과 영감을 얻었다.
검증 방안 고민하기 — 내가 만든 WIKI 답변이 정확한지 고민하던 중 할루시네이션 측정을 떠올렸다. 그 과정에서 내용 일치도 검사 원리에 대해 공부하게 되었다.
이렇게 하면 안 돼요
한 번에 너무 많이 욕심 부리기 — 기획서를 너무 거창하게 만들었다 도중에 방향을 잃었다. 작은 기능부터 검증하면서 기능을 점차 확대하는 것이 바람직하다.
모호한 표현 — 기획서에 자료를 수집해서 ingest하라고 했더니, 에이전트가 넘겨 짚고 RAG를 만들었다. RAG를 부수고 MD 파일로 저장 구조를 바꾸느라 힘들었다.
---
🌍 다른 업무에 적용한다면?
법령 위키 외에도 "수동으로 찾아야 하는 문서가 많은 업무" 어디든 적용 가능
내부 지식 관리 — 사내 규정·매뉴얼·FAQ를 한 곳에 모아 AI로 검색하는 시스템
프로젝트 산출물 관리 — 사업 관련 문서를 쌓아두고 "이 사업에서 보안 요구사항이 뭐였지?" 같은 질문에 바로 답하는 도구
신규 담당자 온보딩 — 자주 묻는 질문과 규정 해석을 AI가 안내하면 인수인계 기간 단축
---
🚀 앞으로의 계획
법령 현행화 자동화 — 법령 개정 감지 → 알림 → 자동 재수집 파이프라인
멀티 에이전트팀 가동 — 로컬 모델과 연결된 에이전트들을 WIKI에 투입하여 협업
---
📋 재사용 가능한 프롬 프트
프롬프트 1: 법령 WIKI 기획
"IT법령 LLM 위키를 만들거야. 정보화사업에 관련된 법, 시행령, 예규, 훈령, 지침, 매뉴얼 등의 자료를 수집해서(사용자 업로드 포함) MD 파일로 저장하고, 담당자 질의에 정확한 내용을 안내해 주어야 해. 위키 먼저 참조하되 위키에 저장된 자료가 없을 경우, 인터넷 검색을 할 것인지 사용자에게 반드시 물어야 함. 자료는 매우 자주 바뀌므로 주기적인 현행화 방안 포함 필요. 사용자 편의성을 고려한 인터페이스 디자인 필요. 프로그램 기획서 작성"
프롬프트 2: 할루시네이션 테스트
"AI 할루시네이션 테스트를 할거야. 동일한 질의에 대해 여러 모델들이 각각 내놓은 답변을 분석하여 답변의 정확도를 측정해줘. 답변의 근거법령을 제시하도록 하였으므로 국가법령정보센터에 접속해서 각 모델이 제시한 법령 근거가 실제로 존재하는지 확인하고, 근거법령과 답변 내용의 일치 여부를 판단해줘. 각 모델의 정확도를 효과적을 비교분석할 수 있는 방법을 제시해줘"
