본문으로 건너뛰기

산업안전보건법 Wiki 구축기 (이렇게 결과물이 나오는게 맞나 싶은)

하태준

2026.08.05

산업안전보건법 Wiki 구축기 (이렇게 결과물이 나오는게 맞나 싶은) 본문 이미지

산업안전보건법 Wiki 구축기 (이렇게 결과물이 나오는 게 맞나 싶은)

법령 원문은 재현 가능한 스크립트로 수집·검증하고, LLM은 근거를 받은 뒤 판단하게 만들었습니다. 다만 이 구성이 정말 효과적인 'LLM Wiki'인지는 아직 검증 중입니다.

■ 이런 분들에게 도움이 됩니다 🙋

· 사내 문서나 법령처럼 정확성이 중요한 자료로 LLM 지식 시스템을 만들고 싶은 분
· 기존 워크스페이스에 Wiki 기능을 추가할 때 구조가 충돌할까 걱정되는 분
· 검색 성공률과 LLM 답변 품질을 어떻게 따로 검증할지 고민하는 분


■ 시작하기 전 상황 📝

2주차에는 산업안전보건법 검증 워크스페이스의 뼈대를 만들었습니다. 국가법령정보 OpenAPI에서 산업안전보건법과 하위 법령을 받아 구조화하고, 원문을 확인하지 않고는 답하지 않는 검증 시스템을 만드는 것이 목표였습니다.

당시에는 법령 원문을 모으는 데 집중했습니다. 조문과 별표를 JSONL 및 Markdown으로 정리하고, 위임 관계를 연결했습니다. 참·거짓·부분참·판단불가를 자동으로 판정하는 기능은 다음 단계로 남겨 두었습니다.

3주차에는 이 자료를 사람이 검색하기 쉬운 저장소가 아니라, LLM도 근거로 사용할 수 있는 Wiki로 확장하려고 했습니다. 그런데 시작부터 세 가지가 헷갈렸습니다.

1. 2주차 스터디에 나왔던 다섯 가지 주제로 진행한 인터뷰는 '나의 지식관리 방식'을 기준으로 해야 하는가, 아니면 '산업안전보건법 프로젝트'를 기준으로 해야 하는가?

한국어 앱 스크린샷

2. 처음 워크스페이스 설계 시 없었던 LLM Wiki를 붙이면 기존 검증 스크립트 등과 역할이 겹치거나 모순되지 않는지?

3. LLM Wiki인데 원문 인제스트를 LLM이 아니라 Python 스크립트가 담당하는 것이 맞는가?

여기서 인제스트는 외부 자료를 가져와 정리하고, 검색할 수 있는 지식 저장소에 넣는 과정을 뜻합니다.

■ 활용한 도구 ⚒️

다양한 종류의 한국어가 있는 테이블

■ 진행 과정 🔍

1️⃣ 인터뷰의 기준부터 다시 정했습니다

처음에는 인터뷰 질문에 개인 취향을 답해야 하는지, 프로젝트가 필요로 하는 조건을 답해야 하는지 모호했습니다. 둘 중 하나만 고르는 대신 역할을 나눴습니다.

· 인터뷰는 실제 사용자인 제가 어떤 말로 질문하고, 어떤 답변을 신뢰하는지 알아내는 데 사용했습니다.

· 구조를 결정할 때는 기존 프로젝트의 목표인 '현장 질문에 최신 법령 근거로 답한다'를 최우선 기준으로 삼았습니다.

인터뷰에서 특히 중요했던 것은 법률 정확성, 모르면 모른다고 말하는 태도, 적은 수작업 유지보수, 그리고 '레미콘 차량 후진 유도자'처럼 조문 용어와 다른 현업 표현이었습니다.

이 구분을 하고 나니 개인 인터뷰와 프로젝트 설계가 충돌하지 않았습니다. 개인 인터뷰는 질문 언어와 사용 조건을 제공하고, 프로젝트 PRD는 정확성과 데이터 구조의 경계를 지키는 방식이 되었습니다.

2️⃣ 다른 Wiki를 벤치마킹하기

LLM Wiki 계획을 만들 때 실제로 사용한 요청은 다음과 같습니다. 로컬 경로나 개인정보는 제외하고 다시 사용할 수 있게 정리했습니다.

────────────────────────────────────────

나는 기존 산업안전보건법 검증 워크스페이스에 알맞은 LLM Wiki를 구축하려고 해.
기준 프로젝트는 기존 osh-verify이고, 지식관리 체계 gbrain, AKM, knowledge-manager를 벤치마킹해줘. 다만 다른 프로젝트를 그대로 복사하지 말고, 산업안전보건법 프로젝트에 맞는 지식 체계·흐름·저장 순서를 선별해줘.

인터뷰한 다섯 가지 주제를 참고하되,
개인의 지식관리 방식과 기존 워크스페이스가 충돌하면
"현장 질문에 최신 법령 근거로 답한다"는 프로젝트 목표를 기준으로 조정해줘.
구체적인 PRD는 다음 단계에서 작성할 예정이니,
지금은 구현이 아니라 계획 문서(plan.md)를 작성해줘.

────────────────────────────────────────

이 프롬프트에서 중요했던 부분은 세 가지였습니다.

· 기존 검증 프로젝트(워크스페이스)를 기준점으로 명시했습니다.

· 참고 프로젝트를 그대로 복사하지 말고 내 상황에 맞게 벤치마킹 해달라고 제한했습니다.

· 인터뷰와 프로젝트가 충돌할 때 무엇을 우선할지 정했습니다.

결과적으로 Wiki는 별도 시스템으로 기존 워크스페이스를 덮어쓰지 않고, 검증된 법령 원문 위에 용어와 실무 지식을 추가하는 파생 계층으로 설계되었습니다.

3️⃣ 원문 계층과 LLM 계층을 분리했습니다

현재 구조는 다음과 같습니다.

파이썬 파이썬 파이썬 파이썬 파이썬 파이썬

여기서 또 하나 헷갈린 점이 있었습니다. 제가 생각했던 LLM Wiki는 ingest → query → lint가 하나의 흐름으로 갖춰져 있어야 했습니다. 그런데 현재 프로젝트에는 세 단계가 모두 완성되어 있지 않았습니다.

다양한 종류의 한국어가 있는 테이블

따라서 현재 결과물은 세 단계가 연결된 완성형 LLM Wiki라기보다, 기존 법령 검증 워크스페이스 위에 각 부품을 시험한 상태에 가깝습니다. 이 구조가 맞는지 여전히 헷갈리는 이유도 여기에 있습니다.

다음 단계에서는 부족한 기능을 한꺼번에 새로 만들기보다, 현재의 원문 계층을 유지하면서 ingest → query → lint를 실제 한 흐름으로 연결할 예정입니다.

법령 번호, 조문 제목, 시행일, 별표 연결처럼 원문에서 그대로 재현할 수 있는 정보는 스크립트가 처리했습니다. 같은 입력이면 같은 결과가 나와야 하고, 누락이나 변조 여부도 자동으로 검사할 수 있어야 했기 때문입니다.

LLM은 원문을 대신 만드는 역할이 아니라 다음처럼 의미 판단이 필요한 구간에 배치했습니다.

· 사용자의 주장과 검색된 조문이 실제로 같은 내용을 말하는지 판정
· 참·거짓·부분참·판단불가로 분류
· 근거가 부족할 때 답변을 보류
· 앞으로 추가할 실무 용어와 설명 노트 생성 지원

그래서 "LLM Wiki인데 LLM이 인제스트하지 않았다"는 사실 자체는 문제가 아니었습니다. 정확히 말하면 원문 인제스트는 결정론적으로 처리하고, 의미를 붙이는 인제스트와 판단에만 LLM을 사용하는 구조입니다.

다만 아직도 이 구조가 완성된 정답이라고 확신하지는 않습니다. 현재 구현된 것은 원문 계층, 규칙 기반 용어집, 검색 보조, 일부 LLM 판정까지입니다. 현업 표현 용어집과 LLM 설명 노트, 질문부터 최종 답변까지 이어지는 통합 흐름은 아직 완성되지 않았습니다.

4️⃣ 먼저 스크립트로 만들 수 있는 용어집을 만들었습니다

1단계 용어집은 LLM이 작성하지 않았습니다. 법령 안에 명시된 정의와 조문 연결을 규칙으로 추출해 Markdown 문서 250개를 생성했습니다.

검증 결과는 다음과 같습니다.

한국어와 영어로 된 숫자 목록

이 수치는 'LLM Wiki가 완성되었다'는 뜻이 아닙니다. 원문과 1단계 용어집이 반복해서 다시 만들 수 있는 상태라는 뜻입니다.

기존 다운로드·검증 스크립트와의 관계도 여기서 정리되었습니다. 원문 저장소는 근거를 책임지고, Wiki 저장소는 그 근거에서 파생된 용어집과 노트를 책임집니다. 역할상 모순은 없지만, 두 저장소의 복사본과 실행 환경이 어긋날 가능성은 남아 있어 설치·동기화 절차는 더 정리해야 합니다.

5️⃣ 검색과 판단을 실제로 테스트 해본 결과

처음에는 구현 기록만 보고 사례글을 쓸 수 있다고 생각했습니다. 하지만 '효과가 있었다'고 말하려면 실행 결과가 필요했습니다. 그래서 테스트를 세 층으로 나눴습니다.

◇ A. 정답을 알고 있는 통제 질문

미리 정답 조문을 정한 20개 질문에서는 검색 결과 상위 10개 안에 정답 근거가 모두 포함되었습니다. 검색 적중은 20/20이었습니다.

대표적인 성공 문항 두 개를 실제 판정 결과까지 펼쳐 보면 다음과 같습니다.

· 사례 1 — 도매 및 소매업의 안전관리자 선임

[질문]

상시근로자 300명인 도매 및 소매업 사업장은 안전관리자를 선임해야 하는가?

[기대 정답]

선임해야 한다(supported). 도매 및 소매업은 상시근로자 50명 이상 1천명 미만이면 안전관리자 1명 이상을 두는 대상이고, 300명은 전담 기준에도 해당한다.

[LLM이 실제로 낸 답변]

선임해야 한다 — 별표 3 제32호(도매 및 소매업)는 상시근로자 50명 이상 1천명 미만 구간에서 안전관리자 1명 이상을 두어야 하므로, 300명 사업장은 선임 대상이다.

판정은 supported, 근거 위치는 산안령-별표3이었습니다. 판정자가 반환한 대표 인용은 "32. 도매 및 소매업"이었습니다.

한국어 단어가 적힌 테이블

근거 패킷에는 산안법 제17조의 사업주 선임 의무, 산안령 제16조의 별표 3 위임, 별표 3의 업종·인원 기준이 함께 들어갔습니다. 300명 이상 사업장의 전담 기준은 산안령 제16조제2항에서 확인했습니다.

이 문항은 정답 판정뿐 아니라 표 해석도 시험했습니다. 별표의 업종명과 인원 기준이 여러 줄에 나뉘어 있었기 때문에, 한 줄만 읽지 않고 앞뒤 행을 함께 근거 패킷에 넣어야 했습니다.

· 사례 2 : MSDS 교육시간의 안전보건교육 인정

[질문]

물질안전보건자료(MSDS) 교육을 실시한 시간만큼 법 제29조에 따른 안전보건교육을 실시한 것으로 볼 수 있는가?

[기대 정답]

볼 수 있다(supported). 산업안전보건기준에 관한 규칙이 아니라 산업안전보건법 시행규칙 제169조제1항에 직접적인 간주 규정이 있다.

[LLM이 실제로 낸 답변]

그렇다. 제169조제1항 각 호에 따른 MSDS 교육을 받은 근로자는 해당 교육 시간만큼 법 제29조 안전보건교육을 실시한 것으로 본다.

판정은 supported, 근거 위치는 산안규칙-제169조였습니다.

숫자와 문자 목록이 있는 페이지


실제 반환한 인용은 다음 문장이었습니다.

이 경우 교육받은 근로자에 대해서는 해당 교육 시간만큼 법 제29조에 따른 안전ㆍ보건교육을 실시한 것으로 본다.

기대 판정과 LLM 판정이 같았고, LLM이 선택한 근거 위치도 정답 앵커와 일치해 성공으로 집계했습니다.

흥미로운 점은 같은 주제라도 짧게 "MSDS 교육 안전보건교육 인정"이라고 검색했을 때는 제169조를 상위 10개에서 찾지 못했다는 것입니다. 근거 패킷을 받은 LLM 판정의 성공이 임의 쿼리 검색의 성공을 뜻하지는 않았습니다.

실패한 1건도 의미가 있었습니다. 검색기는 올바른 시행령 제80조를 찾았지만, LLM은 표 안의 항목 소유 관계가 모호하다는 이유로 판단불가를 선택했습니다. 검색 성공과 답변 성공이 서로 다른 문제라는 점을 확인한 사례였습니다.

또한 고의로 심은 내용 오류 21건은 21건 모두 잡았고, 존재하지 않는 가짜 인용 3건은 LLM 판정 전에 모두 차단했습니다. 근거 없이 위험하게 참으로 판정한 사례는 0건이었습니다.

◇ B. 현업에서 사용할 법한 짧은 검색어

정답 위치를 미리 정한 짧은 표현 5개 중 4개는 목표 조문을 상위 10개 안에서 찾았습니다. 그러나 표본이 너무 작아 80%를 전체 성능으로 볼 수는 없습니다.

· 소음 노출 업무 특수건강진단 주기

관련 조문과 별표를 상위에서 찾았습니다. LLM은 supported로 판정하고 다음과 같이 답했습니다.

배치 후 첫 번째 특수건강진단은 12개월 이내, 이후 주기는 24개월이다. 작업환경측정 노출기준 초과 등 시행규칙 제202조제2항 사유가 있으면 다음 회에 한해 12개월로 단축된다.

판정에 사용된 근거는 세 단계로 이어졌습니다.

1. 산업안전보건법 제130조에서 특수건강진단 대상 업무를 규정합니다.
2. 시행규칙 제202조에서 별표 23의 시기와 주기에 따라 진단하도록 정합니다.
3. 별표 23에서 소음 및 충격소음의 첫 진단 시기를 12개월 이내, 이후 주기를 24개월로 정합니다.

여러 개의 숫자가 적힌 종이 한 장
많은 텍스트가 포함된 페이지의 스크린샷
한국어와 한자가 적힌 테이블

· 도급인 순회점검 주기 (현업형 검색어)

이 질문의 기대 근거는 산업안전보건법 시행규칙 제80조였습니다. 실제 검색 결과에서도 제80조가 1위에 나타났기 때문에 검색 단계에서는 성공으로 처리했습니다.

이를 완전한 질문으로 바꾸면 다음과 같습니다.

제조업 사업장에서 도급인은 관계수급인 근로자의 작업장을 얼마나 자주 순회점검해야 하는가?

사람이 미리 작성한 정답은 "2일에 1회 이상이다"였습니다. 근거는 시행규칙 제80조의 다음 세 부분이었습니다.

· 다음 각 목의 사업: 2일에 1회 이상
· 나. 제조업
· 제1호 각 목의 사업을 제외한 사업: 1주일에 1회 이상

제조업은 제1호에 속하므로 2일에 1회 이상이 정답입니다. 그 밖의 사업에만 1주일에 1회 이상 기준이 적용됩니다.

한글 숫자가 적힌 종이 한 장


하지만 LLM은 다음과 같이 답했습니다.

동봉 원문만으로는 확정할 수 없다. 제조업이 제1호 각 목에 속하면 2일에 1회 이상, 아니면 제2호에 따라 1주일에 1회 이상으로 갈린다.

판정은 insufficient, 즉 판단불가였습니다. 근거 위치는 올바르게 시행규칙 제80조를 선택했지만, 표에서 "나. 제조업"이 어느 호에 속하는지 확정하지 못했습니다. 원문이 병합된 표 형태여서 항목명과 주기가 서로 다른 줄에 있었기 때문입니다. Wiki로 변환하는 과정에서 이 소속 관계가 명확하게 표현되지 않자 LLM이 답변을 보류했습니다.


따라서 이 사례는 다음처럼 평가했습니다.

· 검색: 성공 — 목표 조문 제80조를 1위로 찾음
· 근거 선택: 성공 — LLM도 제80조를 선택함
· 최종 판단: 실패 — 정답인 2일에 1회 이상을 확정하지 못함
· 위험한 오답: 없음 — 1주일에 1회라고 잘못 단정하지 않고 보류함


◇ C. '모른다'고 멈추는지 실제로 확인했습니다

'근거가 없으면 판단불가'라는 원칙이 실제로 작동하는지 세 가지 상황으로 나눠 시험했습니다.

1. 존재하지 않는 조문을 인용한 경우
2. 현재 Wiki 밖의 자료가 필요한 경우
3. 질문과 관련된 자료가 전혀 없는 경우


· 사례 1 — 존재하지 않는 조문은 LLM에게 보내기 전에 차단했습니다

다음과 같이 실제로 존재하지 않는 조문을 넣었습니다.

산업안전보건법 제38조의3에 따라 사업주는 밀폐공간 작업 전 산소농도를 측정해야 한다.


인용 검증기는 산업안전보건법 제38조의3을 다음과 같이 판정했습니다.
상태: unresolved
사유: 산업안전보건법에 제38조의3이 없음
인접 조문: 산업안전보건법 제38조
종료 코드: 1

시스템은 비슷한 번호인 제38조를 자동으로 대신 사용하지 않았습니다. 존재하지 않는 인용으로 표시한 뒤 LLM 판정 단계로 넘기지 않았습니다. 비교를 위해 실제 조문인 산업안전보건법 제38조를 입력했을 때는 resolved로 판정하고 정상 종료했습니다.

다음과 같은 허구 인용도 함께 시험했습니다.

산업안전보건법 제200조
산업안전보건기준에 관한 규칙 별표 99

산업안전보건법은 제175조까지만 존재하고, 안전보건규칙 별표 99도 존재하지 않습니다. 준비한 허구 인용 3건은 모두 LLM 판정 전에 차단했습니다.

전체 자체검증에서도 다음 결과가 나왔습니다.

· 실제 인용 30건: 30건 모두 확인
· 허구 인용 15건: 15건 모두 차단
· 외부 법령 5건: 5건 모두 외부 자료로 분류
· 조문 표기 변형 5건: 5건 모두 정상 조문으로 연결

이 사례에서는 '모른다'고 말한 주체가 LLM이 아니었습니다. 인용 검증 스크립트가 존재하지 않는 근거를 먼저 차단했습니다.

· 사례 2 : Wiki 밖의 자료가 필요하면 판단을 보류했습니다

현재 Wiki에는 산업안전보건법, 시행령, 시행규칙, 안전보건규칙 네 종류만 들어 있습니다.
그래서 다음 인용을 검사했습니다.

건설기계관리법 제26조

검증 결과는 external이었습니다. 시스템은 이를 산업안전보건법의 비슷한 조문으로 바꾸지 않고, 현재 Wiki 밖의 법률로 분류했습니다.


KOSHA GUIDE에 관한 통제 질문도 시험했습니다.

고정식 사다리의 제작 기준을 정한 KOSHA GUIDE G-3-2022를 지키지 않으면 산업안전보건법 위반인가?

LLM은 다음과 같이 판정했습니다.

판정: insufficient
사유: needs_external_source
확인한 근거: 안전보건규칙 제24조

실제 답변은 다음과 같았습니다.

동봉 원문만으로는 답할 수 없다. 안전보건규칙 제24조는 사다리식 통로의 구조 기준을 직접 정하고 있지만 KOSHA GUIDE G-3-2022를 준수 대상으로 인용하거나 위임하지 않는다. 해당 지침의 법적 성격은 현재 근거 패킷 밖의 자료로 확인해야 한다.

LLM은 사다리와 관련된 안전보건규칙 제24조까지는 찾았습니다. 그러나 해당 조문만으로 KOSHA GUIDE 위반이 곧 법 위반이라고 단정하지 않았습니다. 이 사례에서는 관련 조문이 있다는 이유만으로 답을 만들어내지 않고, 외부 자료가 더 필요하다고 판단했습니다.


· 사례 3 : 검색기는 무의미한 질문에는 멈추지 못했습니다

검색 단계의 거절 기능을 확인하기 위해 존재하지 않는 단어를 입력했습니다.

쀍쀍없는말

기대했던 결과는 검색 결과 없음이었습니다. 하지만 검색기는 무관한 조문 10개를 반환했습니다. 상위 결과에는 다음 문서가 나타났습니다.

1위: 안전보건규칙 제216조 — 도르래의 부착 등
2위: 안전보건규칙 제246조 — 소각장
3위: 안전보건규칙 제88조 — 기계의 동력차단장치
4위: 안전보건규칙 제223조 — 운전 중 위험 방지

질문과 관련된 조문이 하나도 없었지만, 검색기는 점수가 높은 문서를 상대적으로 정렬해 보여줬습니다. 검색 결과의 최저 점수 기준이 없고, 결과가 질문과 무관한지를 판정하는 단계도 없었기 때문입니다.

· 사례 4 : Wiki 밖의 질문에도 관련 없는 벌칙 조문을 반환했습니다

다음과 같이 검색했습니다.

KOSHA GUIDE G-3-2022 법 위반

검색 결과 상위에는 다음 문서가 나타났습니다.

1위: 산업안전보건법 제175조 : 과태료
2위: 산업안전보건법 제168조 : 벌칙
3위: 산업안전보건법 시행규칙 제237조 : 보조·지원의 환수와 제한

검색기는 '법 위반'이라는 표현에 반응해 과태료와 벌칙 조문을 올렸습니다. 그러나 이 조문들은 해당 KOSHA GUIDE의 법적 효력을 설명하는 근거가 아니었습니다.

관련 통제 질문을 근거 패킷과 함께 LLM에 제공했을 때는 외부 자료가 필요하다며 판단을 보류했습니다. 반면 짧은 검색어만 입력했을 때는 범위 밖 질문이라고 멈추지 못했습니다.

◇ 테스트 결과를 정리하면

다양한 한국어 유형을 보여주는 표

따라서 현재 시스템은 가짜 인용을 막고, 근거 패킷을 받은 LLM이 외부 자료의 필요성을 판단하는 기능까지는 갖추고 있습니다.

하지만 검색 결과가 너무 낮거나 질문과 무관할 때 자동으로 멈추는 장치는 아직 없습니다. 다음 단계에서는 검색 점수 하한, 범위 밖 질문 분류, 근거 없음 처리를 추가할 예정입니다.

■ 시행착오 ⚠️

1. 'LLM'이라는 이름 때문에 모든 단계에 LLM을 넣으려 했습니다

원문 파싱까지 LLM에 맡기면 더 지능적인 시스템처럼 보일 수 있습니다. 하지만 법령 원문은 창의성보다 재현성과 추적 가능성이 중요했습니다. 원문은 스크립트로 고정하고, LLM은 근거를 받은 뒤 판단하게 하는 편이 현재 목적에 더 맞았습니다.
(근데 이게 맞는 구조인지는 아직도 헷갈림........)


2. 생성 개수를 효과로 착각할 뻔했습니다

용어집 250개, 검색 정답 20/20이라는 숫자만 보면 성공처럼 보입니다. 실제 짧은 표현을 넣자 MSDS 약어를 놓쳤고, 무의미한 질문에도 검색 결과를 내놓았습니다. 생성량과 통제셋 점수만으로 현업 효과를 주장하면 안 된다는 것을 확인했습니다.

■ 결과와 변화 📊

다른 한국 이름이 적힌 테이블

가장 큰 효과는 시간을 몇 퍼센트 줄였다는 것이 아니었습니다. 아직 작업 시간 절감은 측정하지 않았습니다. 대신 무엇이 검증되었고 무엇이 비어 있는지 숫자로 구분할 수 있게 된 것이 이번 단계의 효과였습니다.

■ 배운 점 📚

원문 수집과 의미 판단은 같은 인제스트가 아니었습니다

LLM Wiki에서 LLM이 반드시 원문을 직접 읽고 파일을 만들어야 하는 것은 아니었습니다. 원문을 정확히 보존하는 단계에는 스크립트가 적합했고, 동의어·현업 표현·문맥·주장 판정처럼 의미가 필요한 단계에 LLM이 필요했습니다.

'검색됨', '판단됨', '답변 가능'은 서로 다른 성공 조건이었습니다

올바른 조문이 검색되어도 LLM이 표 구조를 해석하지 못할 수 있습니다. 반대로 그럴듯한 검색 결과가 있어도 실제 질문의 근거가 아닐 수 있습니다. 세 단계를 분리해서 측정해야 실패 위치를 알 수 있었습니다.

보수적인 실패는 법령 시스템에서 가치가 있었습니다

정답 조문을 찾고도 판단불가를 낸 사례는 점수상 실패였습니다. 그러나 근거 구조가 모호할 때 억지로 참이라고 하지 않았다는 점에서는 필요한 실패였습니다. 앞으로는 단순 정확도 외에 위험한 오답 수와 적절한 보류율도 함께 봐야 합니다.

■ 직접 적용할 때의 팁 💡

1. 원문에서 기계적으로 재현 가능한 값은 스크립트로 만듭니다. LLM은 의미 해석이 필요한 부분에만 사용합니다.

2. 검색 평가와 답변 평가를 분리합니다. 정답 문서를 찾았는지와 LLM이 올바르게 판단했는지는 별도 지표입니다.

3. 통제 질문 외에 약어, 현업 표현, 존재하지 않는 단어를 꼭 넣어 봅니다. 실제 약점은 이런 입력에서 더 잘 드러납니다.

4. '모른다'는 문구만 프롬프트에 넣지 말고, 검색 임계값과 인용 검증을 코드로 강제합니다.

5. 캐시된 LLM 결과를 재채점한 것인지, 같은 조건으로 새로 호출한 것인지 보고서에 명시합니다.

효과성 검증을 반복할 때는 다음과 같이 요청할 수 있습니다. 아래 문장은 이번 검증 방식에 맞춰 재사용할 수 있도록 정리한 예시입니다.

────────────────────────────────────────

현재 구현을 완성으로 가정하지 말고 검색, 판단, 거절을 분리해서 실제로 실행해줘.

1. 정답 근거를 알고 있는 통제 질문과 현업 표현 질문을 따로 평가해줘.

2. 검색 성공을 최종 답변 성공으로 간주하지 마.

3. 캐시된 LLM 결과와 이번에 새로 호출한 결과를 구분해줘.

4. 가짜 인용, 무의미한 단어, 현재 코퍼스 밖의 질문도 시험해줘.

5. 성공 수치뿐 아니라 실패 입력, 미구현 기능, 재현성 문제를 함께 기록해줘.

────────────────────────────────────────

■ 앞으로 할 일 🧭

1. MSDS처럼 법령 정식 명칭과 현장 약어를 연결하는 실무 용어 계층을 추가할 예정입니다.
2. 검색 점수가 낮거나 근거가 무관하면 결과를 내지 않는 거절 기준을 만들 예정입니다.
3. 흩어져 있는 ingest → query → lint 단계를 하나의 재현 가능한 흐름으로 연결할 예정입니다.
4. 질문부터 검색, 근거 묶음, LLM 판정, 인용 답변까지 한 번에 실행되도록 만들 예정입니다.
5. 저장된 판정 결과 재채점뿐 아니라 독립적인 새 LLM 호출로 동일 테스트를 반복할 예정입니다.
6. 판정 결과의 퀄리티를 높이는 방법(판정 기준 설정 등)을 정리할 예정입니다.

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.05
시작부터 세 가지 혼란 — 인터뷰 기준이 개인인지 프로젝트인지, 기존 검증 스크립트와 역할이 겹치지 않는지, 인제스트를 LLM이 해야 하는지 스크립트가 해야 하는지 — 을 그냥 넘기지 않고 하나씩 짚어가신 게 좋았어요. "인터뷰는 질문 언어와 사용 조건을 주고, PRD는 정확성과 데이터 구조의 경계를 지킨다"는 역할 분리가 깔끔하게 정리됐고요. 법령 원문을 재현 가능한 스크립트로 수집·검증하고 LLM은 근거를 받은 뒤 판단하게 만든 구조도 실용적인 선택이에요. "이렇게 결과물이 나오는 게 맞나 싶은"이라고 하셨는데, 맞습니다 🐾

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기