산업안전보건법 wiki 개선기(feat. 루프엔지니어링?!)
2026.08.12

■ 시작하기 전 상황 📝
지난 주 주말에 루프엔지니어링 수업이 있어서 들었습니다.
유튜브로 루프엔지니어링 개념만 알고 있어서 수업을 듣고 나니까 뭔가 알거 같으면서도 실제 제가 적용하고 있는 산업안전보건법 위키에 적용해야겠다라는 생각이 들었습니다.
* 루프엔지니어링 수업에 들었던 내용들을 주요사항을 복기하면 다음과 같았습니다.


유명한 모델들이 있었는데 일단 구조는 실행 -> 트레이스 -> 저지 -> 에디트 -> 게이트 로 이루어져 있었습니다. 여기서 무엇을 보고 판단하고 수정을 할지에 따라서 모델이 달라지는 거였습니다.
■ 그럼 내 프로젝트에 적용할 수 있는 부분은?

트레이스 : 툴콜들을 제대로 수행하고 있는지 확안하기
저지 : 어떤 기준으로 판단할지 반영하기
에디트 : 저지 결과를 바탕으로 실패 원인을 수정하기
게이트 : 수정된 결과를 실제로 적용해도 되는지 마지막으로 확인하기
이렇게 놓고 보니 구조 자체는 단순해 보였습니다.
그런데 제 프로젝트에 적용하려고 하나씩 뜯어보기 시작하니 새로운 질문들이 생겼습니다.
■ 적용하려고 하니 오히려 더 헷갈렸습니다 🤔
제가 만들고 있던 산업안전보건법 위키에는 이미 여러 개의 반복 구조가 있었습니다.
- 법률 답변이 적절한지 평가하는 루프
- 검색에 실패한 내용을 다시 지식으로 반영하는 루프
- 법령이 개정됐을 때 영향을 받는 문서를 찾는 루프
- 깨진 링크나 문서 구조를 점검하는 루프
처음에는 이렇게 생각했습니다.
“이미 네 개의 루프가 있으니 이것들을 루프엔지니어링 구조로 연결하면 되는 것 아닐까?”
하지만 실제로 설계하려고 하니 어떤 방식이 맞는지 알기 어려웠습 니다.
1. 기존 네 개의 루프를 하나의 큰 루프로 합쳐야 할까?
2. 네 개의 루프를 관리하는 다섯 번째 상위 루프를 만들어야 할까?
3. 아니면 법률 답변을 평가하는 부분에만 작은 개선 루프를 넣어야 할까?
AI와 대화를 계속할수록 구조는 점점 커졌습니다.
처음에는 공통 상태를 관리하는 제어 구조를 만들고, 각 루프의 실행 순서와 결과를 관리하는 상위 시스템을 만드는 방향도 검토했습니다.
그런데 다시 생각해보니 제가 만들려는 것은 범용 워크플로 엔진이 아니었습니다.
제가 실제로 필요했던 것은 법률 답변이 기준을 통과하지 못했을 때, 판정 규칙을 제한된 범위에서 몇 번 수정해보는 기능이었습니다.
이때부터 제가 서로 다른 개념을 전부 ‘루프’라고 부르고 있었다는 것을 알게 됐습니다.
업무 루프 : 법률 평가, 검색 개선, 개정 영향 분석처럼 서로 다른 업무
수리 루프 : 한 업무 안에서 실패 결과를 보고 규칙을 다시 수정하는 과정
최종 게이트 : 수정된 결과를 실제로 채택해도 되는지 확인하는 마지막 단계
즉, 기존 네 개의 업무 루프를 하나로 합칠 필요는 없었습니다. 필요한 것은 법률 평가 업무 안에 작은 수리 루프를 넣고, 그 결과가 실제로 사용되기 전에는 별도의 게이트를 통과하도록 만드는 것이었습니다.
■ AI와 이런 대화를 주고받았습니다 💬
제가 처음 AI에게 물어본 내용은 대략 이런 것이었습니다.
나: 기존에 네 개의 루프가 있는데, 이것들을 통합해야 할까? 아니면 전체를 관리하는 다섯 번째 루프가 필요한 걸까?
AI: 공통 상태와 실행 순서를 관리하는 상위 제어 구조를 만들 수있다고 제안했습니다.
나: 그렇게 만들면 지금 필요한 기능보다 구조가 너무 커지는 것 아닌가? 내가 필요한 것은 법률 판정 규칙을 안전하게 몇 번 수정해보 는 것이다.
이 대화를 통해 첫 번째 기준을 정했습니다.
기존 업무 루프는 그대로 두고, 법률 평가 안에만 작은 수리 루프를 만들자.
그다음에는 평가 문제를 어떻게 사용할지가 고민됐습니다.
나 : AI가 틀린 문제와 정답을 보고 규칙을 수정한 다음, 같은 문제로 다시 점수를 내도 되는가? 당연히 같은 문제를 반복해서 보면 점수는 올라갈 수 있습니다. 하지만 그것이 실제 성능이 좋아진 것인지, 단순히 문제에 맞춰 규칙을 외운 것인지는 알 수 없습니다.
그래서 평가 문제를 세 가지 역할로 나누기로 했습니다.
1. 실패 원인을 확인하고 수정하는 학습용 문제
2. 수정한 후보 가운데 더 나은 것을 고르는 공개 평가 문제
3. 개발 과정에서 한 번도 사용하지 않고 마지막에만 확인하는 비공개 평가 문제
여기서 중요한 것은 단순히 파일을 나누는 것이 아니었습니다.
규칙을 수정하는 AI가 정답이나 비공개 판정 근거를 볼 수 없도록, 전달되는 정보 자체를 다르게 만들어야 했습니다.
예전에 교차검증을 맡긴 AI가 진행 상태 파일을 읽고 정답 분포를 알아낸 적이 있었습니다. 결과는 20문제 모두 일치했지만, 정답에 관한 정보를 본 이후였기 때문에 더 이상 깨끗한 검증 결과라고 보기 어려웠습니다.
<교차검증 과정에서 정답 정보가 노출된 사례>
“보지 마”라고 프롬프트에 적는 것만으로는 부족했습니다. 중요한 정보는 애초에 볼 수 없는 구조로 분리해야 했습니다.
■ 최종적으로 만든 구조 🔧
고민 끝에 다음과 같은 구조로 정리했습니다.
### 1. 실행
현재 판정 규칙으로 법률 평가 문제를 실행합니다.
이 단계에서는 단순히 최종 점수만 저장하지 않고, 어떤 입력과 규칙으로 실행했는지 함께 기록하도록 했습니다.
### 2. 트레이스
AI가 “이 도구를 사용했다”고 말한 내용을 믿는 것이 아니라, 실제로 실행된 도구 호출과 검색 질의, 참조한 출처를 기록하도록 했습니다.
특히 산업안전보건법 위키는 법령 근거가 중요하기 때문에 어떤 조문을 찾았고, 어떤 검색 결과를 사용했는지가 남아야 했습니다.
### 3. 저지
결과가 맞았는지만 보는 것이 아니라, 미리 정한 기준에 따라 실패유형을 판단하도록 했습니다.
예를 들면 다음과 같습니다.
- 관련 법령을 찾지 못했는가?
- 근거 조문은 맞지만 결론이 잘못됐는가?
- 예외 조건을 누락했는가?
- 출처가 없는 내용을 사실처럼 작성했는가?
- 법률 판단처럼 보이는 표현을 과도하게 사용했는가?
점수가 높더라도 위험한 오류가 발견되면 다음 단계로 넘어가지 않도록 했습니다.
### 4. 에디트
저지 결과를 바탕으로 판정 규칙을 수정합니다.
다만 에디터에게 문제의 정답과 비공개 판정 근거를 그대로 보여주지는 않았습니다. 대신 “어떤 유형의 실패가 발생했는지”만 전달했습니다.
### 5. 선택
수정 전 규칙과 수정 후 규칙을 공개 평가 문제로 비교합니다.
점수가 한 번 잘 나왔다고 바로 채택하지 않고, 여러 번 실행했을 때도 기존 규칙보다 안정적인지를 확인하도록 했습니다. 여기까지는 후보를 선택하는 과정입니다.
실제 위키에 반영할 수 있는지 확인하는 최종 게이트는 이 과정과 분리했습니다.
### 6. 최종 게이트
최종 게이트에서는 개발 과정에서 사용하지 않은 문제로 마지막 평가를 진행합니다. 이 결과는 다시 에디트 단계로 돌아가지 않습니다. 비공개 평가의 결과를 보고 규칙을 다시 고치기 시작하면 그 문제도 학습용 문제가 되어버리기 때문입니다.
최종 게이트를 통과하더라도 법률 판정 규칙을 실제 위키에 반영하는 결정은 사람이 하도록 남겨뒀습니다.
■ 현재까지의 결과 ✅
현재 확인한 것은 루프의 구조와 정보 경계가 의도한 대로 작동한다는 것까지입니다.
- 법률 규칙 수정 횟수를 최대 3회로 제한
- 학습용, 후보 선택용, 최종 평가용 데이터 분리
- 에디터에게 정답과 비공개 판정 근거가 전달되지 않도록 분리
- 실제 실행된 도구 호출과 검색 기록을 남기도록 변경
- 공개 평가를 이용한 후보 선택과 비공개 최종 게이트 분리
- 최종 법률 판단과 위키 반영은 사람이 승인하도록 유지
- 자동 테스트와 실제 CLI 실행을 통해 각 단계의 동작 확인
다만 아직 실제 산업안전보건법 기출문제를 이용한 최종 평가는 진행하지 않았습니다.
평가 준비가 끝나기 전에 문제를 열어보면 해당 문제를 완전히 비공개 상태로 유지하기 어려워지기 때문입니다.
개발용 평가와 실제 최종 평가의 차이
현재 확인한 점수는 개발용 문제를 이용한 결과입니다. 실제 처음
보는 문제에서도 같은 결과가 나오는지는 아직 확인하지 않았습니
다.
따라서 아직 “산업안전보건법 답변의 정확도가 향상됐다”거나 “최종
법률 평가를 통과했다”고 말할 단계는 아닙니다.
현재까지 검증한 것은 AI가 결과를 수정하고 평가하는 과정에서 정
보가 섞이지 않도록 구조를 만들었다는 것입니다.
■ 이번 작업에서 배운 점 💡
처음에는 루프엔지니어링을 반복 횟수를 늘리는 기술이라고 생각했 습니다.
하지만 실제 프로젝트에 적용해보니 더 중요한 것은 다음 세 가지였 습니다.
1. 무엇을 반복할 것인가?
2. 반복하는 AI에게 무엇을 보여줄 것인가?|
3. 어떤 조건에서 반복을 끝낼 것인가?
■ 앞으로의 계획 🚀
앞으로는 루프를 더 추가하기보다, 지금 만든 구조로 실제 평가를 진행해보려고 합니다.
- 개발 과정에서 사용하지 않은 산업안전보건법 기출문제를 최종 평가 후보로 만들기
- 문제와 정답을 분리해 개발 단계에서 접근할 수 없도록 봉인하기
- 준비가 끝난 뒤 최종 게이트를 한 번만 실행하기
- 개발용 평가와 최종 평가의 차이를 비교해 과적합 여부 확인하기
- 결과가 좋더라도 사람이 법률 근거를 검토한 뒤 실제 규칙 반영 여부 결정하기
그리고 실제 사용자 질문이 충분히 쌓이기 전에는 루프를 더 복잡하게 만들지 않으려고 합니다. 이번 작업을 통해 루프엔지니어링의 핵심은 AI가 정답을 찾을 때까지 계속 일하게 만드는 것이 아니라, 반복해도 되는 부분과 반복하면 안 되는 부분을 구분하고, 적절한 지점에서 멈추게 만드는 것이 라는 생각이 들었습니다.



