법률의견서 평가를 처음부터 검증 가능하게 설계한 사례 - 원문·요약본 구분, 제한 평가, 권위 확인, 출력 정합성을 초기 설계에 넣은 법률 검토 스킬 제작기

📝 한줄 요약

법률의견서 평가의 첫 단계는 결론을 고르는 일이 아니라 평가할 수 있는 입력인지 판정하는 일이다. 이 사례에서는 세 개의 평가 결과 텍스트를 초기 파일럿 입력으로 삼아, 처음부터 EVALUABLE / LIMITED / DEFERRED 게이트, 중복·메타문 정리, 법령·판례 권위 분리, 법리·증거·실무 축 분리, 확신도 제한을 평가 스킬의 기본 구조로 설계했다.

바쁘시면 이것만 읽어도 됩니다:

• 원 의견서가 아니라 평가문·요약본만 있으면 원 의견서 평가는 처음부터 LIMITED다.

• 입력문에 검토 가능성: 진행가능이라고 적혀 있어도 원문·질의·사실·기준일이 없으면 상태를 승계하지 않는다.

• 같은 사건 블록이 반복되면 평가 전에 하나로 통합한다.

• 자문번호 수정 같은 작업 메타문은 법률 판단과 분리한다.

• 법령 원문 확인과 판례 원문 확인은 별도 상태로 기록한다.

• 법리 설득력, 증거 설계, 실무 실행 가능성은 하나의 확률이나 우승 점수로 합치지 않는다.

• 이 원칙들은 파일럿 입력을 읽기 전부터 평가 계약에 포함한다.

🎯 이런 분들께 도움됩니다

• 여러 법률의견서를 비교하지만 원문과 평가 결과를 구분해야 하는 법무 담당자

• 사내 법률 검토 메모에 점수·우승 의견·확신도를 넣고 싶은 평가자

• 판례·법령 인용의 존재와 적용 가능성을 별도로 확인해야 하는 연구자

• 법률 AI 또는 RAG 평가 데이터셋의 입력·출력 신뢰도를 관리하는 팀

• 법률 검토 스킬을 만들면서 “무엇을 확인하지 못했는가”도 보존하려는 사람

😫 출발 문제 — 결론보다 먼저 평가 계약이 필요했다

법률의견서 평가는 겉으로 보면 비교적 단순해 보인다.

의견서 읽기
→ 가장 설득력 있는 의견 선택
→ 이유와 반론 정리
→ 확신도 표시

그러나 이 순서에는 중요한 전제가 빠져 있다. 평가자가 실제로 읽은 것이 원 의견서인지, 원 의견서의 요약인지, 다른 평가자의 결론인지 먼저 알아야 한다.

이번 파일럿에는 세 개의 법률 쟁점에 관한 평가 결과 텍스트가 들어왔다. 각 텍스트에는 다음 항목이 있었다.

• 검토 가능성

• 가장 설득력 있는 의견

• 이유

• 결론을 바꿀 수 있는 사실

• 확신도

• 실무적 시사점

내용은 잘 정리되어 있었지만, 초기 입력 계약을 다음처럼 먼저 고정하지 않으면 여러 오류가 생길 수 있었다.

따라서 이 사례의 출발점은 “어느 의견이 맞는가”가 아니라 다음 질문이었다.

현재 입력으로 어떤 수준의 평가까지 정당하게 할 수 있는가?

🧭 처음부터 고정한 설계 원칙

스킬을 작성하기 전에 평가자의 권한과 금지선을 먼저 정했다.

평가자가 할 수 있는 일

• 제공된 의견서의 질문·사실·결론·근거 구조를 분해한다.

• 공식 법령·판례·결정례를 확인하고 의견서의 인용과 대조한다.

• 사실 부족, 증거 부족, 권위 미검증, 논리적 비약을 분리한다.

• 상대방의 최강 반론과 결론 민감도를 제시한다.

• 확인된 범위에 한해 제한적인 비교와 보강 계획을 작성한다.

평가자가 할 수 없는 일

• 원문이 없는 의견서의 점수를 확정한다.

• 입력문에 적힌 진행가능을 검증 완료로 간주한다.

• 확인되지 않은 판례의 사건번호·판시·확정 여부를 만들어낸다.

• 동일한 평가문이 반복된 것을 독립 근거로 합산한다.

• 백분율 하나로 법리·증거·본안·집행정지의 불확실성을 압축한다.

이 원칙을 평가 스킬의 입력 계약으로 처음부터 고정했다.

🧱 입력 게이트 — 점수보다 먼저 상태를 판정한다

평가 스킬의 첫 출력은 점수가 아니라 상태다.

EVALUABLE  — 전체 평가 가능
LIMITED    — 일부 구조·표현·논증만 평가 가능
DEFERRED   — 핵심 질문·결론·근거를 식별할 수 없어 보류

상태별 기준

평가문·요약본만 있는 경우

이번 파일럿처럼 원 의견서가 아니라 평가 결과 텍스트만 있는 경우의 상태를 별도로 고정했다.

원 의견서 평가: LIMITED
평가 출력본 감사: 별도 수행
확정 점수: 산출 보류
재평가 조건: 원문·질의·사실·기준일·근거 확보

이렇게 하면 평가문 자체는 다음 항목으로 검토할 수 있다.

• 중복 여부

• 메타문 혼입 여부

• 입력 상태와 실제 자료의 일치 여부

• 확인된 법령과 미확인 판례의 분리 여부

• 결론의 단정 수준

• 추가자료와 재평가 조건의 구체성

반면 원 의견서의 법적 정확성이나 승소 가능성은 확정하지 않는다.

🧹 출력 정합성 — 평가 전에 중복과 메타문을 정리한다

입력 상태가 정해진 다음에는 평가문 자체의 구조를 정규화한다. 이 단계는 파일럿을 읽기 전부터 평가 절차의 두 번째 단계로 고정했다.

중복 제거 계약

1. 사건번호·문서 ID·제목을 안정 식별자로 추출한다.

2. 같은 식별자의 블록은 하나의 canonical block으로 통합한다.

3. 반복본은 근거의 빈도나 결론의 확신도에 다시 반영하지 않는다.

4. 같은 제목이지만 내용이나 hash가 다르면 revision 여부를 별도로 판단한다.

5. 통합 전후의 블록 수를 기록한다.

이번 파일럿에는 세 사건 블록이 각각 두 번씩 반복되어 있었다. 초기 정규화 결과는 다음과 같다.

입력 블록: 6개
안정 사건 식별자: 3개
평가 대상 canonical block: 3개

메타문 분리 계약

다음은 평가 결과가 아니라 작업 과정이다.

자문번호 수정
실제로는 …
앞으로는 …
이전 답변을 고치면 …

이런 문구는 평가 필드에 남기지 않고 별도 수정 로그로 보존한다. 최종 평가 필드에는 다음처럼 결과만 둔다.

가장 설득력 있는 의견: 법무법인 이인(잠정)

메타문 분리는 문체 정리가 아니다. 독자가 작업 지시를 법률적 근거로 오인하지 않도록 하는 증거 경계다.

⚖️ 권위 지도 — 법령·판례·해석을 처음부터 별도 장부로 둔다

법률 평가에서는 “인용되었다”와 “확인되었다”를 구분해야 한다. 처음부터 다음 권위 상태를 별도 필드로 기록하도록 설계했다.

존재: 실제 조문·판례·결정례인가
현재성: 기준일에 적용되는가
적합성: 질문의 법적 요소를 직접 뒷받침하는가
권위성: 법률·명령·판례·해석례의 성격에 맞는가
독해: 결론·이유·사실관계·구별법을 정확히 옮겼는가
연결: 의견서의 사실 적용과 이어지는가

파일럿에서 확인한 법령

법제처 조회로 다음 조문을 초기 검증 대상으로 삼았다.

• 도시 및 주거환경정비법 제39조 제2항 제4호

• 같은 법 시행령 제37조 제1항

• 세계유산의 보존·관리 및 활용에 관한 특별법 제11조의2 제2항

• 같은 법 제24조 제2항

파일럿에서 확인하지 못한 판례

평가문에 인용된 하급심 사건번호는 직접 조회에서 확인되지 않았다. 이것을 곧 판례의 부존재로 단정하지 않고 다음 상태로 보존했다.

판례 사건번호: 직접 확인되지 않음
판결문 원문: 미확인
사실관계: 미확인
판시 내용: 원문 대조 전 잠정

하급심 판결의 DB 미수록이나 사건번호 표기 오류 가능성이 있기 때문이다. 그러나 확인 전에는 “법원이 일관되게 판시하였다”는 표현을 확정된 권위로 사용할 수 없다.

🧩 세 개의 파일럿 쟁점을 처음부터 같은 틀로 읽었다

세 사건은 서로 다른 법률 분야였지만, 초기부터 다음 공통 틀로 정규화했다.

질의
→ 기준일·관할
→ 확정 사실·미확인 사실
→ 적용 규범
→ 요건·예외
→ 증거 대응
→ 상대방 최강 반론
→ 결론 민감도
→ 안전한 결론
→ 추가 확인자료

파일럿 A — 정비사업상 멸실 후 주택 양도

현행 조회 조문은 양도 제한의 예외로 1세대 1주택자의 소유기간·거주기간을 요구하고, 시행령은 소유기간 10년·거주기간 5년을 정한다.

초기부터 다음 두 명제를 분리했다.

1. 양도 제한 본문이 건축물 또는 토지를 대상으로 하는가.

2. 멸실 후 토지 또는 입주권 양도가 예외 조항의 ‘양도하는 주택’에 포함되는가.

첫 번째는 조문 구조의 문제이고, 두 번째는 멸실·토지·입주권·소유기간의 관계를 해석하는 문제다. 따라서 다음과 같은 안전한 결론을 기본 출력으로 설계했다.

원인행위 시점을 중시하는 인용 판례가 실제로 확인된다면 해당 의견을 지지하는 자료가 될 수 있다. 다만 멸실 후 양도에서 ‘양도하는 주택’과 소유기간의 의미를 직접 판단한 판례와 구체적 소유·거주 시점을 확인하기 전에는 법적 결론을 잠정적으로 표시한다.

파일럿 B — 산업단지 시설 공급·임대 기준

두 번째 쟁점은 산업입지법, 산업집적법, 통합지침, 지방자치단체 조례, 관리기본계획의 적용 관계가 핵심이었다.

처음부터 법령 목록만 늘리지 않고 다음 확인자료를 필수 입력으로 지정했다.

• 통합지침 제27조의2 원문

• 산업입지법 시행령의 분양가격·임대료 관련 조문

• 산업집적법 제4장의2와 특별법 관계

• 지방자치단체 조례의 ‘용지’ 문언

• 관리기본계획 고시 원문

• 관리기관·주무부처의 공식 해석

관련 자료가 없으면 “어느 의견이 법적으로 확정적으로 우세하다”고 쓰지 않고, 구조·실무성 우세와 법적 확정성을 분리하도록 했다.

파일럿 C — 세계유산영향평가의 요청·명령 구별

세 번째 쟁점은 제11조의2 제1항·제2항의 문언과 벌칙 조항의 연결이었다.

초기 법령 지도에서 다음을 구분했다.

• 제11조의2 제1항: 세계유산지구 내 일정 사업의 평가 실시 의무

• 제11조의2 제2항: 지구 밖 사업에 대한 평가 실시 요청 권한

• 제24조 제2항: 제11조의2 제1항 위반에 대한 벌칙

따라서 제2항의 요청할 수 있다를 곧바로 직접 이행명령과 동일시하지 않는 논거는 표시할 수 있지만, 다른 사업중지·원상회복명령이나 별도 처벌 조항까지 배제한다고 확대하지 않도록 했다.

기본 결론 문안은 다음과 같이 제한했다.

제11조의2 제2항에 따른 평가 실시 요청에 응하지 않았다는 사정만으로 제24조 제2항의 형사책임을 곧바로 인정하기는 어렵다. 다만 별도의 사업중지·원상회복명령 또는 다른 처벌 조항의 적용 가능성은 추가 확인이 필요하다.

🧪 비교 평가 — 우승 의견보다 세 개의 판단축을 먼저 만든다

처음부터 단일 우승 의견을 최종 산출물의 중심에 두지 않았다. 평가자가 말하는 “설득력”을 다음 세 축으로 나누었다.

이렇게 하면 법리적으로 공격적인 의견과 기관 운용상 안전한 의견을 같은 의미의 “우승”으로 혼동하지 않는다.

확신도는 질적 상태로 시작한다

처음부터 백분율을 기본값으로 두지 않았다.

높음 / 중상 / 중간 / 낮음 / 변동성 큼

백분율을 허용하는 경우에도 산정 기준, 비교 표본, 핵심 가정, 결론 민감도를 함께 적도록 했다. 특히 다음을 서로 다른 결과로 기록한다.

• 법령 문언상 방어력

• 판례 원문 확인 수준

• 핵심 사실의 입증 가능성

• 본안 판단 가능성

• 집행정지 가능성

• 실무 운용의 안전성

🔧 초기부터 설계한 전체 실행 항로

이 사례에서 법률의견서 평가 스킬의 기본 항로는 처음부터 다음과 같았다.

1. 입력 성격 확인
2. EVALUABLE/LIMITED/DEFERRED 판정
3. 사건·문서 블록 중복 제거
4. 작업 메타문 분리
5. 질의·사실·기준일 정규화
6. 포정해우식 구조·결정적 틈 판독
7. 독립 법률 골격 작성
8. 법령·판례·해석 권위 지도 작성
9. 법리·증거·실무 축별 비교
10. 미분적 결론 민감도 확인
11. 악마의 변호인 반론 구성
12. 제한된 결론·보강자료·재평가 조건 작성
13. 점수·인용·게이트·결론 일치성 검증

스킬의 핵심 출력 계약

## 입력 게이트
- 평가 대상:
- 원문 제공 여부:
- 질문:
- 확정 사실:
- 미확인 사실:
- 기준일:
- 관할:
- 중심 법령:
- 중심 판례:
- 현재 상태: EVALUABLE / LIMITED / DEFERRED

## 사건별 평가
- 잠정 우세 의견:
- 법리 설득력:
- 증거·입증 설계:
- 실무 실행 가능성:
- 확인된 권위:
- 미확인 권위:
- 상대방 최강 반론:
- 결론을 바꾸는 사실:
- 우선 확보자료:
- 재평가 조건:

🚧 초기 설계에서 예상하고 차단한 실패 모드

실패 모드 1 — 원문 없는 평가의 확정화

차단 장치: 입력 성격 필드와 LIMITED 자동 판정

실패 모드 2 — 반복 블록에 의한 근거 부풀리기

차단 장치: 사건 식별자 기반 canonical block 통합

실패 모드 3 — 작업 지시와 법률 판단의 혼입

차단 장치: 메타문 별도 로그화

실패 모드 4 — 판례 사건번호만으로 권위 부여

차단 장치: 존재·현재성·적합성·독해·연결 상태 분리

실패 모드 5 — 법령 확인을 판례 확인으로 오인

차단 장치: 법령 장부와 판례 장부 분리

실패 모드 6 — 본안·집행정지·형사책임을 한 확률로 합산

차단 장치: 구제수단과 책임 유형별 결과 분리

실패 모드 7 — 도구 실패를 검증 성공으로 포장

차단 장치: 확인됨 / 미확인 / 조회 실패 / 원문 필요 상태 보존

이 실패 모드들은 사례를 마친 뒤에 발견하여 덧붙인 목록이 아니라, 파일럿을 읽기 전에 평가 스킬의 품질 계약으로 작성했다. 파일럿 사례는 그 계약이 실제 입력에서 작동하는지 확인하는 테스트 데이터였다.

✅ 결과 — 사례가 스킬에 끼워진 것이 아니라, 스킬의 첫 테스트가 되었다

초기 설계와 최종 구조

파일럿 적용 결과

세 평가문은 처음부터 다음 상태로 처리되었다.

원 의견서 평가: LIMITED
평가 출력본 감사: 수행
중복 canonical block: 3개
확정 점수: 없음
미확인 판례: 원문 확인 필요
법령 확인: 확인된 조문만 표시
재평가 조건: 별도 기록

측정하지 않은 승소율 향상이나 정확도 상승률은 제시하지 않았다. 이 사례에서 검증된 것은 특정 법률 결론의 정답률이 아니라, 평가가 가능한 범위와 불가능한 범위를 처음부터 통제하는 절차다.

확인된 법령과 확인되지 않은 권위의 분리

🧰 재사용 가능한 완료 Gate

💬 이 사례에서 배운 AI 활용 팁

1. 첫 문장부터 “무엇을 읽었는가”를 확인한다

모델의 결론보다 입력의 성격이 먼저다. 원문인지, 요약본인지, 다른 평가자의 판단인지가 달라지면 허용되는 산출물도 달라진다.

2. 게이트를 사후 방어문이 아니라 초기 계약으로 둔다

“나중에 문제가 생기면 제한하자”가 아니라, 첫 입력을 읽기 전에 점수·권위·확신도의 조건을 정한다.

3. 법률 검토의 불확실성을 위치별로 보존한다

사실이 없는지, 증거가 없는지, 판례가 미확인인지, 법령 버전이 다른지, 구제수단의 요건이 다른지를 따로 표시한다.

4. 사례는 스킬을 설명하는 자료이면서 스킬을 시험하는 fixture다

사례에서 발견한 문제를 사후 장식으로 붙이지 않고, 처음부터 입력 계약과 완료 Gate를 시험하는 대표 표본으로 사용한다.

5. 출력 문서와 작업 기록의 역할을 분리한다

독자용 사례글에는 중립적인 결론·근거·한계를 쓰고, 내부 로그에는 수정 과정·도구 실패·경로·검증 상세를 남긴다.

이렇게 하면 안 됩니다

1. 진행가능이라는 문구만으로 평가 상태를 확정하지 않는다.

2. 원문이 없는 상태에서 원 의견서 점수를 매기지 않는다.

3. 동일 사건의 반복을 독립 근거로 합산하지 않는다.

4. 작업 메타문을 법률 판단처럼 보존하지 않는다.

5. 확인되지 않은 판례를 사건번호만으로 인용하지 않는다.

6. 법령 원문과 판례 원문을 하나의 확인 상태로 묶지 않는다.

7. 본안 승소·집행정지·형사책임·감사 리스크를 한 확률로 합치지 않는다.

8. 도구가 실패했을 때 추정한 내용을 확인 결과처럼 쓰지 않는다.

🌍 다른 업무에 적용한다면?

법률의견서 비교

각 문서를 먼저 독립적으로 게이트하고, 동일한 질문·기준일·자료 수준이 확인된 문서만 확정 비교한다.

법률 AI 평가

원문과 요약본을 구분하는지, 중복 입력에 확신도가 흔들리는지, 미확인 판례를 권위처럼 쓰는지를 테스트한다.

내부 감사·의사결정

실체적 적법성, 증거 보존, 절차 준수, 설명 가능성을 별도 축으로 보고한다.

법률 코퍼스 구축

원문, 요약, 평가, 현재 권위 확인 결과를 서로 다른 레이어로 저장한다. 그래야 나중에 생성된 해석이 원자료처럼 재사용되는 것을 막을 수 있다.

🔭 다음 항로

다음 단계는 실제 원 의견서와 평가문을 함께 넣은 EVALUABLE 표본을 구성하는 것이다. 그때도 같은 순서를 유지한다.

입력 성격 확인
→ 상태 게이트
→ 중복·메타문 정리
→ 독립 법률 골격
→ 권위 검증
→ 비교 평가
→ 민감도·반론
→ 점수와 재평가 조건

핵심은 처음부터 사례를 대표 입력으로 삼고, 사례가 통과해야 할 품질 계약을 먼저 설계하는 것이다.

좋은 법률의견서 평가 스킬은 결론을 빨리 고르는 장치가 아니라, 평가를 시작할 수 있는 조건과 아직 시작해서는 안 되는 조건을 처음부터 분명히 하는 장치다.