3종 LLM의 비판적 검토를 활용한 명리학 교재(4-6장) 품질 향상 - Claude Projects 협업 사례

소개

시도하고자 했던 것

韓바둑 프로젝트에서 집필 중인 『명리학의 과학적 재발견 - 제2부: KASI 절기 데이터와 AI 정확도 분석』 문서의 학술적 품질을 검증하고 보강하기 위해, 경쟁 LLM들(ChatGPT, Gemini, Perplexity)에게 비판적 검토를 의뢰했습니다.

그 이유

1. 자기 검증의 한계: Claude가 작성한 문서를 Claude가 검토하면 맹점이 있을 수 있음

2. 다양한 관점 확보: 각 LLM마다 다른 학습 데이터와 관점을 가지고 있어 다각도 피드백 가능

3. 학술적 엄밀성 강화: 외부 비판을 통해 논리적 허점과 보완점 발견

4. 메타 평가: Claude에게 타 LLM의 비판을 다시 평가하게 하여 수용 여부 결정

ALT

다양한 색깔의 한국 사업 계획

ALT

비즈니스 프로세스 다이어그램

진행 방법

사용 도구

Step 1: 원본 문서 준비 (v3)

Claude Projects에서 작성한 v3 문서(889줄, 32KB)를 각 LLM에게 제공하고 동일한 프롬프트로 비판적 검토 요청:

첨부한 교재를 학술적 엄밀성(연구 설계·자료 신뢰성·논증 구조·재현성·용어 정확성)
기준에서 비판적으로 검토해 주세요.

Step 2: 3종 LLM 비판 검토 수신

ChatGPT 검토 요약

• 톤: 균형 잡힌 심사위원

• 주요 지적: 프롬프트·모델 버전 미명시, 통계적 검증 부재, 결론 표현 과장

• 평가: 75점 (타당한 비판 다수)

Gemini 검토 요약

• 톤: 학술적 지지자

• 주요 내용: 케플러 법칙 연결, AI 오류 기전 분석, 4관법 체계 정리, UNESCO 로드맵 확장

• 평가: 80점 (학술적 가치 확장에 기여)

Perplexity 검토 요약

• 톤: 과도한 비판자

• 주요 지적: “게재 불가(Reject)” 판정, 명리학 자체의 과학적 타당성 요구

• 평가: 35점 (문서 목적 오해, 2025년 입춘 시각 계산 오류)

Step 3: Claude에게 메타 평가 요청

타 LLM의 비판적 검토를 평가해서 알려줘.

Claude가 각 검토의 타당성을 분석하고 수용/기각 판단:

Claude의 메타 평가 결과:

Perplexity 오류 발견: - Perplexity가 2025년 입춘 시각을 “14:10 UTC → 23:10 KST”로 잘못 계산 - 실제: 13:10 UTC → 22:10 KST (KASI 공식) - 비판자 자신이 시간대 변환 오류를 범함 → 본 문서의 주제와 정확히 일치하는 아이러니

Step 4: 단계별 문서 수정

v3 → v4 수정 (ChatGPT 검토 반영)

결론대로 수정해요.

반영 사항: 1. 서론에 학파 기준 명시: “본 연구는 정기법·입춘 기준·자시 기준의 현대 한국 명리학 실무를 전제” 2. 결론 표현 완화: “AI 절기 계산은 사용 불가” → “현재 범용 LLM의 절기 계산은 검증 없이 명리 실무에 사용하기 어렵다” 3. 부록 J. 연구 방법 신설: AI 모델 버전, 프롬프트 예시, 테스트 조건, 오차 계산법

v4 → v5 수정 (Gemini 검토 반영)

제미나이 내용을 반영해서 수정해요.

반영 사항: 1. 서론에 명리학의 학술적 배경 추가 (시간의 수리적 모델, 나비효과 개념) 2. 4.4.1절에 케플러 법칙 연결, 섭동(Perturbation) 개념 추가 3. 5.2.4절 신설: AI별 오류 기전(Mechanism) 상세 분석 4. 5.3.2절 육신 판정 오류 상세 영향 표 추가 5. 부록 H. 4관법 체계 신설 6. 부록 I. 韓바둑 데이터베이스 아키텍처 신설 (25테이블, 112만 조합) 7. 부록 J. UNESCO 등재 로드맵 신설 (2025~2030 4단계 계획)

최종 결과물

결과와 배운 점

배운 점

1. LLM마다 비판 성향이 다르다

• ChatGPT: 학술 논문 심사위원처럼 균형 잡힌 피드백

• Gemini: 내용을 깊이 이해하고 학술적으로 확장/보강

• Perplexity: 웹 검색 기반이라 문맥 이해 부족, 과도한 비판 경향

2. 메타 평가가 핵심이다

• 타 LLM의 비판을 그대로 수용하면 안 됨

• Claude에게 각 비판의 타당성을 평가하게 한 후 선별적 수용

• Perplexity처럼 문서 목적을 완전히 오해한 비판은 기각

3. 비판자의 오류가 역설적 증거가 된다

•  Perplexity가 2025년 입춘 시각 변환을 틀림

•  이는 “AI의 시간대 처리 오류”를 다루는 본 문서의 주제를 역설적으로 입증

꿀팁

1. 동일 프롬프트로 복수 LLM에게 검토 요청 → 다각도 피드백

2. Claude에게 메타 평가 시키기 → 수용/기각 판단 위임

3. 단계별 수정 → 각 검토를 순차적으로 반영하여 품질 누적 향상

4. 프로젝트 기술 문서임을 명시 → 학술 논문 기준의 과도한 비판 방지

시행착오

1. Perplexity의 “게재 불가” 판정에 당황 → 문서 목적(기술 문서)을 오해한 것으로 판단하여 무시

2. 부록 번호 충돌 → H, I, J 신설 후 기존 부록을 K, L, M으로 재배치 필요

<< 앞으로의 계획 >>

1. 제1부(1-3장) 완성: 명리학 기초 이론 + 데이터베이스 설계

2. 제3부(7-9장) 집필: 진태양시 적용 실무 + 사례 분석

3. 전자책 통합: 1~3부 통합하여 250페이지 분량 완성

4. UNESCO 등재 준비: 4관법 체계의 독창성 입증 자료 축적

도움 받은 글 (옵션)

•  Claude Projects를 활용한 「명리학의 과학적 재발견」 전자책 14장 목차 구성

•  Claude Projects를 활용한 韓바둑 명리학 교재 제1장 집필