본문으로 건너뛰기

사례글 15 - LLM 4종에게 106년치 입춘(立春) 시각을 물었더니, 최대 11시간이 틀렸습니다 — "미신"이라 단정하는 AI의 계산 능력을 정량 검증한 기록

한바둑

2026.08.13

소개

왜 하필 입춘인가

명리학에서 사주(四柱)의 연주(年柱)는 1월 1일에 바뀌지 않습니다. 입춘(立春) 순간에 바뀝니다.

이게 왜 중요하냐면, 입춘은 "2월 4일"처럼 날짜로 오는 게 아니라 분 단위 시각으로 옵니다. 태양의 황경(黃經)이 정확히 315°에 도달하는 순간입니다. 그래서 2월 4일 오전에 태어난 아이 두 명이, 몇 시간 차이로 연주가 통째로 달라집니다.

연주가 바뀌면 어떻게 되는가. 사주 여덟 글자 중 두 글자가 바뀝니다. 띠가 바뀌고, 연주 기준으로 잡는 신살(神殺)이 전부 재배치되고, 대운(大運)의 순행·역행 방향까지 뒤집힐 수 있습니다. 한 사람의 명식이 다른 사람의 명식이 됩니다.

그러니까 명리 상담에서 절기 시각 오차는 "좀 부정확한" 수준의 문제가 아닙니다. 진료로 치면 환자 차트를 바꿔 든 것과 같습니다.

그런데 이상한 일이 있었습니다

저는 AI 명리 상담 시스템(韓바둑 MegaAI)을 만들고 있습니다. 작업 중에 주요 LLM들에게 절기를 물어볼 일이 많았는데, 두 가지가 동시에 눈에 걸렸습니다.

첫째, 답이 서로 달랐습니다. 같은 해 입춘을 물었는데 모델마다 시각이 다르게 나왔습니다. 하나는 맞을 텐데, 어느 쪽인지 알 수가 없었습니다.

둘째, 그러면서 하나같이 "명리학은 과학적 근거가 없다"고 덧붙였습니다.

이 두 가지가 겹치니 질문이 하나 생겼습니다.

명리학의 가장 기초적인 계산조차 틀리는 모델이, 명리학이 과학인지 아닌지를 판정할 자격이 있는가?

이건 감정적 반발이 아니라 검증 가능한 명제였습니다. 절기 시각에는 국가 공인 정답지가 있기 때문입니다. 한국천문연구원(KASI) 데이터입니다.

목표 네 가지

  1. 정량 검증 — 106년치 입춘 데이터로 LLM별 오차를 분 단위로 측정

  2. 원인 규명 — 왜 틀리는가. 모델 문제인가, 데이터 소스 문제인가, 시간대 문제인가

  3. 실무 등급 판정 — 어느 모델을 어느 용도까지 쓸 수 있는가

  4. UNESCO 등재 근거 확보 — 2027년 신청 시 "과학적 정당성" 항목의 실증 자료

진행 방법

3-1. 설계 — 정답지부터 고정합니다

AI 검증에서 제일 먼저 무너지는 게 이 부분입니다. 정답지를 안 정해놓고 모델끼리 비교하면 그냥 의견 대조가 됩니다.

항목

내용

기준 자료(정답지)

만세력 / KASI(한국천문연구원) 공식 데이터

분석 기간

1920년 ~ 2025년 (106년)

분석 항목

입춘 일시 (연 1회 × 106개 지점)

시간 기준

KST (UTC+9) 통일

기간을 1920년부터 잡은 이유가 있습니다. 한국의 표준시가 역사적으로 네 번 바뀌었기 때문입니다. 이 구간을 포함해야 "시간대 보정을 제대로 하는가"를 볼 수 있습니다.

한국 표준시 변경 이력
  1908 ~ 1912 : UTC+8:30
  1912 ~ 1954 : UTC+9      (일본 표준시)
  1954 ~ 1961 : UTC+8:30
  1961 ~ 현재  : UTC+9

이게 이번 검증의 숨은 함정이었고, 결과적으로 순위를 가른 결정적 변수였습니다.

3-2. 비교 대상 4종

LLM

실제로 사용한 데이터 소스

확보 건수

ChatGPT

중국천문대(Beijing Observatory) 참조

106건

Perplexity

웹 검색 기반 종합

49건 (부분)

Gemini

자체 계산

49건 (부분)

Claude

ephem 라이브러리로 직접 계산

106건

⚠️ 여기서 반드시 짚어야 할 점이 있습니다. 이 표의 오른쪽 열을 보시면, 비교된 것은 엄밀히 말해 "모델의 지능"이 아니라 "모델이 붙잡은 데이터 소스" 입니다. ChatGPT는 중국천문대 데이터를 참조했고, Claude는 천문 계산 라이브러리를 돌렸습니다. 즉 이 결과는 "어느 모델이 똑똑한가"가 아니라 "어느 경로가 한국 절기에 맞는가" 의 비교입니다. 이 구분을 흐리면 글이 모델 순위표로 오독됩니다. 제가 하려던 이야기는 그게 아닙니다.

3-3. 사용한 프롬프트

정직하게 밝힙니다. 이 검증은 2025년 초에 진행했는데, 당시 실제로 던진 프롬프트 원문을 기록으로 남겨두지 않았습니다. 보고서 v1.0에도 프롬프트 항목이 없습니다. 이게 이번 작업 최대의 실책이고, 4번 항목에서 별도로 다루겠습니다. 아래는 같은 검증을 재현하실 수 있도록 제가 재구성한 프롬프트입니다. 원문 그대로가 아님을 밝힙니다.

① 데이터 수집용 프롬프트 (재현용)

당신은 천문 계산 결과를 보고하는 역할입니다. 해석이나 의견은 붙이지 마십시오.

[요청]
1920년부터 2025년까지 각 연도의 입춘(立春) 일시를 알려주십시오.

[정의]
입춘 = 태양의 황경(apparent solar longitude)이 정확히 315°에 도달하는 순간

[출력 조건]
- 시간대: KST (UTC+9) 기준으로 환산하여 출력
- 형식: YYYY | YYYY-MM-DD HH:MM | (사용한 데이터 출처 또는 계산 방법)
- 분 단위까지 반드시 표기. "오전", "무렵", "경" 같은 표현 금지
- 확실하지 않은 연도는 값을 지어내지 말고 UNKNOWN 으로 표기
- 표 외의 설명 문장은 출력하지 마십시오

[중요]
1954~1961년 대한민국 표준시는 UTC+8:30 이었습니다.
해당 구간을 어떻게 처리했는지 출처 열에 명시해 주십시오.

이 프롬프트에서 신경 쓴 지점이 셋입니다.

  • "UNKNOWN으로 표기" — 지어낸 값과 모르는 값을 섞으면 통계 자체가 오염됩니다. 실제로 Gemini·Perplexity가 106건 중 49건만 나온 건 이 장치 덕분에 걸러진 결과에 가깝습니다.

  • "출처 또는 계산 방법 명시" — 이게 나중에 원인 분석의 열쇠가 됐습니다. 오차만 봐서는 왜 틀렸는지 모릅니다.

  • 표준시 구간을 콕 집어 물어본 것 — 함정을 대놓고 알려주고도 틀리는지를 봤습니다.

② Claude에게 계산을 시킨 프롬프트 (재현용)

python 의 ephem 라이브러리를 사용하여 1920~2025년 입춘 시각을 계산하는
스크립트를 작성하고 실행해 주십시오.

- 입춘 = 태양 황경 315° 도달 시점
- 출력은 KST 기준
- 계산 결과를 CSV 로 저장

작성 후, 이 스크립트가 놓치고 있는 보정 항목이 있다면 함께 지적해 주십시오.

마지막 줄("놓치고 있는 보정 항목을 지적하라")을 넣었는데도 시간대 문제가 지적되지 않았습니다. 이 부분이 4번의 핵심 발견으로 이어집니다.

3-4. 비교표 구축

수집한 데이터를 엑셀 한 장에 모았습니다.

  • 파일: 106년_입춘_5자료_완전비교분석_퍼플렉시티추가.xlsx

  • 시트 1: 4자료 비교표 (106행 × 21열)

  • 시트 2: 통계분석 (38행 × 6열)

색으로 자료 계통을 구분했습니다. 🔵 기준(KASI) / 🟣 ChatGPT / 🟡 Perplexity / 🟠 Gemini / 🟢 Claude(ephem)

측정 지표 4종

지표

계산

왜 필요한가

평균 차이(분)

부호 포함 평균

편향(bias) 을 봅니다. 한 방향으로 쏠렸다면 시스템 오류

표준편차(분)

오차의 분산

불안정성을 봅니다. 어떤 해는 맞고 어떤 해는 틀린 경우

절대평균(분)

부호 무시 평균

정확도 핵심 지표. 순위는 이걸로 매깁니다

완전일치(건)

오차 0분 건수

실무 사용 가능성

평균 차이와 절대평균을 반드시 같이 봐야 합니다. 오차가 +600분과 -600분으로 섞이면 평균 차이는 0분이 나옵니다. "완벽하다"고 오독하게 됩니다.

3-5. 재현용 검증 코드

같은 검증을 하실 분을 위해 비교 스크립트를 정리했습니다.

python

import pandas as pd

# 열 구성: year | base(KASI) | chatgpt | gemini | claude | perplexity
df = pd.read_csv("ipchun_1920_2025.csv", parse_dates=[
    "base", "chatgpt", "gemini", "claude", "perplexity"
])

TARGETS = ["chatgpt", "gemini", "claude", "perplexity"]
rows = []

for col in TARGETS:
    # NaT(=UNKNOWN) 는 통계에서 제외. 이걸 0으로 채우면 결과가 통째로 망가집니다.
    d = (df[col] - df["base"]).dt.total_seconds() / 60
    d = d.dropna()

    rows.append({
        "LLM":       col,
        "n":         len(d),
        "평균차이":   round(d.mean(), 1),      # 편향
        "표준편차":   round(d.std(), 1),       # 불안정성
        "최소":      int(d.min()),
        "최대":      int(d.max()),
        "절대평균":   round(d.abs().mean(), 1), # ★ 정확도 핵심
        "완전일치":   int((d == 0).sum()),
    })

result = pd.DataFrame(rows).sort_values("절대평균")
print(result.to_string(index=False))

# 시대별 추이 — 시간대 보정 문제는 여기서 드러납니다
df["decade"] = (df["year"] // 10) * 10
for col in TARGETS:
    diff = (df[col] - df["base"]).dt.total_seconds() / 60
    print(f"\n[{col}] 연대별 절대평균(분)")
    print(diff.abs().groupby(df["decade"]).mean().round(1).to_string())

표본 수(n)를 반드시 같이 출력하도록 했습니다. 49건짜리와 106건짜리를 나란히 놓고 순위를 매기면 안 되기 때문입니다.

3-6. 확정 데이터를 시스템에 고정

검증이 끝난 뒤, 정답지를 DB에 못 박았습니다. 매번 LLM에게 물어보는 구조 자체를 없앤 것이 이 작업의 최종 목적이었습니다.

sql

-- 韓바둑 절기 데이터 테이블 (PostgreSQL)
CREATE TABLE jeolgi (
    id              SERIAL PRIMARY KEY,
    year            INTEGER NOT NULL,
    jeolgi_name     VARCHAR(20) NOT NULL,
    solar_longitude DECIMAL(10,6),              -- 태양 황경
    datetime        TIMESTAMP WITH TIME ZONE,   -- ★ TIMESTAMPTZ 필수
    source          VARCHAR(50) DEFAULT 'KASI'
);

TIMESTAMP 가 아니라 TIMESTAMP WITH TIME ZONE 을 쓴 것이 핵심입니다. 이번 검증에서 확인한 오류의 상당수가 시간대 처리에서 나왔는데, 스키마 단계에서 시간대 정보를 버리면 같은 사고를 제가 재현하게 됩니다.

결과와 배운 점

4-1. 종합 통계

지표

ChatGPT

Gemini

Claude(ephem)

단위

데이터 수

106

49

106

건

평균 차이

-42.0

-450.7

-541.7

분

표준편차

107.9

134.4

625.5

분

최소 차이

-74

-520

-1,589

분

최대 차이

+1,038

-120

+933

분

절대평균

61.6

450.7

677.5

분

완전일치

11

0

0

건

Perplexity는 49건만 확보되었고 값의 안정성이 낮아 정확도 평가에서 제외했습니다. 표본이 부족한데 순위에 올리는 건 통계가 아니라 인상비평입니다.

4-2. 정확도 순위

🥇 1위  ChatGPT (중국천문대 참조) — 평균  61.6분 오차  (약 1시간)
🥈 2위  Gemini  (자체 계산)      — 평균 450.7분 오차  (약 7.5시간)
🥉 3위  Claude  (ephem 계산)     — 평균 677.5분 오차  (약 11.3시간)

최대 오차는 -1,589분, 약 26시간이었습니다. 하루하고도 두 시간입니다. 입춘 시각이 하루 넘게 틀리면, 그 해에 태어난 사람 상당수의 연주가 통째로 뒤집힙니다.

4-3. 시대별 추이 — 진짜 원인이 여기서 드러납니다

시대

ChatGPT

Gemini

Claude(ephem)

1920년대

0~60분

-1,200~-1,300분

-1,500~-1,600분

1960년대

60분

—

-700~-800분

1990년대

50~70분

—

-100~-200분

2020년대

0~1분

-120~-180분

+300~+500분

과거로 갈수록 오차가 커집니다. 이 패턴이 결정적입니다. 만약 천문 계산 자체가 틀렸다면 오차는 연도와 무관하게 흩어져야 합니다. 그런데 시대 의존적으로 커진다는 건 원인이 하나라는 뜻입니다.

천문 계산이 틀린 게 아니라, 시간대 보정이 빠진 것입니다.

4-4. 원인 분석

① ChatGPT — 1시간 일괄 오차의 정체

2017년 이후는 거의 완벽합니다(완전일치 11건 중 2017~2025년이 7건). 그런데 1920~2000년대 초반에 약 60분 일괄 오차가 있습니다. 중국천문대 데이터를 참조한 결과인데, 중국 표준시(UTC+8)와 한국 표준시(UTC+9)의 1시간 차이가 구간별로 정리되지 않은 것으로 보입니다.

1992년에 +1,038분이라는 이상치가 하나 있습니다. 원인은 데이터 입력 오류로 추정하고 있으나 확정하지 못했습니다.

② Gemini — UTC를 KST로 안 바꿨습니다

평균 오차 -450.7분 ≈ -7.5시간
UTC ↔ KST 차이 = 9시간

숫자가 시간대 차이 근처에서 놉니다. UTC 기준으로 계산한 뒤 KST 변환을 누락했거나, UTC+8과 UTC를 혼용한 것으로 추정됩니다. 다만 정확히 -9시간이 아니라 -7.5시간이라 단정하지는 않습니다.

③ Claude(ephem) — 라이브러리는 정확한데 결과가 틀린 경우

이게 이번 검증에서 제일 배운 게 많은 항목입니다.

ephem은 천문 계산 라이브러리로서 정확합니다. 태양 황경 315° 도달 시점 자체는 제대로 뽑습니다. 그런데 한국의 역사적 시간대 변경을 모릅니다. 1954~1961년 UTC+8:30 구간을 그대로 UTC+9로 처리하면, 그 구간 데이터가 통째로 30분씩 밀립니다.

표준편차 625.5분이 이 사정을 그대로 보여줍니다. 다른 모델은 일정하게 틀리는데, 이쪽은 연도마다 다르게 틀립니다.

"라이브러리가 정확하다"와 "결과가 정확하다"는 완전히 다른 말입니다. 계산 엔진과 그 엔진에 넣는 전제(시간대·좌표계·역법)는 별개입니다. 엔진을 믿고 전제를 검증하지 않으면, 정밀하게 틀린 답이 나옵니다. 이게 제일 위험한 형태의 오류입니다. 소수점까지 나오니까 맞아 보이거든요.

4-5. 그래서 원래 질문으로 — "미신"이라는 판정에 대하여

LLM

명리학에 대한 태도

절기 계산 실측 오차

ChatGPT

"과학적 근거 없음"

61.6분

Gemini

"점술로 분류"

450.7분

Claude

"문화적 가치는 인정"

677.5분

저는 여기서 "명리학은 과학이다"라고 주장하려는 게 아닙니다. 그건 이 데이터로 증명되는 명제가 아닙니다.

제가 확인한 건 이것뿐입니다.

어떤 체계의 가장 기초적인 계산을 1~11시간 틀리는 도구는, 그 체계에 대한 평가를 내릴 만큼 그 체계를 알지 못한다.

이건 명리학에만 해당하는 이야기가 아닙니다. LLM이 어떤 분야를 "비주류"로 분류하면, 그 분야에 대한 학습 데이터의 밀도와 검증 압력이 함께 낮아집니다. 그러면 실제로 부정확한 답을 내놓고, 사용자는 그 부정확함을 "역시 그 분야가 허술하다"로 읽습니다. 분류가 품질을 결정하고, 품질이 다시 분류를 정당화하는 순환입니다.

한의학, 전통 건축, 향토 음식, 고문헌 판독 — 자기 분야에서 LLM이 이상한 소리를 한다고 느끼신 분이라면, 같은 구조를 보고 계실 가능성이 높습니다.

4-6. 꿀팁 — 자기 도메인에서 LLM을 검증하실 분께

① 정답지가 있는 항목부터 치십시오

"이 해석이 맞나"는 검증이 안 됩니다. 국가 공인 데이터·법령 조문·측정값처럼 정오가 확정된 항목을 찾으세요. 명리학에서는 그게 절기였습니다. 대부분의 분야에 하나쯤 있습니다.

② 106개를 물으십시오. 3개는 의미가 없습니다

3개 물어서 다 맞으면 "정확하다", 다 틀리면 "쓸모없다"가 됩니다. 둘 다 틀린 결론입니다. 패턴은 수십 건 이상 쌓여야 보입니다. 시대별 추이 표가 원인을 알려준 것도 106개였기 때문입니다.

③ 절대평균으로 순위를 매기고, 평균 차이로 원인을 찾으십시오

  • 평균 차이가 크고 표준편차가 작다 → 일괄 보정 오류. 고치기 쉽습니다

  • 평균 차이가 작고 표준편차가 크다 → 불안정. 제일 위험합니다

  • 둘 다 크다 → 소스 자체가 틀렸습니다

④ "모르면 UNKNOWN" 을 프롬프트에 반드시 넣으십시오

이거 하나로 검증 품질이 갈립니다. 없으면 모델이 빈칸을 그럴듯하게 채우고, 그 값이 통계에 섞여 들어갑니다.

⑤ 검증이 끝나면 결과를 DB에 못 박고, 매번 묻는 구조를 없애십시오

이번 작업의 최종 산출물은 순위표가 아니라 jeolgi 테이블입니다. 한 번 확정한 사실을 매번 LLM에게 다시 묻는 파이프라인은, 그 자체가 결함입니다.

4-7. 시행착오 — 제가 잘못한 것들

① 프롬프트 원문을 안 남겼습니다 (가장 큰 실책)

이 글을 쓰면서 가장 뼈아팠던 부분입니다. 보고서에 통계는 정밀하게 남겼는데, 정작 그 데이터를 어떻게 뽑았는지가 없습니다. 그래서 3번 항목의 프롬프트를 "재현용 재구성"이라고 밝힐 수밖에 없었습니다.

검증 연구에서 프롬프트는 실험 조건입니다. 실험 조건이 없으면 재현 불가능한 결과가 됩니다. UNESCO 등재 심사가 요구하는 게 정확히 "재현성"인데, 정작 재현성 근거를 스스로 날린 셈입니다.

→ 이후 모든 검증 작업에서 프롬프트 전문·모델 버전·실행 일시를 산출물과 같은 폴더에 묶어 보관하기로 원칙을 바꿨습니다.

② 모델 버전을 기록하지 않았습니다

"ChatGPT"라고만 적혀 있습니다. 어느 버전인지 모릅니다. LLM은 몇 달 단위로 바뀌므로, 버전 없는 벤치마크는 유통기한 없는 식품 같습니다. 지금 다시 돌리면 결과가 다를 겁니다.

③ 1회 질의만 했습니다

같은 프롬프트를 여러 번 던져 편차를 봤어야 합니다. LLM은 같은 질문에 다른 답을 합니다. 1회 응답을 그 모델의 실력으로 기록한 것은 방법론적 결함입니다.

④ Gemini·Perplexity 49건을 106건과 나란히 놓았습니다

보고서 표에 표본 수를 같이 적어두긴 했지만, 순위 발표에서는 이 차이가 잘 안 보입니다. 표본 크기가 다른 것을 같은 표에 올리려면 순위가 아니라 별도 구획으로 분리했어야 합니다.

⑤ 1992년 이상치(+1,038분)를 끝까지 못 밝혔습니다

"데이터 입력 오류로 추정"으로 남겨두었습니다. 106건 중 1건이지만, 이상치 하나를 설명 못 하면 나머지 105건의 신뢰도도 같이 흔들립니다.

4-8. 도움이 필요한 부분

세 가지를 여쭙고 싶습니다.

  1. 재검증 설계 — 2026년 현재 모델(GPT-5 계열, Gemini 최신, Claude Opus 등)로 다시 돌릴 계획인데, 모델 버전·온도·시행 횟수를 어느 수준까지 통제해야 벤치마크로서 인정받을 수 있을지 조언 구합니다. 같은 프롬프트 5회 반복 정도면 충분할까요?

  2. 자기 도메인에 정답지가 있으신 분 — 한의학 처방 용량, 법령 시행일, 문화재 실측치 등 정오가 확정된 데이터를 가지고 계신 분과 방법론을 공유하고 싶습니다. 도메인이 여럿 모이면 "LLM의 비주류 도메인 편향"이 개별 사례가 아니라 패턴으로 증명됩니다.

  3. 논문화 경험 — 이 결과를 학술지에 투고할 예정인데, LLM 벤치마크 논문을 써보신 분의 조언(적합 저널, 리뷰어가 주로 지적하는 지점)이 있으면 큰 도움이 되겠습니다.


5. 앞으로의 계획

5-1. 확정 로드맵

단계

작업

시기

1

24절기 전체 106년 비교 분석 (입춘 1개 → 24개로 확장)

2026 Q1

2

LLM별 보정 알고리즘 개발

2026 Q2

3

학술 논문 투고

2026 Q2

4

UNESCO 등재 신청서 반영

2027

1단계가 완료되면 표본이 106건에서 약 2,544건으로 늘어납니다. 입춘 하나로 본 패턴이 24절기 전체에서도 유지되는지, 특정 절기에서만 오차가 튀는지 확인할 수 있습니다.

5-2. v2.0에서 반드시 고칠 것

4-7에서 적은 실책들의 정면 대응입니다.

  • 프롬프트 전문·모델 버전·실행 일시를 산출물과 동봉 — 재현성 확보

  • 동일 프롬프트 5회 반복 후 편차 기록 — 1회 응답 문제 해소

  • 표본 수 다른 모델은 별도 구획 분리 — 순위 오독 방지

  • 1992년 이상치 원인 규명 또는 "미규명" 명시

5-3. 시스템 반영

검증 결과를 시스템 원칙으로 굳혔습니다.

韓바둑 절기 처리 원칙
  1순위  KASI / 만세력 DB    → 절대 기준. 런타임에 이것만 참조
  2순위  ChatGPT             → 신규 데이터 교차검증용
  ⚠️     Gemini · Claude     → 시간대 보정 후에만 참고
  ✕      LLM 실시간 질의     → 상담 파이프라인에서 전면 배제

마지막 줄이 이 프로젝트의 결론입니다. AI 명리 시스템을 만들면서, 절기만큼은 AI에게 묻지 않기로 했습니다.

5-4. UNESCO 등재와의 연결

2027년 등재 신청을 준비 중인데, 심사가 요구하는 것은 자료의 양이 아니라 출처 추적 가능성과 재현성입니다. 이 검증은 그중 "과학적 정당성" 항목의 실증 자료로 들어갑니다.

  • 객관적 데이터 — 106년 정량 비교

  • 차별화 입증 — 시중 프로그램(출처 불명·일 단위)과의 품질 격차

  • 보존 가치 — 전통 지식을 검증 가능한 형태로 디지털화한 사례

다만 4-7에서 밝혔듯 현재 v1.0은 재현성 요건을 스스로 충족하지 못합니다. v2.0 재검증이 등재 신청 전 필수 선행 작업입니다.

도움 받은 글 (옵션)

  • 한국천문연구원(KASI) 천문우주지식정보 — 절기 데이터 원천

  • ephem (PyEphem) 공식 문서 — 천문 계산 라이브러리

  • 한국 표준시 변경 이력 관련 공공 기록 — 1908/1912/1954/1961 4개 구간

  • pandas 시계열 처리 문서 — TIMESTAMPTZ ↔ datetime64[ns, tz] 변환

  • 지피터스 23기 에이전트 하네스 과정 — "검증 영수증" 개념. 문서에 적힌 검증을 코드가 실제로 하는지 확인하라는 이번 과정의 지적이, 이 글 4-7 작성의 직접적 계기가 되었습니다

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

Giacomo 프로필 이미지
Giacomo2026.08.16

이 실험의 핵심은 ‘모델 성능’과 ‘모델이 붙잡은 데이터 소스’를 분리한 데 있습니다. 106년을 한 줄 순위로 끝내지 않고 표본 수, 절대평균, 평균 차이, 시대별 추이를 함께 놓으니 시간대 전제가 어디서 깨졌는지가 보였고, 마지막에는 런타임 LLM 질의를 없애고 KASI 기반 테이블로 닫았어요.

재검증에서는 실험 단위를 모델 이름이 아니라 ‘모델·버전·도구/검색 경로·프롬프트·디코딩 설정·실행 시각’ 묶음으로 고정하는 게 먼저입니다. 5회 반복은 파일럿으로는 쓸 수 있지만 충분성의 기준 자체는 아닙니다. 시행 횟수는 반복 결과의 분산과 원하는 신뢰구간 폭을 보고 늘리고, 완전 데이터 106건과 부분 데이터 49건은 분석군부터 분리하는 편이 정직합니다.

도메인 협업용 공통 프로토콜에는 정답지의 권위와 버전, 시간·지역 보정, UNKNOWN 처리, 원시 응답, 출처 경로, 누락률을 같은 필드로 두는 게 좋습니다. 투고처도 ‘명리학 평가’보다 ‘도구 사용 LLM의 시계열·시간대 벤치마크’가 실제 기여인지 먼저 고정한 뒤, 그 범위를 다루는 AI 평가·디지털 인문학 저널의 최근 벤치마크 논문에서 후보를 좁히는 편이 맞습니다. 첫 재실행에서 같은 106개 입력에 원문 프롬프트와 원시 출력이 함께 남고 반복 간 분산까지 계산되면, v1.0의 가장 큰 재현성 공백이 닫힙니다.

모델 순위보다 데이터 경로와 시간대 전제를 분리해 본 판단이 정확했어요. 특히 프롬프트 원문과 모델 버전이 없다는 약점을 본문에서 먼저 인정해, 이 벤치마크가 주장보다 검증 가능성을 향해 움직인 과정이 선명하게 드러났습니다.

한바둑 프로필 이미지
한바둑2026.08.16

가장 뼈아픈 대목부터 답을 드립니다. 저는 그 분리를 §4에서 해놓고 §7에서 도로 뭉갰습니다.

원인 분석에서는 ChatGPT를 중국천문대 참조로, Claude를 ephem 라이브러리 계산으로, Perplexity를 검색 기반으로 명확히 갈라놓고 각각의 실패 원인까지 짚었습니다. 그런데 결론의 「실무 권장 순서」는 "1순위 KASI, 2순위 ChatGPT, 3순위 Gemini, 4순위 Claude" — 모델 이름 한 줄 순위입니다. 677.5분은 Claude의 성능이 아니라 ephem에 한국의 역사적 시간대 보정을 넣지 않은 제 스크립트의 결과인데, 그걸 모델 이름표 아래 적어놓은 겁니다. 같은 문서 안에서 진단과 결론이 어긋나 있었습니다.

1. 실험 단위 묶음 — 이게 없어서 지금 재현이 안 됩니다.
모델·버전·도구/검색 경로·프롬프트·디코딩 설정·실행 시각. 여섯 중 제가 남긴 건 사실상 데이터 소스 하나뿐입니다. 그 공백이 구체적으로 어디서 터졌는지 하나만 들면, 1992년 ChatGPT의 +1,038분 이상치를 저는 "데이터 입력 오류 추정"으로 적어두고 넘어갔습니다. 원시 응답이 없으니 그게 모델 출력이었는지 제가 엑셀에 옮기다 틀린 것인지 지금 확인할 방법이 없습니다. "추정 금지"를 원칙으로 써놓고 정작 이상치 하나를 추정으로 처리한 셈입니다. 재실행에서는 입력·원문 프롬프트·원시 출력을 같은 행에 묶어 남기겠습니다.

2. 106건과 49건 — 여기도 제가 스스로 모순됐습니다.
Perplexity는 "표본 부족으로 정확도 평가 불가"라고 빼놓고, 같은 49건인 Gemini는 절대평균 450.7분으로 2위에 올렸습니다. 같은 이유라면 같은 처리를 했어야 합니다. 게다가 부분 데이터 49건이 어느 연도에 몰려 있는지도 기록하지 않았는데, 시대별 추이가 이렇게 큰 실험에서 표본이 특정 구간에 쏠려 있으면 절대평균 자체가 다른 뜻이 됩니다. 분석군부터 나누고, 부분 데이터군은 별도 표로 빼겠습니다.

5회 반복도 그대로 받겠습니다. 저는 "5회면 되겠지"로 정했지 분산을 보고 정한 게 아닙니다. 앞선 글에서 골든셋을 50건으로 잡은 것도 반올림이었다고 인정했는데, 표본 크기를 어림수로 먼저 정하는 습관이 여기서도 반복됐습니다. 반복 결과의 분산과 목표 신뢰구간 폭을 보고 늘리겠습니다.

3. 공통 프로토콜 — 정답지 필드가 특히 급합니다.
제 보고서의 기준 자료는 「만세력/KASI」로 슬래시 하나에 묶여 있습니다. 어느 연도에 무엇을 썼는지, 두 출처가 어긋나는 해가 있었는지 지금 알 수 없습니다. 106년 중 상당 구간이 KASI 공식 제공 범위 밖일 가능성도 확인하지 않았습니다. 말씀하신 대로 정답지의 권위·버전, 시간·지역 보정, UNKNOWN 처리, 원시 응답, 출처 경로, 누락률을 같은 필드로 고정하겠습니다. UNKNOWN 처리는 특히 중요해 보입니다. 지금은 모델이 "모르겠다"고 한 경우와 값을 냈는데 틀린 경우가 구분 없이 결측으로 빠져 있을 겁니다.

4. 투고 범위 — 「평가 자격」 논변은 빼겠습니다.
보고서에 이런 삼단논법을 적어뒀습니다. 절기 계산도 못하면서 명리학을 미신이라 단정하는 것은 논리적 오류다. 다시 보니 이건 논문의 기여가 아니라 수사입니다. 도구 사용 정확도와 어떤 대상을 평가할 자격은 별개 문제이고, 이 논변으로는 명리학 쪽도 LLM 쪽도 아무것도 입증되지 않습니다. 제가 하고 싶었던 말과 데이터가 실제로 보여준 것이 달랐습니다.

데이터가 보여준 것은 도구를 쓰는 LLM이 시계열·시간대 전제에서 어떻게 깨지는지이고, 그게 실제 기여입니다. 범위를 그렇게 고정한 뒤 AI 평가·디지털 인문학 쪽 최근 벤치마크 논문에서 후보를 좁히겠습니다. 같은 이유로, 이 결과를 UNESCO 서류에 "과학적 정당성 입증"으로 쓰겠다고 적어둔 부분도 내리겠습니다. 이 실험이 입증한 건 저희 절기 테이블이 KASI 기준을 쓴다는 사실이지 명리학의 정당성이 아닙니다.

마지막으로 짚어주신 부분은 절반만 받겠습니다. 약점을 본문에서 인정한 건 맞는데, 인정은 §4에 적고 결론은 §7에서 원래 하고 싶던 말로 돌아갔습니다. 인정한 문장과 결론 문장이 같은 문서 안에서 서로 다른 방향을 보고 있었고, 이번 지적으로 그게 드러났습니다. 런타임 질의를 없애고 KASI 테이블로 닫은 것만은 다행히 결론과 구현이 같은 쪽을 봤네요. 재실행 결과가 나오면 v2.0으로 다시 올리겠습니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기