# LLM에게 원본 숫자를 그대로 옮기게 놔두면 안 되는 이유
지난 주말, 버핏클럽 웹진 첫 기고 칼럼을 마감하는 세션에서 팩트 오류 두 개가 잡혔다. 하나는 편집자 이메일로, 하나는 내가 공시를 뒤져서. 발행 전에 잡힌 게 다행이었지만, 두 번 다 LLM이 스스로 발견한 게 아니었다. 정리해둔다.
## 사고 1 — "251배 격차"
칼럼 논지 중 하나가 지주회사의 지분법이익과 실제 현금 배당의 괴리였다. SK스퀘어의 2025년 연결 지분법이익 8.93조원과 실제 SK하이닉스로부터 수령한 배당금 3,560억원의 차이를 인용했다. 근거는 Claude AI 프로젝트에서 작업 중이던 근간 저서의 5장 지주회사 챕터. 그 원고에 "251배 격차"라고 되어 있었고, Claude Code 세션은 원본 신뢰로 그 수치를 그대로 옮겼다. 나도 몇 번의 이터레이션 동안 그대로 두었다. 마감 직전, 편집자가 "이 수치 이상하다"는 메일을 보냈다. 다시 계산해봤다.
89,300 ÷ 3,560 = 25.08
251배가 아니라 25배였다. Claude AI 프로젝트에서 저서 원고를 작성할 때 계산을 잘못한 수치가 챕터에 들어갔고, Claude Code 세션은 그 오류를 발견하지 못한 채 그대로 인용했다. Claude AI가 만든 원본을 Claude Code가 이어받으며, 두 LLM 모두 계산 검증을 하지 않은 셈이다.
## 사고 2 — "FCF 50%가 배당 재원"
같은 칼럼에 SK하이닉스 배당 정책 서술이 있었다. 언론 기사 원문을 그대로 인용해 "2026년 배당 재원 79.5조원, 2027년 124.5조원"이라 썼다. 검토하다가 뭔가 이상해서 되물었다. "SK하이닉스 배당 정책이 주당 최소 1,500원 + FCF 50%인가요, min(1500, FCF 50%)인가요?"
Claude Code는 처음엔 "고정 배당 + FCF 50%"로 답했다. 재확인을 요청해도 애매한 답이 이어졌다. 결국 내가 직접 SK하이닉스 공시를 뒤져 원문을 찾아 세션에 첨부했다. 원문 공시에 나온 실제 정책은 이랬다.
- 연간 현금 배당은 고정배당금 주당 1,500원만 지급
- 3년 누적 FCF의 50%를 배당과 자사주 매입, 소각을 포함한 총 주주환원 재원으로 설정
- 정책기간 종료 후 재무 건전성 목표 유지 범위 내에서 추가 환원 실행
언론 기사가 정책을 단순화하고 과장해 인용한 것이었고, LLM은 그 부정확 인용을 그대로 옮겼다. 매년 FCF 50%가 그해 배당 재원인 게 아니고(3년 누적 정산), 배당이 아니라 배당과 자사주 매입, 소각을 포함한 총재원(Total Shareholder Return)이며, 정책기간 중 지급은 고정배당 1조원만이었다. 이 오류를 안 잡았다면 SK스퀘어와 SK㈜로 이어지는 배당 흐름 계산도 연쇄로 부정확해졌을 것이다.
## 수습
두 사고 모두 즉시 본문 정정 후, 세 곳에 원칙을 심었다.
첫째, 버핏클럽 칼럼 스킬의 톤 체크 목록에 "숫자 재계산·재검증(받았더라도 반드시 재확인)" 항목을 추가했다. (a) 배수·비율은 나눗셈 직접 재계산, (b) 정책·공식은 회사 IR과 공시 원문 재확인, (c) 연쇄 계산은 처음부터 재점검이라는 세 가지 세부 원칙까지 명시.
둘째, 전역 CLAUDE.md 협업 원칙에도 같은 원칙을 추가했다. 다른 프로젝트(스크리닝, 어닝스모델 등)에서도 자동 적용되도록.
셋째, 두 개의 실측 위반 사례를 원칙 문구 안에 근거로 박아뒀다. 향후 세션에서 이 사례를 보면 원칙의 무게가 더 실릴 것이다.
한국어 페이지 스크린샷
## 배운 것
두 사고 모두 LLM이 스스로 잡지 못했다. 첫 사고는 편집자 이메일이 없었으면 발행됐을 것이고, 둘째 사고는 사용자가 직접 공시를 뒤지지 않았으면 정정되지 않았을 것이다. LLM이 근거를 찾아준다는 기대는 특정 지점에서 무너진다.
LLM은 원본을 "그대로" 인용하는 성향이 강하다. 그게 신뢰할 만한 필자의 저서든, 유력 매체의 심층 분석 기사든, 회사가 준 자료든 마찬가지다. "원본 신뢰"라는 예외를 두면 원본의 오류나 부정확 인용이 그대로 이어붙는다.
두 가지 방어선을 세워야 한다는 게 이번의 결론이다.
첫째는 사람 쪽. 마감 전 마지막 검토에서 배수·비율은 반드시 나눗셈으로 확인하고, 정책·공식은 원문(회사 IR과 공시)까지 내려가 확인한다. "이거 이상하지 않나?"라는 감을 신뢰해야 한다.
둘째는 도구 쪽. 스킬과 CLAUDE.md 같은 지시문에 "원본이라도 재검증" 원칙을 명시로 박아둔다. LLM이 다음 세션에서 원본을 그대로 옮기려는 순간 이 원칙이 발동되도록.
Claude AI 웹(claude.ai 프로젝트)에는 위 원칙이 자동 반영되지 않는다는 것도 배운 지점이다. Claude Code 터미널의 CLAUDE.md와 skills, Claude AI의 프로젝트 지시와 지식은 완전히 별개 시스템이라, 웹 쪽에는 원칙 텍스트를 각 프로젝트마다 수동 복붙해야 한다.
결국 LLM과 협업하는 콘텐츠 작업에서 팩트 정확성은 시스템 설계의 문제라는 걸 한 번 더 확인했다. 원칙을 어디에 어떻게 박아두느냐가 다음 세션에서 같은 실수를 반복할지 여부를 결정한다.
