본문으로 건너뛰기

LLM에게 원본 숫자를 그대로 옮기게 놔두면 안 되는 이유

부엉부엉

2026.08.12

LLM에게 원본 숫자를 그대로 옮기게 놔두면 안 되는 이유 본문 이미지

# LLM에게 원본 숫자를 그대로 옮기게 놔두면 안 되는 이유

지난 주말, 버핏클럽 웹진 첫 기고 칼럼을 마감하는 세션에서 팩트 오류 두 개가 잡혔다. 하나는 편집자 이메일로, 하나는 내가 공시를 뒤져서. 발행 전에 잡힌 게 다행이었지만, 두 번 다 LLM이 스스로 발견한 게 아니었다. 정리해둔다.

## 사고 1 — "251배 격차"

칼럼 논지 중 하나가 지주회사의 지분법이익과 실제 현금 배당의 괴리였다. SK스퀘어의 2025년 연결 지분법이익 8.93조원과 실제 SK하이닉스로부터 수령한 배당금 3,560억원의 차이를 인용했다. 근거는 Claude AI 프로젝트에서 작업 중이던 근간 저서의 5장 지주회사 챕터. 그 원고에 "251배 격차"라고 되어 있었고, Claude Code 세션은 원본 신뢰로 그 수치를 그대로 옮겼다. 나도 몇 번의 이터레이션 동안 그대로 두었다. 마감 직전, 편집자가 "이 수치 이상하다"는 메일을 보냈다. 다시 계산해봤다.

89,300 ÷ 3,560 = 25.08

251배가 아니라 25배였다. Claude AI 프로젝트에서 저서 원고를 작성할 때 계산을 잘못한 수치가 챕터에 들어갔고, Claude Code 세션은 그 오류를 발견하지 못한 채 그대로 인용했다. Claude AI가 만든 원본을 Claude Code가 이어받으며, 두 LLM 모두 계산 검증을 하지 않은 셈이다.

## 사고 2 — "FCF 50%가 배당 재원"

같은 칼럼에 SK하이닉스 배당 정책 서술이 있었다. 언론 기사 원문을 그대로 인용해 "2026년 배당 재원 79.5조원, 2027년 124.5조원"이라 썼다. 검토하다가 뭔가 이상해서 되물었다. "SK하이닉스 배당 정책이 주당 최소 1,500원 + FCF 50%인가요, min(1500, FCF 50%)인가요?"

Claude Code는 처음엔 "고정 배당 + FCF 50%"로 답했다. 재확인을 요청해도 애매한 답이 이어졌다. 결국 내가 직접 SK하이닉스 공시를 뒤져 원문을 찾아 세션에 첨부했다. 원문 공시에 나온 실제 정책은 이랬다.

- 연간 현금 배당은 고정배당금 주당 1,500원만 지급

- 3년 누적 FCF의 50%를 배당과 자사주 매입, 소각을 포함한 총 주주환원 재원으로 설정

- 정책기간 종료 후 재무 건전성 목표 유지 범위 내에서 추가 환원 실행

언론 기사가 정책을 단순화하고 과장해 인용한 것이었고, LLM은 그 부정확 인용을 그대로 옮겼다. 매년 FCF 50%가 그해 배당 재원인 게 아니고(3년 누적 정산), 배당이 아니라 배당과 자사주 매입, 소각을 포함한 총재원(Total Shareholder Return)이며, 정책기간 중 지급은 고정배당 1조원만이었다. 이 오류를 안 잡았다면 SK스퀘어와 SK㈜로 이어지는 배당 흐름 계산도 연쇄로 부정확해졌을 것이다.

## 수습

두 사고 모두 즉시 본문 정정 후, 세 곳에 원칙을 심었다.

첫째, 버핏클럽 칼럼 스킬의 톤 체크 목록에 "숫자 재계산·재검증(받았더라도 반드시 재확인)" 항목을 추가했다. (a) 배수·비율은 나눗셈 직접 재계산, (b) 정책·공식은 회사 IR과 공시 원문 재확인, (c) 연쇄 계산은 처음부터 재점검이라는 세 가지 세부 원칙까지 명시.

둘째, 전역 CLAUDE.md 협업 원칙에도 같은 원칙을 추가했다. 다른 프로젝트(스크리닝, 어닝스모델 등)에서도 자동 적용되도록.

셋째, 두 개의 실측 위반 사례를 원칙 문구 안에 근거로 박아뒀다. 향후 세션에서 이 사례를 보면 원칙의 무게가 더 실릴 것이다.

## 배운 것

두 사고 모두 LLM이 스스로 잡지 못했다. 첫 사고는 편집자 이메일이 없었으면 발행됐을 것이고, 둘째 사고는 사용자가 직접 공시를 뒤지지 않았으면 정정되지 않았을 것이다. LLM이 근거를 찾아준다는 기대는 특정 지점에서 무너진다.

LLM은 원본을 "그대로" 인용하는 성향이 강하다. 그게 신뢰할 만한 필자의 저서든, 유력 매체의 심층 분석 기사든, 회사가 준 자료든 마찬가지다. "원본 신뢰"라는 예외를 두면 원본의 오류나 부정확 인용이 그대로 이어붙는다.

두 가지 방어선을 세워야 한다는 게 이번의 결론이다.

첫째는 사람 쪽. 마감 전 마지막 검토에서 배수·비율은 반드시 나눗셈으로 확인하고, 정책·공식은 원문(회사 IR과 공시)까지 내려가 확인한다. "이거 이상하지 않나?"라는 감을 신뢰해야 한다.

둘째는 도구 쪽. 스킬과 CLAUDE.md 같은 지시문에 "원본이라도 재검증" 원칙을 명시로 박아둔다. LLM이 다음 세션에서 원본을 그대로 옮기려는 순간 이 원칙이 발동되도록.

Claude AI 웹(claude.ai 프로젝트)에는 위 원칙이 자동 반영되지 않는다는 것도 배운 지점이다. Claude Code 터미널의 CLAUDE.md와 skills, Claude AI의 프로젝트 지시와 지식은 완전히 별개 시스템이라, 웹 쪽에는 원칙 텍스트를 각 프로젝트마다 수동 복붙해야 한다.

결국 LLM과 협업하는 콘텐츠 작업에서 팩트 정확성은 시스템 설계의 문제라는 걸 한 번 더 확인했다. 원칙을 어디에 어떻게 박아두느냐가 다음 세션에서 같은 실수를 반복할지 여부를 결정한다.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

oneshot 프로필 이미지
oneshot2026.08.13

AI가 원본 자료를 그대로 인용했더라도 배수와 비율을 직접 다시 계산하고, 정책은 공시 원문까지 확인해야 한다는 사례가 인상적이었어요.
숫자 재계산과 원문 검증 원칙을 프로젝트 지침과 스킬에 넣어야 같은 오류의 반복을 막을 수 있다는 인사이트 얻어갑니다.

류웅수_이안_IAN 프로필 이미지

부엉부엉님, 251배가 실제로는 25배였다는 대목이 정말 아찔하네요. Claude AI에서 만든 원고를 Claude Code가 이어받았으니 한 번 더 검증될 것 같지만, 두 시스템 모두 같은 원본을 신뢰하면 오류도 그대로 이어진다는 걸 잘 보여준 사례 같습니다.

두 번째 배당 정책 오류는 숫자 하나보다 더 위험해 보여요. 3년 누적 FCF의 50%를 배당·자사주 매입·소각을 포함한 총주주환원 재원으로 쓴다는 내용을, 매년 FCF 50%가 현금배당으로 나가는 것처럼 읽으면 뒤에 연결된 기업가치 계산까지 전부 달라질 수 있으니까요. 결국 언론 기사에서 멈추지 않고 공시 원문까지 내려간 판단이 칼럼을 살린 것 같습니다.

실수 두 건을 고친 뒤 숫자 재계산, 정책 원문 확인, 연쇄 계산 재점검을 스킬과 협업 원칙에 넣은 것도 좋았어요. 특히 실제로 터졌던 251배와 FCF 사례를 규칙 안에 같이 적어둔 건, 다음 세션에서 왜 이 검사가 필요한지 맥락까지 전달해줄 것 같아요.

여기에 한 단계 더 붙인다면 문장마다 숫자·정책·날짜·인용을 표시하고, 발행 직전에 근거 URL과 직접 계산식을 표로 뽑아주는 검수 단계도 잘 맞을 것 같습니다. 원문이 있다고 통과시키는 게 아니라 ‘계산 확인’, ‘공시 확인’, ‘2차 출처만 있음’처럼 상태를 나눠두면 편집자와 주고받기도 편해질 것 같고요.

웹 프로젝트와 터미널 쪽 지시문이 따로 노는 문제는 완전 자동 동기화보다, 공통 원칙을 짧은 기준 문서 하나로 관리하고 각 프로젝트에 같은 버전이 들어갔는지 체크하는 방식부터 써봐도 괜찮아 보여요. 이번 사례는 팩트체크가 마지막 사람의 감각에만 기대면 얼마나 위험한지, 그리고 그 감각을 어떻게 시스템으로 옮길 수 있는지 아주 구체적으로 보여주셨네요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기