본문으로 건너뛰기

AI 할루시네이션 고치기— Claude Code로 팩트체크 자동화 만든 후기

editor_소연

2026.03.12

정보성 글을 주요하게 다루는 컨텐츠 마케터라면 팩트 체크가 매우 중요한데요!
아무리 AI가 좋은 소스(기사, 공식 발표 등)을 가져온다고 하더라도
AI가 추측을 확신처럼, 혹은 부족한 내용을 할루시네이션으로 그럴듯하게 보완해서 글을 작성할 수도 있죠.

저는 커뮤니티에 늘 정확한 정보를 전달해야하는 입장이기때문에
AI가 잡아준 초안이나 리서치 결과를 그냥 뚝딱 믿기는 어려웠어요.

그래서 저는 ....

사람이 빨간색 표시등이 켜진 장치를 들고 있습니다.

AI 거짓말 탐지기가 되기로했습니다.



역시 Claude Code 스킬로 구현해보자.

AI가 준 초안을 읽고 애매한 부분이 있으면 꼭 인간지능으로 확인했었는데요.
클코 스킬과 에이전트를 활용해서 이 부분을 인공지능으로 대체하고싶었습니다.

"팩트체크 스킬을 만들고 싶은데,서로 다른 뷰를 가진 에이전트들이 정보에 대해 다루고 클레임을 무한으로 걸어서 최대한 할루시네이션이 없었으면 좋겠어

역시 모르겠을 땐 클코에게 상담하라.
이렇게 던지니까 저에게 몇가지 질문을 던지고는 바로 구조를 설계했습니다.


Fact -check

완성된 팩트체크 스킬은 6개의 에이전트가돌아갑니다.

[ /fact-check 구조]
1단계에서 글에서 검증이 필요한 클레임을 추출하고,
1.5단계에서 위험도를 분류해요 (숫자·날짜·출시 정보 같은 건 고위험).
2단계 — 에이전트 6마리가 동시에 출동해요.
3단계에서 에이전트들의 결과를 교차 대조
4단계에서 리포트를 보여줘요 (✅ 확인됨 / ⚠️ 수정 필요 / ❌ 오류)
5단계에서 애매한 항목이 있으면 사용자에게 4가지 선택지(수정안 반영 / 삭제/ 그대로 유지) 제공
6단계에서 최종 반영하면서 diff로 바뀐 부분을 보여줘요.

사실 확인 개 psd eps

병렬 에이전트 6마리, 각자 뭘 하냐면요!

에이전트

역할

구체적으로 하는 일

A. 원본 소스 대조

출처 직접 비교

원문 URL을 WebFetch로 직접 가져와서, 글에 쓴 내용이 원문과 일치하는지 문장 단위로 대조해요

B. 날짜·숫자·고유명사

팩트 정밀 검증

"2026년 9월", "40% 절감", "GPT-4o" 같은 구체적 수치와 이름이 맞는지 하나하나 확인해요

C. 최신성 검증

정보 유통기한 체크

"출시 예정"이라고 썼는데 이미 출시됐거나, 반대로 연기된 건 아닌지 최신 상태를 검색해요

D. 맥락·인과관계

왜곡 탐지

"A 때문에 B가 됐다"는 서술이 실제 인과관계와 맞는지, 과장이나 축소는 없는지 확인해요

E. 링크 유효성

URL 전수 검사

글에 포함된 링크를 전부 클릭해보고, 404·리다이렉트·페이월 같은 이슈를 잡아내요

F. 암묵적 전제

숨은 가정 검증

글이 직접 말하진 않지만 전제하고 있는 배경 사실 — 예를 들어 "경쟁사 대비 우위"를 은근히 깔고 가는 문장의 근거를 확인해요

에이전트 하나가 모든 걸 확인하면 "대충 괜찮아 보이니까 넘어가자"가 되기 쉬운데,
각자 전문 영역만 깊게 파니까 놓치는 게 확 줄어요. 사람 조직에서 리뷰어를 여러 명 두는 것과 같은 원리예요.



‼️ 근데 이 스킬이 진짜 거짓말을 다 없애주는가

한국사이트 스크린샷

AI 거짓말 탐지기로서 아무래도 믿을 수가 없어서 클로드에게 물어봤더니 우문현답이 나왔습니다.


이 스킬의 핵심 전략은 "모르면 모른다고 말하게 만드는 것"이에요. AI가 확신 없이 "맞다"고 하는 게 가장 위험한데, 소스 등급 + 보수적 판정 + 검증 불가 카테고리를 둬서 그 위험을 줄이는 구조입니다.100% 완벽하진 않지만, AI가 그냥 글을 쓰는 것보다는 훨씬 신뢰도가 높고, "이건 확인 못 했어요"라는 정보 자체가 가치 있는 결과물이에요.
claude code, OPUS 4.6

보라색 스웨터를 입은 남자가 소리를 지르고 있다

아 맞네.. AI가 확신이 없이 맞다고 하는 것만 줄여도 되네 ..
어차피 AI가 돌고돌아 확신이 없는거라면 직접찾아보거나/해당 내용 삭제만 하면되니까
원래 인간 지능 10개 필요한 거 하나만 써도될 것 같더라구요 (굿)
클로드의 말을 인정하고 이 스킬을 믿어보기로했습니다.


만들고 나서 바로 실전에 돌려봤어요. 발행 준비중이던 뉴스레터 HTML을 통째로 넣고 /fact-check 실행.


결과:

  • 클레임 12건 추출 (명시적 9건 + 암묵적 전제 3건)

  • 에이전트 3개가 병렬로 돌았어요 (원본 대조 2분 17초, 숫자 검증 1분 46초, 링크 검증 40초)

한국어 웹사이트 스크린샷

12건 중 7건에 실제로 문제가 있었어요.

솔직히 충격이었어요. 평소에도 꽤 꼼꼼하게 확인한다고 생각했거든요.
특히 ❌ 오류로 잡힌 "chatGPT의 분자 구조 회전" 건은 — 원문 기사에서는 마치 이미 되는 것처럼 써놨는데,
실제로는 로드맵에만 있는 기능이었어요. 이걸 사람이 잡으려면 해당 제품 공식 문서까지 가서 확인해야 하는데, 에이전트가 WebSearch로 그걸 해준 거예요.

수정은 이렇게 반영됐어요

팩트체크 결과를 보고 "수정해줘"라고 했더니, Before/After를 보여주면서 4건을 고쳐줬어요.

  1. 오류 수정: "분자 구조를 회전시키며" → 삭제하고 검증된 기능만 서술

  2. 타임라인 보완: "2025년 봄 → 2026년 9월" → "2025년 봄 → 2026년 초 → 2026년 9월 세 차례 연기"로 맥락 추가

  3. 톤 조정: Meta 인수 목적을 단정적 표현 → 분석적 표현으로 변경

  4. URL 수정: TechCrunch 링크 끝에 붙은 ) 제거해서 404 해결


실제로 활용해보니 좋았던 부분

  • 정말 꼼꼼히 체크하지않으면 어려운 안되는 부분

  • 해석의 여지가 있는 것

  • 특히 암묵적 전제를 미리 판단해주는 부분

  • 내용 외에도 소스 자체의 등급으로 판단 기준 새로 잡기

등급

소스 유형

예시

Tier 1

직접 소스

공식 블로그, 논문, 보도자료

Tier 2

신뢰 매체

주요 테크 매체, 공인 기관 보고서

Tier 3

2차 소스

블로그, 커뮤니티, SNS

Tier 4

미확인

출처 없음, 소문, 비공식 정보


AI 할루시네이션이 고민이셨다면 정보성 글을 작성하실 때나 정보를 취해야할때
이런 스킬 구현해서 활용해보시면 좋을 것 같아요!

6

함께 이야기해요 6

로그인하고 댓글을 남겨 주세요

윤누리 프로필 이미지
윤누리2026.03.13

사람이 진짜 꼼꼼히 검토해도 찾아내기 어려울만한 지점을 스킬로 해결! 넘 인사이트 있었어요.

6개 에이전트가 스킬에 포함되어 있다고 상단에 써주셨는데 하단에 실제로 돌린 사례에서는 3개 에이전트가 병렬로 돌았다고 되어 있어서 - 그 사이 에이전트를 쓸모있는 애들만 남기셨는지 아니면 원본 소스에 따라 다르게 동작하는지도 궁금했습니다.

남양주볼카 프로필 이미지
남양주볼카2026.03.13

오 이거 개인적으로도 유용하게 사용할 수 있는 스킬 같아요
그리고 에이전트 나누어서 각자의 역할을 정의하고 부여한 것도 인상깊어요

뽀짝이 프로필 이미지
뽀짝이2026.03.13

남양주볼카님, 관심 가져주셔서 감사해요! 😊

맞아요, 병렬 에이전트를 각자의 전문 영역으로 나눠서 놓치는 부분을 최소화하는 구조가 핵심이에요. 한 에이전트가 모든 걸 확인하면 "대충 괜찮아 보이니까 넘어가자"가 되기 쉬운데, 각자 전문 영역만 깊게 파니까 확 줄어들더라구요 👀

팩트체크 스킬은 마케팅 글뿐만 아니라 보고서, 제안서, 사내 공지 등 정확성이 중요한 모든 글에 활용하실 수 있어요. 특히 "숫자·날짜·고유명사" 같은 고위험 요소가 많은 글일수록 효과가 크답니다!

궁금한 점이나 도움이 필요하시면 언제든 Q&A 게시판에서 편하게 물어봐주세요! 🐱

primadonna 프로필 이미지
primadonna2026.03.13

확실히 에이전트도 사람이다라고 생각하고 반복&분업 하면 더 잘해지는것 같네요

김한솔 프로필 이미지
김한솔2026.03.13

이 스킬을 좀 더 커스터마이징하면 컨텐츠 뿐만 아니라 기획문서에도 적용시킬 수 있겠다는 생각이 드네요

김태현 프로필 이미지
김태현2026.03.13

매우 유용한 스킬이네요! 오늘 연차 아니었으면 좀 더 자세히 들어보고 싶었습니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

함께 읽어보세요

AX 현장 전체 보기