정보성 글을 주요하게 다루는 컨텐츠 마케터라면 팩트 체크가 매우 중요한데요!
아무리 AI가 좋은 소스(기사, 공식 발표 등)을 가져온다고 하더라도
AI가 추측을 확신처럼, 혹은 부족한 내용을 할루시네이션으로 그럴듯하게 보완해서 글을 작성할 수도 있죠.
저는 커뮤니티에 늘 정확한 정보를 전달해야하는 입장이기때문에
AI가 잡아준 초안이나 리서치 결과를 그냥 뚝딱 믿기는 어려웠어요.
그래서 저는 ....
AI 거짓말 탐지기가 되기로했습니다.
역시 Claude Code 스킬로 구현해보자.
AI가 준 초안을 읽고 애매한 부분이 있으면 꼭 인간지능으로 확인했었는데요.
클코 스킬과 에이전트를 활용해서 이 부분을 인공지능으로 대체하고싶었습니다.
"팩트체크 스킬을 만들고 싶은데,서로 다른 뷰를 가진 에이전트들이 정보에 대해 다루고 클레임을 무한으로 걸어서 최대한 할루시네이션이 없었으면 좋겠어역시 모르겠을 땐 클코에게 상담하라.
이렇게 던지니까 저에게 몇가지 질문을 던지고는 바로 구조를 설계했습니다.
Fact -check
완성된 팩트체크 스킬은 6개의 에이전트가돌아갑니다.
[ /fact-check 구조]
1단계에서 글에서 검증이 필요한 클레임을 추출하고,
1.5단계에서 위험도를 분류해요 (숫자·날짜·출시 정보 같은 건 고위험).
2단계 — 에이전트 6마리가 동시에 출동해요.
3단계에서 에이전트들의 결과를 교차 대조
4단계에서 리포트를 보여줘요 (✅ 확인됨 / ⚠️ 수정 필요 / ❌ 오류)
5단계에서 애매한 항목이 있으면 사용자에게 4가지 선택지(수정안 반영 / 삭제/ 그대로 유지) 제공
6단계에서 최종 반영하면서 diff로 바뀐 부분을 보여줘요.
병렬 에이전트 6마리, 각자 뭘 하냐면요!
에이전트
역할
구체적으로 하는 일
A. 원본 소스 대조
출처 직접 비교
원문 URL을 WebFetch로 직접 가져와서, 글에 쓴 내용이 원문과 일치하는지 문장 단위로 대조해요
B. 날짜·숫자·고유명사
팩트 정밀 검증
"2026년 9월", "40% 절감", "GPT-4o" 같은 구체적 수치와 이름이 맞는지 하나하나 확인해요
C. 최신성 검증
정보 유통기한 체크
"출시 예정"이라고 썼는데 이미 출시됐거나, 반대로 연기된 건 아닌지 최신 상태를 검색해요
D. 맥락·인과관계
왜곡 탐지
"A 때문에 B가 됐다"는 서술이 실제 인과관계와 맞는지, 과장이나 축소는 없는지 확인해요
E. 링크 유효성
URL 전수 검사
글에 포함된 링크를 전부 클릭해보고, 404·리다이렉트·페이월 같은 이슈를 잡아내요
F. 암묵적 전제
숨은 가정 검증
글이 직접 말하진 않지만 전제하고 있는 배경 사실 — 예를 들어 "경쟁사 대비 우위"를 은근히 깔고 가는 문장의 근거를 확인해요
에이전트 하나가 모든 걸 확인하면 "대충 괜찮아 보이니까 넘어가자"가 되기 쉬운데,
각자 전문 영역만 깊게 파니까 놓치는 게 확 줄어요. 사람 조직에서 리뷰어를 여러 명 두는 것과 같은 원리예요.
‼️ 근데 이 스킬이 진짜 거짓말을 다 없애주는가
AI 거짓말 탐지기로서 아무래도 믿을 수가 없어서 클로드에게 물어봤더니 우문현답이 나왔습니다.
이 스킬의 핵심 전략은 "모르면 모른다고 말하게 만드는 것"이에 요. AI가 확신 없이 "맞다"고 하는 게 가장 위험한데, 소스 등급 + 보수적 판정 + 검증 불가 카테고리를 둬서 그 위험을 줄이는 구조입니다.100% 완벽하진 않지만, AI가 그냥 글을 쓰는 것보다는 훨씬 신뢰도가 높고, "이건 확인 못 했어요"라는 정보 자체가 가치 있는 결과물이에요.
claude code, OPUS 4.6
아 맞네.. AI가 확신이 없이 맞다고 하는 것만 줄여도 되네 ..
어차피 AI가 돌고돌아 확신이 없는거라면 직접찾아보거나/해당 내용 삭제만 하면되니까
원래 인간 지능 10개 필요한 거 하나만 써도될 것 같더라구요 (굿)
클로드의 말을 인정하고 이 스킬을 믿어보기로했습니다.
만들고 나서 바로 실전에 돌려봤어요. 발행 준비중이던 뉴스레터 HTML을 통째로 넣고 /fact-check 실행.
결과:
클레임 12건 추출 (명시적 9건 + 암묵적 전제 3건)
에이전트 3개가 병렬로 돌았어요 (원본 대조 2분 17초, 숫자 검증 1분 46초, 링크 검증 40초)
12건 중 7건에 실제로 문제가 있었어요.
솔직히 충격이었어요. 평소에도 꽤 꼼꼼하게 확인한다고 생각했거든요.
특히 ❌ 오류로 잡힌 "chatGPT의 분자 구조 회전" 건은 — 원문 기사에서는 마치 이미 되는 것처럼 써놨는데,
실제로는 로드맵에만 있는 기능이었어요. 이걸 사람이 잡으려면 해당 제품 공식 문서까지 가서 확인해야 하는데, 에이전트가 WebSearch로 그걸 해준 거예요.
수정은 이렇게 반영됐어요
팩트체크 결과를 보고 "수정해줘"라고 했더니, Before/After를 보여주면서 4건을 고쳐줬어요.
오류 수정: "분자 구조를 회전시키며" → 삭제하고 검증된 기능만 서술
타임라인 보완: "2025년 봄 → 2026년 9월" → "2025년 봄 → 2026년 초 → 2026년 9월 세 차례 연기"로 맥락 추가
톤 조정: Meta 인수 목적을 단정적 표현 → 분석적 표현으로 변경
URL 수정: TechCrunch 링크 끝에 붙은
)제거해서 404 해결
실제로 활용해보니 좋았던 부분
정말 꼼꼼히 체크하지않으면 어려운 안되는 부분
해석의 여지가 있는 것
특히 암묵적 전제를 미리 판단해주는 부분
내용 외에도 소스 자체의 등급으로 판단 기준 새로 잡기
등급
소스 유형
예시
Tier 1
직접 소스
공식 블로그, 논문, 보도자료
Tier 2
신뢰 매체
주요 테크 매체, 공인 기관 보고서
Tier 3
2차 소스
블로그, 커뮤니티, SNS
Tier 4
미확인
출처 없음, 소문, 비공식 정보
AI 할루시네이션이 고민이셨다면 정보성 글을 작성하실 때나 정보를 취해야할때
이런 스킬 구현해서 활용해보시면 좋을 것 같아요!
