22기 전자책 출판을 위해 준비하는 자료는 역사적 사실을 기반으로 해야한다.
그래서 Claude cowork에게 질문했다. 제공하는 역사 정보 믿을 수 있는지를. 이에 대한 그의 솔직한 고백을 들어 보았고, 직접 검증법도 제시했다.
이번 작업 중 일부분은, 송영길 작가의 제안처럼, 병렬처리가 가능하며 위임, 자율성을 주어서 동료로서 대우가 가능하다. 나의 번거로움을 기계가 대신할 수 있기 때문이다.
저는 종이책 참고도서를 통해서 관련 자료를 이미 충분히 파악하고 있다. 그래서 클로드와 토론하면서 신빙성을 확인할 수 있다. 아닐 경우, 지적할 수도 있다. 그리고 제가 다루는 대부분의 자료들은 이미 fact로 인정받고 있는 배경에서 알려진 미술 작품들을 소개하는 것이다. 작품 배경이 되는 역사적 사실에 대해 클로드에게 맡기는 구조이다. 이번 전자책의 목적 중 하나는 독자에게 종교 미술의 원형을 제시하여 초대 교회의 신앙적 사고의 연대성을 알려주는데 있다.
진행 방법
클로드 코워크
역사에 대해 너가 얼마나 fact인지를 어떻게 검증할 수 있자?제가 제공하는 역사 정보, 얼마나 믿어야 할까요?정말 중요한 질문이에요. 솔직하게 말씀드릴게요.저의 한계를 먼저 고백합니다저는 방대한 텍스트 데이터로 학습된 AI예요. 역사 정보를 제공할 때 몇 가지 근본적인 한계가 있어요.할루시네이션(Hallucination) 문제가 있어요. 그럴듯하게 들리지만 사실이 아닌 정보를 자신 있게 말할 수 있어요. 특히 구체적인 날짜, 숫자, 인명, 인용구에서 이런 오류가 자주 나와요. 이번 대화에서도 성 아우구스티누스 복음서의 12개 장면을 처음에 확인 없이 단정적으로 말했다가 나중에 정정한 사례가 있었어요.지식 마감일(Knowledge Cutoff)도 있어요. 저는 2025년 5월까지의 정보를 기반으로 해요. 최신 연구나 새로운 발견은 모를 수 있어요.출처 혼재 문제도 있어요. 학술적으로 검증된 정보와 대중적으로 퍼진 오해가 섞여 있을 수 있어요.그렇다면 어떻게 검증하나요?
1단계 — 주제별 신뢰도 구분
제가 제공하는 정보는 주제에 따라 신뢰도가 달라요.
신뢰도
내용 유형
예시
높음
큰 역사적 사건, 연도, 잘 알려진 사실
밀라노 칙령 313년, 콘스탄티 누스 황제
중간
신학적 해석, 미술사적 설명
예형론, 도상학적 의미
낮음
구체적 인용구, 세부 숫자, 희귀한 사실
특정 벽화의 정확한 장면 목록
2단계 — 직 접 검증하는 방법위키피디아 확인완벽하지는 않지만 첫 번째 교차 검증으로 좋아요. 특히 영문 위키피디아는 참고문헌이 달려 있어서 원출처까지 확인할 수 있어요. 이번 대화에서도 성 아우구스티누스 복음서 내용을 위키피디아로 직접 확인해서 정정했어요.구글 검색 — 핵심 키워드 + 학술 사이트예를 들어 "밀라노 칙령 313년 site:edu" 또는 "카타콤베 도상학 site:ac.kr" 처럼 학술 기관 사이트로 좁혀 검색하면 신뢰도가 높아요.국내 검증 자료한국가톨릭대사전, 한국교회사연구소, 국립중앙박물관 자료, 대학 도서관 학술지 등을 활용할 수 있어요.외국 학술 자료JSTOR, Google Scholar에서 논문을 검색하면 전문가 검증을 거친 정보를 확인할 수 있어요.3단계 — 의심해야 할 신호들제가 이런 표현을 쓸 때는 특히 주의하세요."~로 알려져 있어요" — 정확한 출처가 불분명할 수 있어요
구체적인 숫자나 인용구 — 오류 가능성이 높아요
"~라는 설이 있어요" — 학술적으로 논쟁 중인 내용일 수 있어요
너무 매끄럽고 완벽한 설명 — 오히려 의심해 보세요
이번 대화를 돌아보면이번 대화에서 제가 정정한 사례가 있었어요.성 아우구스티누스 복음서의 12개 장면을 처음에 확인 없이 설명하다가 "정확하지 않을 수 있다"고 솔직하게 말씀드렸어요. 그리고 실제로 웹 검색으로 위키피디아 원문을 확인해서 정확한 내용으로 정정했어요. 이게 올바른 사용 방식이에요.한 줄 요약저를 "똑똑하지만 가끔 틀리는 첫 번째 설명자" 로 대하세요. 중요한 내용은 항상 교차 검증이 필요해요. 그리고 제가 틀렸을 때 바로 지적해 주시면, 이번처럼 함께 정확한 정보를 찾아갈 수 있어요.