소개
Notebook LM으로 환각 최소화하는 글쓰기
진행 방법
최근에 Working paper를 읽다가 사람들이 ChatGPT를 어떻게 활용하는지에 관련된 논문이 있더라고요. 일 관련해서 사용하는 경우에는 글쓰기가 40%로 가장 많았습니다. (궁금한 분들은 한번 읽어보세요!ㅎㅎ 글쓰기 기능을 챗지피티에 이용하는 건 여자가 많더라고요; 이것도 흥미롭죠.)
출처: Chatterji et al., 2025 (NBER Working Paper), http://www.nber.org/papers/w34255
저도 압도적으로 영어 라이팅 목적으로 ChatGPT를 많이 사용합니다.
이번에 노트북 LM을 처음 접하게 되었는데, 출처를 직접 제공해야 하는 번거로움, 느린 속도 등 때문에 '자주 사용하게 될까?'라는 의문이 들긴 했습니다. 그래도 "신뢰할 수 있는 내 자료만 사용해 환각 최소화", "모든 답변에 정확한 출처(인용)를 함께 제시"의 장점이 있기 때문에 이번에 글쓰기에 적용해보았습니다.
연구에서 사용한 방법을 본문이나 Appendix에 적어두어야 하기 때문에 틈틈이 적어둡니다.
특히 이번에는 이름과 사는 곳을 기반으로 해서 인종/민족 정보를 예측하는 작업을 했습니다. 자료 A에서 이름 (first, middle, and last names), 사는 곳 (지역 단위), 성별, 나이가 있으면, 통계청 인구조사 데이터 인종/민족 분포 정보와 유권자 명부를 활용해서 해당 사람이 백인, 흑인, 히스패닉, 아시아인, 기타인지 확률적으로 추정하는 것입니다.
이 부분에 대해서 제가 글쓰기를 했는데, 글쓴 내용 중에 틀린 부분이 있는지 알려달라고 했습니다.
우선 출처를 넣어주었는데, (1) 이 방법론을 만든 저자들의 논문, (2) 해당 패키지를 설명하는 github page, (3) 이 방법론을 사용하고 있는 다른 논문 (writing 참고용)을 제공했습니다.
제가 쓴 문단을 제공한 다음에, 내가 왜 그리고 무엇을 하는지 간결한 문단을 쓰고 싶다고 하고, 틀린 부분이 있으면 고쳐달라고 했습니다.
고쳐준 다음에 어떻게 고쳤는지 설명해주는 부분이 인상적이었습니다. 크게 정리해보면,
(1) Fact check. 거짓없이 썼는지 체크.
(2) 인용할 때 최신 것도 인용해라. 2016년 제가 인용한 것에서 방법론이 2022년 업데이트되었는데, 제가 최신 방법을 이용하니까 2022년꺼도 인용하는 걸 고려해봐라 라는 맥락입니다.
(3) 용어를 정확하게 표현. 정말 마이너한 부분이지만 정확하게 고쳐준 부분이 있더라고요.
(4) 약간의 grammar check.
이 내용을 기반으로 한 문단으로 짧게 정리해달라고 요청했습니다. 특히 디테일하게 설명하지말고, input, mechanism, output에 집중해서 써달라고 했습니다.
아쉽게도 이런 부분은 아직 잘해내는 것 같진 않았습니다. 아직도 너 무 디테일했고 길이도 좀 길었거든요.
해당 작업을 ChatGPT와 비교해보았습니다.
동일하게 제공했던 링크 및 텍스트를 제공한 다음에 똑같이 틀린 부분을 고쳐달라고 했습니다. fact check를 해준 다음에 grammar, expression 위주로 수정해주었습니다. Notebook LM보다는 체크 기능이 조금 떨어지는 것 같아요.
한 문단으로 정리해달라고 했을 때, 확실히 깔끔하게 정리해주었습니다!
결과와 배운 점
환각을 최소화해야 하는 글을 쓸 때 노트북 LM의 도움을 받을 수 있을 것 같습니다.
다만, 1차 가공을 노트북 LM에서 받은 다음에 2차 가공은 ChatGPT로 넘어가는 게 좋을 것 같네요.
