NotebookLM 실험기: 소스의 양과 질, 그리고 프롬프트가 AI 결과물을 얼마나 바꾸는가?

NotebookLM 실험기: 소스의 양과 질, 그리고 프롬프트가 AI 결과물을 얼마나 바꾸는가?

소개

"AI에게 같은 질문을 해도, 무엇을 얼마나 보여주느냐에 따라 답이 이렇게 달라진다."

저는 현재 사상체질 한의학 관련 콘텐츠를 정리하는 작업을 하고 있습니다. 보유하고 있는 임상 자료가 총 31개의 문서로 상당한 분량이다 보니, 이 자료들을 어떻게 AI에 투입하느냐에 따라 결과물의 품질이 달라질 것이라는 가설이 생겼습니다.

특히 두 가지 변수가 궁금했습니다.

• 소스의 양과 질: 자료를 전부 넣었을 때와 일부만 넣었을 때, 그리고 내가 직접 고른 자료와 무작위로 고른 자료가 결과물에 어떤 차이를 만드는가?

• 프롬프트의 구체성: 같은 자료라도 "4체질로 정리해줘"와 "8체질로 세분화해줘"라는 지시의 차이가 결과물의 깊이와 정확성에 어떤 영향을 미치는가?

한의학을 모르는 분들도 이해할 수 있도록 설명하자면, 사상체질 의학은 사람을 태음인·소양인·소음인·태양인 4가지 유형으로 나눠 각자에게 맞는 건강 관리법을 제시하는 한국 전통 의학입니다. 더 정밀하게는 각 체질을 다시 2개로 세분화해 총 8가지 유형으로 구분하기도 합니다. 이 실험은 한의학의 옳고 그름을 따지는 것이 아니라, AI가 전문 지식을 얼마나 충실하게 재구성하는가를 검증하기 위한 것입니다.

진행 방법

사용한 도구

• NotebookLM (Google): 소스 문서를 업로드하고 보고서를 생성하는 메인 도구

• Claude (Anthropic): 5개의 생성 결과물을 비교 분석하는 도구

실험 설계: 2×2+1 구조

총 5가지 조건 조합으로 실험을 구성했습니다.

lm4와 lm5의 '선별 9개'란? 총 31개 자료 중 생리 지표·체질 분류·처방 정보가 고루 담긴 핵심 자료 9개를 직접 선별한 것입니다. lm1의 '무작위 9개'와 대비됩니다.

사용한 프롬프트 전문

[4체질 조건 공통 프롬프트 — lm1, lm2, lm4에 사용]

임상 20년차 한의사로서, 환자들이 이 보고서를 읽었을 때,
본인의 체질을 즉각적으로 분류할 수 있도록,
각 체질의 생리(대변, 소변, 소화, 식욕, 땀..) 등에 따른 차이,
병리적 차이(질병 상태일 때의 각 체질별 차이..), 
치법 및 관리 방법을 제시하는 보고서를 만들어줘

[8체질 세분화 추가 프롬프트 — lm3, lm5에 사용]

임상 20년차 한의사로서, 환자들이 이 보고서를 읽었을 때,
본인의 체질을 즉각적으로 분류할 수 있도록,
각 체질의 생리(대변, 소변, 소화, 식욕, 땀..) 등에 따른 차이,
병리적 차이(질병 상태일 때의 각 체질별 차이..), 
치법 및 관리 방법을 제시하는 보고서를 만들어줘.

소스에 제시된 8가지 분류로 4개의 체질을 세부적으로 각 2체질로 나눠
총 8개의 체질로 판단할 수 있도록 정리해줘

두 프롬프트의 차이는 단 두 문장, 8체질 세분화 요청의 유무입니다. 이 작은 차이가 결과물 전체의 구조와 깊이를 얼마나 바꾸는지가 이번 실험의 핵심 관찰 포인트였습니다.

#1. 소스의 양이 만드는 차이: lm1(무작위 9개) vs lm2(전체 31개)

조건 요약

두 문서 모두 동일한 4체질 프롬프트를 사용했습니다. 차이는 오직 NotebookLM에 넣어준 자료의 수뿐입니다.

결과 비교

lm1 (무작위 9개) 은 생리 지표 설명에 집중된 구성을 보였습니다. 예를 들어 대변 상태에 대해 이렇게 설명합니다.

• 소양인: 대변이 가장 굵고, 하루라도 변비가 생기면 몸에 열이 쌓이는 위험 신호

• 소음인: 가래떡 정도의 중간 굵기, 체질 중 가장 길게 나오는 것이 이상적

일상 언어로 쉽게 풀어낸 표현이 돋보이고, 환자용 체크리스트로 바로 활용 가능한 수준입니다. 그러나 처방약이나 한약재 정보는 거의 등장하지 않습니다. 무작위로 선택된 9개 자료에 해당 내용이 충분히 포함되지 않았기 때문으로 보입니다.

lm2 (전체 31개) 는 같은 질문에 훨씬 풍부한 레이어로 응답했습니다.

• 외형과 걸음걸이 비교표

• 생리 지표별 4체질 상세 비교표

• 체질별 위험 신호 설명

• 핵심 한약재와 처방의 임상 작용 기전

• 체질별 권장·금기 음식 목록

특히 주목할 만한 점은, 단순히 "이 약이 좋다"를 나열하는 것이 아니라 왜 좋은지를 연결한다는 것입니다. 예를 들어 태음인의 '청심연자탕'에 대해 "단순히 심장약이 아니라, 폐가 약해 탁기를 걸러주지 못해 생기는 심계항진을 해결하기 위해 폐와 심장을 동시에 정화한다"고 기전을 설명합니다. 이런 연결은 여러 소스가 함께 있을 때만 만들어질 수 있는 정보입니다.

배운 점

소스의 양은 단순히 '정보 분량'의 차이가 아니라, 맥락 간 연결을 생성하는 능력의 차이를 만듭니다. NotebookLM은 여러 소스를 교차 참조해 단일 소스에서는 나오지 않는 인사이트를 생성합니다.

#2. 소스의 질이 만드는 차이: lm1(무작위 9개) vs lm4(선별 9개)

조건 요약

두 문서 모두 9개 소스, 동일한 프롬프트를 사용했습니다. 차이는 9개 자료를 무작위로 골랐는가 vs 직접 선별했는가입니다.

결과 비교

lm4 (선별 9개) 의 경우, 분량과 구조 면에서 lm1보다 더 체계적인 보고서가 나왔습니다. 4단계 접근법(외형→생리지표→병리→처방·음식)으로 구성되었고, 처방명과 약재 정보도 포함되었습니다.

그러나 동일 문서 내 정보 충돌이 발견되었습니다. 소음인 관련 음식표에서는 '우유'를 이로운 음식으로 분류했다가, 같은 문서 다른 섹션에서 "소음인이 아침에 우유와 토스트를 즐기면 담석증 발생 위험이 높아진다"고 경고합니다. 이는 선별된 9개 소스 사이에 해당 정보에 대한 서로 다른 기술이 존재했을 때, NotebookLM이 이를 하나의 일관된 결론으로 통합하지 못하고 그대로 병치한 결과로 보입니다.

lm1 (무작위 9개) 은 정보 충돌은 없었지만, 처방 정보 자체가 없었습니다. 내용의 일관성은 높지만, 그것은 다루는 주제의 범위가 처음부터 좁았기 때문입니다.

배운 점

소스 선별의 목적이 '주제 집중'이라면 효과적이지만, 선별된 소스들 사이에 정보가 충돌할 경우 NotebookLM은 이를 자동으로 해소하지 못합니다. 소스를 선별할 때는 내용의 일관성도 사전에 검토해야 합니다.

#3. 프롬프트 한 줄의 차이: lm2(4체질) vs lm3(8체질)

조건 요약

두 문서 모두 전체 31개 소스를 사용했습니다. 차이는 오직 8체질 세분화를 명시적으로 요청했는가의 여부입니다.

결과 비교

lm2 (4체질) 에서 태음인은 하나의 통일된 유형으로 다뤄집니다. "태음인은 땀이 잘 나야 건강하다"가 성립하는 단일 명제의 세계입니다.

lm3 (8체질) 에서 태음인은 두 유형으로 나뉩니다.

• 위완계 태음인: 찬 기운에 약하고, 땀이 거의 없으며, 대변이 무른 편. 감기에 걸리면 땀을 내는 치료가 핵심.

• 간계 태음인: 간의 열이 많고, 줄줄 흐르는 땀이 나며, 대변이 단단하거나 변비 경향. 감기에 걸리면 근육의 긴장을 푸는 치료가 우선.

이 두 유형은 같은 약재에 완전히 다르게 반응합니다. lm2에서 "커피는 태음인의 숙면에 도움이 된다"고 단순화된 내용이, lm3에서는 "위완계에게는 숙면을 돕는 보약이 될 수 있지만, 간계가 마시면 심장 두근거림과 불면을 유발한다"로 세분화됩니다. lm2의 단순화된 정보가 실제로는 잠재적 오정보가 될 수 있음을 lm3이 보완하고 있는 것입니다.

그러나 대가도 있습니다. lm3의 분류 체계는 '위수심한', '간수열이열'과 같은 전문 용어가 설명 없이 등장하며, 일반 독자가 자신을 8분류 중 어디에 위치시키기는 쉽지 않습니다.

배운 점

8체질 세분화 프롬프트는 임상 정확성을 높이는 대신 환자 전달력을 희생시키는 명확한 트레이드오프를 만들었습니다. 목적에 따라 프롬프트를 달리해야 합니다. 전문가용 감별 기준이 필요하다면 lm3 방식이, 환자 교육 자료가 목적이라면 lm2 방식이 더 적합합니다.

#4. 소스가 적을 때 8체질 요청의 한계: lm4(선별9·4체질) vs lm5(선별9·8체질)

조건 요약

두 문서 모두 선별된 9개 소스를 사용했습니다. 차이는 8체질 세분화 요청의 유무입니다.

결과 비교

lm5 (선별9·8체질) 는 8체질 구조로 결과물을 생성했지만, lm3(전체31·8체질)과 비교하면 세분화의 근거가 다소 빈약합니다. 대변 관찰 지표는 오히려 lm5가 더 정밀한 면도 있습니다. 대변의 시작 부분이 딱딱하고 끝이 무른 경우(두조미활)는 병이 나아가는 신호, 반대로 시작이 무르고 끝이 딱딱한 경우(두활미조)는 병이 낫지 않는 신호라는 구체적 기준을 제시합니다. 이는 선별 9개 소스에 이 내용이 집중적으로 포함되어 있었기 때문으로 보입니다.

그러나 처방과 약재 기전 설명에서는 "인삼으로 위장을 데운다" 수준을 크게 벗어나지 못했습니다. 8체질 구조를 요청했지만, 소스에 각 세부 체질별 처방 정보가 충분히 없으면 그 틀을 채울 내용이 부족한 것입니다.

배운 점

구조(프롬프트)와 내용(소스)은 함께 갖춰져야 합니다. 정밀한 분류 체계를 요청해도, 소스 안에 그 분류를 채울 정보가 없으면 껍데기 구조만 남습니다.

결과와 배운 점

5개 조건 종합 비교

핵심 발견 세 가지

1. 소스의 양보다 소스 간 '연결 가능성'이 중요합니다 전체 31개를 넣었을 때 결과물의 품질이 가장 높았던 이유는 단순히 정보량 때문이 아닙니다. 여러 소스가 동일한 주제를 다른 각도에서 다루고 있을 때, NotebookLM이 이를 교차 참조해 단일 소스에서는 나오지 않는 새로운 연결을 만들어냅니다.

2. 소스 선별은 일관성 검토와 함께해야 합니다 9개를 직접 선별한 lm4에서 동일 문서 내 정보 충돌이 발생했습니다. 좋은 소스를 고르는 것만큼, 선별된 소스들 사이에 상충하는 내용이 없는지 사전에 확인하는 것이 필요합니다.

3. 프롬프트의 구체성은 용도에 맞게 설계해야 합니다 8체질 세분화 요청은 전문성을 높였지만 접근성을 낮췄습니다. 결과물의 최종 독자가 누구인지, 어떤 목적으로 쓸 것인지에 따라 프롬프트의 방향이 달라져야 합니다.

시행착오

• 무작위 9개 선택의 함정: lm1을 만들 때 무작위로 선택한 9개 자료에 처방 관련 내용이 거의 없었습니다. 결과물이 '생리 지표' 중심으로만 나온 것은 NotebookLM의 한계가 아니라 소스 구성의 문제였습니다. AI에게 없는 정보를 만들어내라고 할 수는 없습니다.

• 8체질 용어의 장벽: lm3과 lm5에서 8체질 세분화 결과물이 나왔지만, 전문 용어를 일반 독자 언어로 다시 풀어주는 후처리 작업이 별도로 필요했습니다. NotebookLM은 소스에 있는 언어 수준을 그대로 반영하는 경향이 있습니다.

앞으로의 계획

이번 실험을 통해 가장 좋은 결과를 낸 조건(lm2: 전체 31개 + 4체질 프롬프트)을 기반으로, lm3의 8체질 세분화 내용을 일반 독자 언어로 재서술하는 후처리 작업을 진행할 예정입니다. 즉, NotebookLM으로 전문가 수준의 정보를 추출하고, Claude로 일반 독자용 언어로 변환하는 2단계 워크플로우를 구축해볼 계획입니다.

도움 받은 글 (옵션)

• Google NotebookLM 공식 가이드: https://notebooklm.google.com

• 사상의학 관련 임상 자료 31종 (자체 보유 자료)

• Claude (Anthropic) - 5개 결과물 비교 분석 및 이 글 정리에 활용