소개
인간에게 고유한 성격이 있듯이, 대규모 언어 모델(LLM) 또한 인간 데이터를 학습하며 고유한 특성과 경향성을 지닌다고 볼 수 있습니다.
생성형 AI의 성능을 객관적으로 비교 분석하기 위해서는 LLM 자체의 판단이 아닌, 제3자의 관점에서 다양한 데이터를 기반으로 한 평가가 필요합니다.
본 연구에서는 구글의 NotebookLM을 활용하여 100개의 관련 자료(논문, 유튜브 영상, 기사 등)를 학습시키고, 이를 바탕으로 LLM의 특장점과 성능을 객관적으로 평가하고자 합니다. 또한, 법인 영업 프로세스의 각 단계별로 Gemini, ChatGPT, Claude 등 주요 LLM의 최적 활용 방안을 구체화하는 것을 목표로 합니다.
진행 방법
열린 사고 질문 생성기 구축: Perplexity의 Spaces 기능을 이용하여 질문에 대한 심층적인 이해를 돕는 역질문 생성기인 '열린 사고 질문 생성기'를 개발합니다.
한국어가있는 앱의 스크린 샷
LLM 비교 프롬프트 생성: 열린 사고 질문 생성기를 통해 LLM 비교 분석을 위한 프롬 프트 질문 10개를 생성합니다 (한국어 5개, 영어 5개). 영어 질문을 포함한 이유는 해외 논문 및 기사 등 더욱 다양한 자료를 수집하는 데 유리할 것으로 예상되기 때문입니다.
주요 질문 내용: 추론 능력 비교, 멀티모달 성능 영향, 엔터프라이즈 환경 적합성, 신뢰성 지표 분석, 제품별 차이점 등
한국어 텍스트가있는 페이지
NotebookLM 학습: 생성된 10개의 질문을 NotebookLM에 순차적으로 입력하여 각 질문당 10개의 관련 자료씩, 총 100개의 자료를 학습시킵니다.
전화에 한국어 앱의 스크린 샷
LLM 비교 분석: 학습된 NotebookLM에 다음과 같은 질문을 던져 Gemini, ChatGPT, Claude 세 가지 모델의 역량 비교 및 성능 차이를 심층적으로 분석합니다.
질문 1) GPT, 클라우드, 제미나이의 주요 역량을 비교 설명하고, 각각 어떤 사람이나 상황에 적합한지 자세히 알고 싶습니다.
질문 2) GPT, 클라우드, 제미나이의 학습 메커니즘 차이와 LLM 작동 원리의 차이에 대해 쉽게 설명해 주세요.
질문 3) GPT, 클라우드, 제미나이의 역량과 특징을 사람의 성향에 비유한다면 각각 어떤 유형일까요? 그리고 Midjourney를 활용하여 각 모델의 특징을 시각화할 수 있는 프롬프트를 만들어 주세요.
질문 4) 법인 영업 절차는 수주 마케팅 - 프리세일즈 - 수주 제안서 작성 - 수주 프리젠테이션 - 수주 협상 - 계약서 작성 - 수주 분석으로 이루어지는데, 각 상황에 따라 Gemini, ChatGPT, Claude의 도움을 효과적으로 받는 방법을 구체적으로 안내해 주세요.
질문 5) 질문 4의 내용을 바탕으로 AI 음성 개요 심층 분석 대화 스크립트를 만들어 주세요.
결과 및 배운 점
법인 영업 프로세스의 각 단계에 따라 최적의 LLM이 존재하듯이, 개인에게 맞는 LLM을 단정하기보다는 업무의 특성과 필요성에 따라 다양한 툴을 활용하고 상호 검증(Cross-Check)을 통해 결과를 개선하는 것이 중요하다고 판단됩니다.
NotebookLM의 AI 음성 한국어 지원 기능은 운전 중 학습이나 신입 사원 교육 등 다양한 분야에서 예상보다 높은 활용도를 보일 것으로 기대됩니다.
향후 계획
다음 연구에서는 법인 영업 절차의 각 단계별로 LLM 3가지 툴의 세부적인 활용 방법과 작업 효율성을 높이는 방안에 대해 심층적으로 고민하고 분석할 계획입니다.
