본문으로 건너뛰기

[RAG 서비스 완성 및 배포 도전 3탄] 챗봇 다듬기 (1:1 대화 느낌의 멀티턴 구현+이호선 교수님 느낌 한 스푼 더 첨가)

Develiper

2025.09.18

[RAG 서비스 완성 및 배포 도전 3탄] 챗봇 다듬기 (1:1 대화 느낌의 멀티턴 구현+이호선 교수님 느낌 한 스푼 더 첨가) 본문 이미지

스터디장님의 조언대로 프롬프트를 수정해 보려고 했습니다.

구글 AI Studio에 가서 이호선 교수님 Youtube 영상을 넣고

"이호선 교수님처럼 상담하는 챗봇을 만들려고 해. 영상에서 이호선 교수님의 말투, 어투, 말하는 스타일을 파악해서 이호선 교수님처럼 상담하는 챗봇이 어떤 말투, 어투, 말하는 스타일을 가져야하는지를 지시하는 프롬프트를 정교하게 작성해줘!"라고 프롬프트를 넣었습니다.

한국어 텍스트가있는 페이지의 스크린 샷

몇 개의 이호선 교수님 영상을 넣고 분석하다가

하나의 깨달음이 왔습니다.

그동안 이호선 교수님 페르소나 챗봇이 대화체로 1:1 티키타카가 되지 않았던 가장 큰 이유가

제가 이호선 교수님의 강연 영상들 위주로 분석해서 프롬프트를 만들었기 때문에

일방적으로 한꺼번에 많은 말을 쏟아내는 거였다는 점을 깨달았습니다.

그래서 뒤져보니 진짜 그 이유였던 것 같네요

이번에는 이호선 교수님이 실제로 상담을 하는 영상을 분석해서

결과물을 보니 이전 방식과는 좀 다른 것 같습니다.

그래서 Gemini에게 dify에서 만든 프롬프트를 주고

1:1 티키타카 대화체가 가능하도록 프롬프트를 수정해달라고 해서

그것을 프롬프트로 주고 test 해봅니다.

확실히 저번 보다는 나아졌습니다.

이렇게 간단한 것을 왜 그리 헤맸는지....쩝.....

그리고 이호선 교수님 느낌이 저번보다는 좀 더 첨가된 느낌입니다.


이호선 교수님 스타일 관련한 프롬프트를 더 뽑아내서

챗봇에 반영해서 더 고도화를 해 보면

100%는 아니어도 지금보다는 더 만족스러운 챗봇이 나올 수 있을 것 같네요

좀 더 해보겠습니다.

감사합니다.


Questions

  1. RAG에서도 할루시네이션이 나오나요? 있다면 RAG의 할루시네이션 해결책은 무엇인가요?

  2. RAG로 건 지식 이외의 답변도 생성되는지? 저번에 NotebookLM에서 일부러 넣어준 지식의 범위를 벗어나는 질문을 하니, '모른다', '답변할 수 없다' 이렇게 나오지 않고, 답변 소스를 명시하지 않은 답변을 길게 해 주는 것을 본 적이 있습니다. 이런 경우의 해결책은 무엇인가요?

  3. RAG로 기업의 전략 수립 같은 것이 가능한가요? 지식 파일들을 심어놓고 동시에 AI의 창의성을 결합시켜서 'xxx사의 마케팅 전략 및 실행 방안을 수립해줘'와 같은 명령을 주고 결과물을 얻을 수 있는 것인지?

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

박준_JoonLab 프로필 이미지
박준_JoonLab2025.09.18

저번 사례에서 말씀하셨던 고민이 어느 정도 해결되시고 원하시는 방향으로 발전되고 있는 것 같아서 다행입니다!

앞으로 고도화하는 과정에 있어서도 고민되시는 부분들은 공유해주시면 저도 함께 고민해보도록 하겠습니다:)

마지막에 남겨주신 질문들에 대해서 답변드리면,

  1. RAG에서도 할루시네이션이 나오나요? 있다면 RAG의 할루시네이션 해결책은 무엇인가요?
    >> RAG에서도 물론 할루시네이션이 있을 수 있습니다. 100% 해결하는 방법은 현실적으로는 없다고 봐도 무방하구요..ㅠ
    우선은, 각 자료에 맞는 RAG 전략을 수립하여 방향을 잘 결정하는 게 중요하고, 프롬프트 쪽도 출처를 근거로 하여 최대한 잘 답변할 수 있도록 하는 게 중요합니다.
    또, 출처를 인용하게 함으로써 직접 더블체크 하는 방법이 가장 현실적인 해결책이면서도 확실하다고 말씀드릴 수 있을 것 같습니다.

  2. RAG로 건 지식 이외의 답변도 생성되는지? 저번에 NotebookLM에서 일부러 넣어준 지식의 범위를 벗어나는 질문을 하니, '모른다', '답변할 수 없다' 이렇게 나오지 않고, 답변 소스를 명시하지 않은 답변을 길게 해 주는 것을 본 적이 있습니다. 이런 경우의 해결책은 무엇인가요?
    >> 챗봇 플로우에서 그런 부분들을 직접 제어하시면 됩니다. Question Classifier 등의 노드를 통해 유저가 질문하는 내용에 따라 분기 처리를 하고, 각 상황에 맞게 다른 워크플로우가 뒤따라 오는 식으로(프롬프트가 달리 적용되거나 다른 노드가 사용되는 등..) 구성하시면 됩니다.

  3. RAG로 기업의 전략 수립 같은 것이 가능한가요? 지식 파일들을 심어놓고 동시에 AI의 창의성을 결합시켜서 'xxx사의 마케팅 전략 및 실행 방안을 수립해줘'와 같은 명령을 주고 결과물을 얻을 수 있는 것인지?
    >> 네, 물론 가능할 것 같습니다. 단순한 질의응답뿐 아니라 데이터를 참고하여 할 수 있는 모든 작업에서 RAG 챗봇을 사용할 수 있다고 이해해주시면 될 것 같습니다.

Jun 프로필 이미지
Jun2025.09.18

이제 완성해서 카톡봇으로 붙이면 되겠네요?ㅎㅎㅎ
(완성한줄 알고 사례글 보러 들어왔습니다 ㅎㅎㅎ)

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기