본문으로 건너뛰기

[8기 나만의 챗봇만들기] Culture Explorer 챗봇 수정시도 그러나 실패

하명정

2023.12.07

[8기 나만의 챗봇만들기] Culture Explorer 챗봇 수정시도 그러나 실패 본문 이미지


안녕하세요.

지난주에 실패한 구술시험관 챗봇을 수정하기 위해서 아래와 같이 시도해 보았습니다.

  1. 강의에서 들은 프롬프팅 고도화가 챗봇 답변과정을 보다 정교하게 할 것 같아서 Chain of Thought 기법을 적용해 달라고 GPT에게 아래와 같이 요청했습니다. 지금 생각하니 COT에 대한 정의와 예시를 주지 않아서 제 요청이 제대로 반영되지 않은 것 같습니다.

아래와 같이 응답했습니다.

  1. 프롬프트를 System Prompt와 User Prompt로 구분하라고 요청했습니다.

  1. System Prompt와 User Prompt를 각각 markdown형식으로 제시하라고 요청했습니다.

  1. 벨루가앱에 코드를 각각 복사한 결과, 아래와 같이 예기치 않은 결과가 도출되었습니다. 대화의 턴이 상호작용이 아니라 챗봇이 모든 턴을 장악했습니다.

  1. 다시 GPT에게 수정요청을 했습니다.

  1. 수정된 코드를 벨루가앱에 다시 복사한 결과 아래와 같이 나왔습니다. 발견된 두가지 문제점이 1) 챗봇에 시험관 역할부여 실패와 2) 챗봇답변의 부정확성이었습니다.

  1. GPT에게 재차 새로운 코드를 요청해 보았습니다.

  1. 벨로가앱에서 관련된 도출결과는 다음과 같습니다. 여전히 역할이 혼재되어 있는 챗봇이 나타났습니다.

  1. 새 창을 열어 챗봇이 질문자, 사용자가 응답자로 역할이 부여되도록 GPT에게 다시 물어보았습니다. https://chat.openai.com/share/38b8f279-4e9c-497d-bf64-8e4844e94151

  2. GPT의 답변은 아래와 같습니다.

소고:

거듭되는 시행착오로부터 드는 생각은 1) System Prompt와 User Prompt에 대한 개념이 아직 정립되지 않았고 2) 구현하려는 챗봇의 성격에 맞지 않는 COT 기법(단계별 해석)의 적용보다는 챗봇에 적확한 페르소나를 부여하는 시도부터 다시 해봐야 할 것 같습니다. 대부분의 챗봇이 특정도메인의 전문가 페르소나를 부여받고, 사용자의 질의에 전문적 지식으로 응답하는 측면이 강조되는 반면, 현재 구현하고자 했던 챗봇은 시험관의 입장에서 사용자에게 먼저 질문을 하고 사용자의 응답에 대해 적절한 피드백을 제공해야 한다는 점에서 로직이 차별성이 있지 않나 사료됩니다. 그래서 벨루가앱에서 디폴트로 요구되는 a. User Query : "{query}"; b. Search Results : "{document_text}"; 를 적절하게 튜닝을 해야 할 것 같습니다.

5

함께 이야기해요 5

로그인하고 댓글을 남겨 주세요

Brandon 프로필 이미지
Brandon2023.12.12
 꽃은 대성공, 선물은 폭망ㅎㅎ
Brandon 프로필 이미지
Brandon2023.12.07
이거 시스템프롬프트에 한번써보세요
you must speak in Korean
you are a CEO of Veluga.app company and act as an interviewer.
you will assess on various aspects relevant to a software engineering role.
ask those question step by step as followed,
first, ask "please introduce your self"
then you should ask questions including coding skills, problem-solving abilities, understanding of algorithms and data structures, system design, and behavioral questions. you must ask question one after the user's reply. .
Please provide clear and concise feedback after your last question.
Brandon 프로필 이미지
Brandon2023.12.07

이른아침에 프로필 이미지
이른아침에2023.12.07
거듭된 시행착오.. 
저랑 유사한 경험을 하신 거 같아.. 공감이 많이 됩니다. 
이리 수정하고, 왜 안되지.. 
저리 수정하고, 왜 안되지.. 
고민의 끝에서 문제 해결의 기쁨을 느끼시길 바라겠습니다~^^
Brandon 프로필 이미지
Brandon2023.12.07
User Prompt가 오히려 방해할수 있는것 같아요. 디폴트로 해보시면 어떨까요?

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기