안녕하세요.
지난주에 실패한 구술시험관 챗봇을 수정하기 위해서 아래와 같이 시도해 보았습니다.
강의에서 들은 프롬프팅 고도화가 챗봇 답변과정을 보다 정교하게 할 것 같아서 Chain of Thought 기법을 적용해 달라고 GPT에게 아래와 같이 요청했습니다. 지금 생각하니 COT에 대한 정의와 예시를 주지 않아서 제 요청이 제대로 반영되지 않은 것 같습니다.
아래와 같이 응답했습니다.
프롬프트를 System Prompt와 User Prompt로 구분하라고 요청했습니다.
System Prompt와 User Prompt를 각각 markdown형식으로 제시하라고 요청했습니다.
벨루가앱에 코드를 각각 복사한 결과, 아래와 같이 예기치 않은 결과가 도출되었습니다. 대화의 턴이 상호작용이 아니라 챗봇이 모든 턴을 장악했습니다.
다시 GPT에게 수정요청을 했습니다.
수정된 코드를 벨루가앱에 다시 복사한 결과 아래와 같이 나왔습니다. 발견된 두가지 문제점이 1) 챗봇에 시험관 역할부여 실패와 2) 챗봇답변의 부정확성이었습니다.
GPT에게 재차 새로운 코드를 요청해 보았습니다.
벨로가앱에서 관련된 도출결과는 다음과 같습니다. 여전히 역할이 혼재되어 있는 챗봇이 나타났습니다.
새 창을 열어 챗봇이 질문자, 사용자가 응답자로 역할이 부여되도록 GPT에게 다시 물어보았습니다. https://chat.openai.com/share/38b8f279-4e9c-497d-bf64-8e4844e94151
GPT의 답변은 아래와 같습니다.
소고:
거듭되는 시행착오로부터 드는 생각은 1) System Prompt와 User Prompt에 대한 개념이 아직 정립되지 않았고 2) 구현하려는 챗봇의 성격에 맞지 않는 COT 기법(단계별 해석)의 적용보다는 챗봇에 적확한 페르소나를 부여하는 시도부터 다시 해봐야 할 것 같습니다. 대부분의 챗봇이 특정도메인의 전문가 페르소나를 부여받고, 사용자의 질의에 전문적 지식으로 응답하는 측면이 강조되는 반면, 현재 구현하고자 했던 챗봇은 시험관의 입장에서 사용자에게 먼저 질문을 하고 사용자의 응답에 대해 적절한 피드백을 제공해야 한다는 점에서 로직이 차별성이 있지 않나 사료됩니다. 그래서 벨루가앱에서 디폴트로 요구되는 a. User Query : "{query}"; b. Search Results : "{document_text}"; 를 적절하게 튜닝을 해야 할 것 같습니다.