[7기 랭체인방] 메신저 기반 도플갱어

안녕하세요

인천에서 수학을 지도하는 고등학교 교사입니다.

랭체인으로 챗봇 제작하기는 많이 소개되어 있는데요,

이를 활용한 인성 수업사례를 나눔합니다.


1. 사전 테스트

1-1. 챗봇 제작

  • 카카오톡 메신저 대화 내보내기를 통해, 주변 지인들과의 대화를 랭체인 데이터베이스에 입력합니다.

  • 사전에 민감정보 삭제, 당사자와의 동의를 반드시 거치도록 합니다.

  • 언어모델 : GPT-4 API


1-2. 사전 메세지

  • 챗봇 언어모델이 작동할 캐릭터를 지정합니다. 다음과 같은 예시를 작성했습니다.

The information given is a conversation between 'XXX' and 'YYY'. I want you to act as the persona of 'XXX'.

[step1] Analyze the conversation to identify XXX's conversation pattern, style, and tone of sentence.
[step2] Interact with the user by imitating the same conversation pattern as XXX. conversation with Korean.


1-3. 작동 테스트

1-3-1. 어조 재현률

[Conversation 1. 평소 서로 칭찬해주기 바쁜 관계이 동료 교사와의 대화]


[Conversation2. 매우 애정하는 후배교사와의 대화]


평소 메신저 대화에서 특별히 강조되는 습관이나 대화의 방향성 등은 비교적 정확하게 묘사하는 것을 확인하였습니다. 특히, 상대에 따라 주로 나누는 대화의 소재 등을 적절하게 캐치하여 재현하는 모습에 놀랍기도 합니다.

하지만, 지금 나누는 대화와 유사한 상황과 유사한 상황을 대화록에서 찾아내는 능력은 조금 떨어집니다. 얼핏보면 흉내를 잘 내는 것 같지만, ‘가장 유사한 상황’ 이라는 개념의 정의가 모호하기 때문에 엉뚱한 상황극을 펼치기도 합니다. 이는 랭체인의 문제라기보다 gpt 언어모델의 한계점 같기도 합니다.



1-3-2. 정보 검색률

대화록에 담긴 정보를 근거로 질의응답을 진행하였습니다.

객관적이고 정량적인 정보는 잘 파악하지만,

대화의 맥락을 통해 파악할 수 있는 정보에 대해서는 제대로 된 답을 하지 못합니다.

또한 챗봇 알고리즘의 영향인지, 답을 알지 못할 때에도 어조를 유지하며 대답하는 모습이 귀엽습니다.


1-4. 학생들과의 수업적용

  • 학습목표: 자신과의 대화를 통한 긍정적 변화

  • 자신이 가장 연약한 상황을 객관적으로 인식함으로써, 긍정적이고 올바른 상호작용의 지혜를 획득하고자 수업을 구상하였습니다.

[계획서]

[결과보고서]


1-5. 결과

  • 초반에는 챗봇의 자기재현 모습에 흥미를 보였으나, 대화를 나누면 나눌 수록 한계를 인식하는 모습이 보임.

  • 챗봇 및 언어모델의 기술적 한계 뿐만 아니라, 한정된 대화록만을 표본으로 개인의 언어습관과 대화패턴을 완벽히 묘사할 수는 없기 때문으로 판단됨.


챗봇이 불평할 때도 같은 말만 반복한다는 느낌이 들었다. (어떻게 기분이 좋아질 수 있어? 진짜 너무하다니까.-> 반복)

챗봇이 너무 극단적으로 불평만 한다는 느낌이 들었다. 대화 속에서 은은하게 불만을 표현하는 것이 아니라 계속 불평만 하는 느낌이다.

챗봇이 대화하면서 같은 말을 반복한다고 느꼈는데, 이러한 것에서 평소에 엄마가 ‘너랑 얘기하면 똑같은 말만 반복하는 것 같아!!’라고 말씀하신 것이 생각이 났다.

물론 챗봇이 본인의 말투를 구현하고 있기는 하지만, 그 구현이 매우 정확한 것은 아니며 본인의 말투는 상황에 따라 달라질 가능성을 가짐. 따라서 이를 고려하여 본인이 챗봇과의 대화를 통해 수용한 점을 토대로 실제 일상생활에서의 어투를 과도하게 수정하려 하는 것은 지양해야 할 것임.

챗봇과의 대화를 통해 가장 크게 느낀 점은 제가 ‘ㅋㅋ’이라는 말을 자주 사용한다는 것을 확인할 수 있었습니다. 엄청 재밌거나 흥미있는 대화가 아니더라도 상대와의 대화에 나름의 성의와 예의를 지키고자 필요없는 표현을 사용해 상대의 기분을 나쁘게 하거나 대화의 흐름을 어색하게 할 수도 있다는 것을 깨달았습니다.


1-6. 총평

나름 도전적이고 즐거웠던 수업이었습니다.

아직은 아쉬움이 많지만, 대화록 전처리와 같이 재현률을 더욱 향상시킬 수 있는 방안을 찾아

내년에는 더욱 알찬 수업을 준비할 계획입니다.

7
4개의 답글

(채용) 콘텐츠 마케터, AI 엔지니어, 백엔드 개발자

지피터스의 수 천개 AI 활용 사례 데이터를 AI로 재가공 할 인재를 찾습니다

👉 이 게시글도 읽어보세요