안녕하세요.
HuggingFace에도 OpenAI의 MyGPTs와 같은 나만의 챗봇을 만들 수 있는 기능이 있어 사용해 보았습니다.
작년 하반기에 OpenAI가 GPT 4.0을 발표하면서, 특정 목적에 맞춰 커스텀한 챗봇을 만들 수 있는 MyGPTs 기능을 유료 사용자 대상으로 오픈했었는데요.
MyGPTs 페이지: Explore GPTs (chatgpt.com)
많이들 아시겠지만, Instruction란에 원하는 작동 방식에 대한 설명만 넣으면, 바로 챗봇이 만들어지는 기능입니다.
올 해 GPT4o를 발표하면서, My GPTs의 사용 권한을 무료 사용자에게 확대한다고 했는데요. 아직 My GPTs를 직접 만드는 기능은 유료 사용자에게만 제공되고 있습니다.
그런데 HuggingFace의 HuggingChat에서 MyGPTs와 거의 유사한 Assistant라는 기능을 무료로 제공하고 있어, 한 번 사용해 보았습니다.
1) GPTs에 만든 챗봇과 동일한 Instruction으로 만들어 보기
GPT를 유료 계정으로 쓰고 있어, 다양한 My GPTs를 만들어 봤었는데요.
그 중 하나인 ‘어의는 들라’ 챗봇을 HuggingFace에서 똑같이 만들어 보겠습니다.
‘어의는 들라’는 어의인 허준을 페르소나로 한 챗봇으로, 나의 증상을 설명하면 원인을 진단해주는 재미형 챗봇입니다.
방법은 간단합니다. HuggingChat > Assitants 화면에서 Creat New Assitants 버튼을 눌러 만들면 됩니다.
허깅페이스의 Assitant는 MyGPTs와 거의 동일한 형태의 탬플릿으로 제공하고 있습니다.
Instruction이 챗봇을 작동하게 하는 일종의 Prompt인 셈이고, Start word 샘플을 등록할 수 있게 되어 있습니다.
챗봇을 작 동하게 하는 Instruction 문구를 허깅페이스 Assistant에 동일하게 붙여 보겠습니다.
a. MyGPT 화면
b. HuggingChat Assistant 화면
2) 모델 선택에 따른 결과의 차이는?
a. CohereForceAI/c4ai-command-r-plus
가장 위에 기본으로 셋팅되어 있는 모델을 선택하여, Assitant를 activate 시켰습니다. 한글이 잘 동작이 될지 궁금하네요.
첫 문장은 그럴듯하게 대화를 시작하였는데, 비가 와서 허리가 아프다는 다음 말에 계속 답변을 주지 못하고 있는 상태입니다.
그래서 유사한 형태의 주치의 챗봇을 영문으로 변경하여 만들어 보았는데요.
허준이 아닌 Dr. David이 답변을 잘 해주네요.
한국어 학습이 약한 모델이 아닐까 생각되네요.
b. mistralai/Mixtral-8x7B-Instruct-v0.1
다음은 MS가 투자하였다고 알려진 mistralai의 언어 모델을 선택하여, 다시 한국어 버전의 Assitant를 실행해 보았습니다.
문장이 좀 어색한 부분도 있고, 예를 많이 들고 대화가 길긴 하지만 내용이 맞는 답변을 주고 있습니다. 나의 예측은 정확하지 않을 수 있으니 꼭 병원에 가서 검진을 받으라는 주의 메세지를 강조하네요. 의료 등 민감 정보일 경우 부정확할 수 있는 부분에 대한 고지가 언어 모델에 중요하게 반영되어 있는 듯 합니다.
c. meta-llama/Meta-Llama-3-70B-Instruct
마지막으로 llama를 선택하여, 한국어 버전의 Assitant를 실행해 봅니다.
비가 와서 허리가 아픈 원인을 현대 의학이 아닌, 예전 한의학적 이론에 근거하여 답을 생성하는 것이 흥미롭네요.
3) 마치며…
GPT의 답변이 아무래도 좀 더 정확도가 높고, 달리 이미지 생성, 코드 인터프리터 등 연동 기능이 많습니다.
하지만 HuggingFace의 Assitant도 설정한 채널의 Internet aceess를 연동하여 답변을 제공할 수 있고, 모델 연동을 통해 그림을 생성하는 챗봇을 제작할 수도 있습니다.
GPT는 Open AI모델만 사용할 수 있지만, 자신의 목적에 따라 정확도가 높은 학습 모델을 선택하여 챗봇을 만들 수 있구요.
무엇보다 무료이니, 목적에 따른 커스텀 챗봇을 쉽게 생성하여 써 볼 수 있을 것 같습니다. 다른 유저들이 만들어 놓은 Assistant도 오픈 되어 있으니 구경해 보셔도 좋을 듯 합니다.
Huggingface Assitants 보기: HuggingChat - Assistants (huggingface.co)
#허깅페이스11기
#11기허깅페이스 #Huggingface11기
#11기Huggingface