안녕하세요.
HuggingFace에도 OpenAI의 MyGPTs와 같은 나만의 챗봇을 만들 수 있는 기능이 있어 사용해 보았습니다.
작년 하반기에 OpenAI가 GPT 4.0을 발표하면서, 특정 목적에 맞춰 커스텀한 챗봇을 만들 수 있는 MyGPTs 기능을 유료 사용자 대상으로 오픈했었는데요.
MyGPTs 페이지: Explore GPTs (chatgpt.com)
많이들 아시겠지만, Instruction란에 원하는 작동 방식에 대한 설명만 넣으면, 바로 챗봇이 만들어지는 기능입니다.
올 해 GPT4o를 발표하면서, My GPTs의 사용 권한을 무료 사용자에게 확대한다고 했는데요. 아직 My GPTs를 직접 만드는 기능은 유료 사용자에게만 제공되고 있습니다.
그런데 HuggingFace의 HuggingChat에서 MyGPTs와 거의 유사한 Assistant라는 기능을 무료로 제공하 고 있어, 한 번 사용해 보았습니다.
1) GPTs에 만든 챗봇과 동일한 Instruction으로 만들어 보기
GPT를 유료 계정으로 쓰고 있어, 다양한 My GPTs를 만들어 봤었는데요.
그 중 하나인 ‘어의는 들라’ 챗봇을 HuggingFace에서 똑같이 만들어 보겠습니다.
‘어의는 들라’는 어의인 허준을 페르소나로 한 챗봇으로, 나의 증상을 설명하면 원인을 진단해주는 재미형 챗봇입니다.
방법은 간단합니다. HuggingChat > Assitants 화면에서 Creat New Assitants 버튼을 눌러 만들면 됩니다.
허깅페이스의 Assitant는 MyGPTs와 거의 동일한 형태의 탬플릿으로 제공하고 있습니다.
Instruction이 챗봇을 작동하게 하는 일종의 Prompt인 셈이고, Start word 샘플을 등록할 수 있게 되어 있습니다.
챗봇 을 작동하게 하는 Instruction 문구를 허깅페이스 Assistant에 동일하게 붙여 보겠습니다.
a. MyGPT 화면
b. HuggingChat Assistant 화면
2) 모델 선택에 따른 결과의 차이는?
a. CohereForceAI/c4ai-command-r-plus
가장 위에 기본으로 셋팅되어 있는 모델을 선택하여, Assitant를 activate 시켰습니다. 한글이 잘 동작이 될지 궁금하네요.
첫 문장은 그럴듯하게 대화를 시작하였는데, 비가 와서 허리가 아프다는 다음 말에 계속 답변을 주지 못하고 있는 상태입니다.
그래서 유사한 형태의 주치의 챗봇을 영문으로 변경하여 만들어 보았는데요.
허준이 아닌 Dr. David이 답변을 잘 해주네요.
한국어 학습이 약한 모델이 아닐까 생각되네요.
b. mistralai/Mixtral-8x7B-Instruct-v0.1
다음은 MS가 투자하였다고 알려진 mistralai의 언어 모델을 선택하여, 다시 한국어 버전의 Assitant를 실행해 보았습니다.
문장이 좀 어색한 부분도 있고, 예를 많이 들고 대화가 길긴 하지만 내용이 맞는 답변을 주고 있습니다. 나의 예측은 정확하지 않을 수 있으니 꼭 병원에 가서 검진을 받으라는 주의 메세지를 강조하네요. 의료 등 민감 정보일 경우 부정확할 수 있는 부분에 대한 고지가 언어 모델에 중요하게 반영되어 있는 듯 합니다.
c. meta-llama/Meta-Llama-3-70B-Instruct
마지막으로 llama를 선택하여, 한국어 버전의 Assitant를 실행해 봅니다.
비가 와서 허리가 아픈 원인을 현대 의학이 아닌, 예전 한의학적 이론에 근거하여 답을 생성하는 것이 흥미롭네요.
3) 마치며…
GPT의 답변이 아무래도 좀 더 정확도가 높고, 달리 이미지 생성, 코드 인터프리터 등 연동 기능이 많습니다.
하지만 HuggingFace의 Assitant도 설정한 채널의 Internet aceess를 연동하여 답변을 제공할 수 있고, 모델 연동을 통해 그림을 생성하는 챗봇을 제작할 수도 있습니다.
GPT는 Open AI모델만 사용할 수 있지만, 자신의 목적에 따라 정확도가 높은 학습 모델을 선택하여 챗봇을 만들 수 있구요.
무엇보다 무료이니, 목적에 따른 커스텀 챗봇을 쉽게 생성하여 써 볼 수 있을 것 같습니다. 다른 유저들이 만들어 놓은 Assistant도 오픈 되어 있으니 구경해 보셔도 좋을 듯 합니다.
Huggingface Assitants 보기: HuggingChat - Assistants (huggingface.co)
#허깅페이스11기
#11기허깅페이스 #Huggingface11기
#11기Huggingface