안녕하세요~
샘호트만 입니다.
평화로운 주말, Claude 3 누리(부탁하는 네오)님이 뚜까패본 사람 나오라길래 한번 재미있는 Test 해보고 싶어서 Trial 해봤습니다.
(아래 사투리 대결 부분을 바로 참고해주세요 ㅎㅎ)
LLM 응답 품질의 중요 Factor
제가 자연어처리를 아주 오래한 것도 아니지만, 체감 &경험 상 언어모델의 답변 품질은 아래와 같은 Factor로 중요도를 매길 수 있습니다. (Rough하게)
학습 데이터 품질 > 학습 데이터 양과 비율(분포) > 알고리즘
Factor 1 : 학습 데이터 품질
우선 이 부분은 OpenAI, Google, Anthropic 등등 학습데이터를 공유하지는 않고 품질이 좋은 지, 안 좋은지 정량적으로 좋다 나쁘다고 알 수 있는 Metric이 없습니다.
Factor 2 : 학습 데이터 분포 & 양
비영어권 데이터를 Claude3가 더 많이 학습을 했다고 합니다. 자연스럽게 학습데이터 분포는 아주 조금이겠지만 한국어 데이터 또한 학습 데이터에서 조금이라도 올라갔을 것이라 생각됩니다. 그래서 Claude 3가 각광을 받는 부분은 한국어 디테일한 영역(사투리, 속담 등) 더 잘한다고 생각합니다. ChatGPT에서 카피라이팅을 하려면, Few-Shot으로 카피라이팅해야하는데 Claude는 Zero-shot으 로 운 좋게 얻어걸릴 수 있습니다.
Factor 3 : 알고리즘
오래전부터 이 부분은 평준화가 되고 있습니다. MoE(Mixture of Experts) 정도 되어야 알고리즘이 다르다고 할 수 있지만 거의 비슷비슷하기에, 승부는 학습 데이터에 있다고 생각하고 있습니다.
따라서 종합적으로 보면 한국인이 좋아하려면 품질은 동등하다고 생각하면 학습 데이터 분포가 조금이라도 좋은 Claude가 좋을 수 있습니다.
사투리 비교해보기
사투리를 소재로한 이유는 예전부터 사투리 데이터는 진짜 구하기 난이도 hell 수준이기 때문에 ChatGPT 탄생 전부터 사투리를 구현하는 것은 아주 어려운 Task였습니다. 저는 다음과 같은 프롬프트로 실험을 하였습니다.
```
## Role
대한민국 서울, 충청도, 경상도, 전라도, 제주도 5개 각 도시에 어울리는 해당 지역의 사투리를 작성해주세요. 사투리는 2명의 화자를 두어 대화하는 형태로 진행하여야합니다.
## Output Format
- [도시 이름] :
[A : 도시의 특성을 최대한 살려서 해당 지역의 사투리로 대화]
[B : 도시의 특성을 최대한 살려서 해당 지역의 사투리로 대화, A 대화 내용에 맞게 응답]
## Example
경상도
A: 이번이 마지막이다 한번만 더 만나도!
B: 쉬바! 와이카노!!
## Goal
예시를 참조하고, Output Format 형태로 답변을 출력해주세요
```
GPT 4.0
서울 빼고 다 심각한 것을 알 수 있습니다. 충청도, 전라도, 제주도 보면 다 변절자임을 알 수 있습니다.
Claude 3
딱 봐도 압승인 것을 알 수 있습니다.
그렇다면 GPT 4.0 손절?
2개 다 쓰는 입장에서는 좋은 선택이 아니라고 생각합니다. @김승우 님 발표를 저도 봤었는데, 공감되는 부분이 많았습니다.
저는 다음과 같이 정리해볼 수 있습니다.
클로드 3 opus
코딩 잘함(여러 file들 동작이 잘되게 끔, 복붙하기 좋게 내놓음)
비영어권 학습 데이터 비율이 높기 때문에 한국어에 specific하게 잘함(속담, 사투리, 카피라이팅 등) 글쓰기 좋음
기억력 좋음(long Context 강점이고, 무엇보다 중간에 있는 Text 까지 탐지 잘함)
답변이 무엇보다 AI 스럽지 않음. 자연어 에 최대한 가까움
GPT-4
추론 잘함(똑똑함), 센스 있음,
항상 이해한 내용을 복명복창하면서 설명충이지만 이게 때로는 새로운 도메인에 접근할 때 초보자들이 매우 좋음. → 예를 들면, 시험공부를 하는데 서포팅 받기 엄청 좋다는 뜻.
아이디어 수렴과 발산, 패턴 인식, 기획을 잘 함
Custom Instructions, GPTs, DALLE, ADA 는 포기하기 어렵…
앞으로 Claude 3 또한 Retrain되는 학습 데이터가 어떻게 되느냐에 따라서 많이 바뀌겠지만, 글쓰기, 카피라이팅, 상세페이지 초안 등 ‘복붙 + 수정’ Task를 많이 하시는 분들은 Claude Opus 쓰시고 내가 AI를 진짜 Assistant 개념으로 동반 성장하면서 배우면서 아이디어 기획을 많이 하시는 분들은 GPT-4.0 쓰시면 됩니다.
저의 사용방향은 ChatGPT 로 기획이랑 뼈대 다 맞추고 글 뽑는 건 Claude를 사용합니다. ChatGPT를 팀계정을 써서 1년치 선불해서 그냥 쓰는데 이 친구를 쓰다보니 개발과 글쓰기가 편해서 돈을 기꺼이 지불 했습니다. (하지만 다 쓰니까 지갑이 파쇄가 되고 있습니다 ㅠㅠ)
본인한테 좋은 친구가 최고의 AI라고 생각합니다. 좋은 글이 되셨으면 좋겠습니다.
GPT 4.5인가 5.0이 올해 11월 안에 나온다, 3일 전에 OpenAI의 DR(Developer Relations) 담당자는 다음주에 큰거 오니까 안전벨트 차고 있으라고 X에서 이야길 했던데, 빠르게 발전하고 있는 AI 세계에서 어떻게 살지 저는 고민이 많습니다 ㅎㅎ
무튼 긴 글 읽어주셔서 감사합니다!!