[ 원봇 | SW개발 | IT ]
Gpt린이 너무나 궁금하고 헷갈려 질문드립니다🙇♂️ 미리 감사드립니다.
1/ gpt 모델별로 max_request가 홈페이지에 나와있는데 이건 질문시 토큰 갯수 제한인가요? 답변시 기억하고 있는 토큰 갯수인가요?
2/ 그리고 파이썬에서 Completion.create 함수의 max_tokens 파라메터는 max_request와 다른 개념인가요?
3/ 이번에 새로 생긴 gpt-3.5-turbo는 ChatCompletion으로 기존 대화의 맥락도 포함해서 질의가 가능하던데
Completion에서는 이런 맥락을 만들어낼 수 없나요?
4/ (fine tuned 모델 제외) 장문의 글을 끊어 넣고 답변받으려는데 stream 옵션이 혹시 이럴때 사용하는 기능이 맞나요?
4/ (fine tuned 모델 제외) 장문의 글을 끊어 넣고 답변받으려는데 stream 옵션이 혹시 이럴때 사용하는 기능이 맞나요?
[ wislan | 개발 | 웹개발 ]
제가 아는 것 답변해드릴게요.
- max request 리밋은 질문+답변 합산 기준입니다.
- max tokens은 '응답'의 길이를 지정할 수 있는 파라미터에요. max request 4096 모델에 max tokens를 2000을 쓰면 질문에 응답할 수 있는건 2096토큰이에요.
- completion 모델도 context가 되는 정보를 요청을 보낼 때 앞에 붙여서 보내면 됩니다. stream은 답변을 중간에 받는 걸로 serversent event와 같이 실시간으로 보여주셔야 할 때 사용하 시면 됩니다.