본문으로 건너뛰기
가입했어요

궁금한게 있어요 api써서 할때 vs 챗봇웹페이지에서 할때.

웹페이지에서 하면 문장이 길든 상관없이, context를 유지하면서 대화를 하는데,
api를 통하면 prompt의 제한 길이 때문에 어느순간 길이를 넘어간다고 하는데,

이걸 보통 어떻게 해결해야하나요.. 
7

함께 이야기해요 7

로그인하고 댓글을 남겨 주세요

김욱영 프로필 이미지
김욱영2023.02.24
챗봇 웹페이지는 GPT-3기반의 챗봇을 의미하는걸까요 아니면 ChatGPT를 이용한 걸까요? 조금 자세히 말씀주시면 답변이 용이할 듯 합니다
ITSY달라달리 프로필 이미지
Openai 에서 api 사용해서 하는 방법과 chatGPT 웹페이지에서 하는 방법이예요 ㅎ
3D점쟁이 프로필 이미지
3D점쟁이2023.02.24
C님 답변
이 문제는 GPT3 API를 다른 방식으로 사용하여 해결할 수 있습니다.
하나의 프롬프트를 제공하고 AI가 완전한 응답을 생성하기를 기대하는 대신, 프롬프트를 여러 개의 작은 chunk로 나누고 각 chunk를 고유한 프롬프트로 제공할 수 있습니다.
이렇게 하면 AI가 다음 응답을 생성할 때 이전의 모든 chunk를 고려할 수 있으므로 보다 상세하고 정확한 응답을 생성할 수 있습니다.
또한 AI가 이전에 말한 내용을 기억할 수 있도록 하여 대화의 맥락을 유지하는 데 도움이 됩니다.
또한 chunk 수를 늘려 프롬프트의 길이를 늘릴 수도 있습니다. 그러나 chunk에 복잡한 정보가 포함되어 있으면 정확도가 약간 떨어질 수 있습니다.
(여기서 chunk는 기억단위를 말합니다.)

G님 답변
GPT-3 API와 챗봇 웹페이지 사용의 주요 차이점은 API를 사용하면 프롬프트를 더 많이 제어할 수 있고 필요에 따라 사용자 지정할 수 있는 반면, 사전 구축된 챗봇 웹페이지의 경우 프롬프트가 고정되어 있고 길이와 복잡성에 제한이 있다는 점입니다.

GPT-3 API를 사용할 때 프롬프트 길이와 관련하여 문제가 발생하는 경우 몇 가지 방법을 시도해 볼 수 있습니다:

입력을 더 작은 청크로 나누기: 프롬프트 길이 제한으로 인해 문제가 발생하는 경우, 입력을 더 작고 관리하기 쉬운 청크로 나누어 볼 수 있습니다. 이렇게 하면 문맥이 유지되고 대화가 일관성을 유지하는 데 도움이 될 수 있습니다.

문맥을 유리하게 활용하세요: GPT-3의 강점 중 하나는 긴 텍스트 시퀀스에서도 문맥을 유지할 수 있다는 점입니다. 프롬프트 길이에 문제가 있는 경우 프롬프트에 더 많은 컨텍스트를 제공하여 이 강점을 활용할 수 있습니다. 이렇게 하면 모델이 관련성 있는 응답을 생성하는 데 필요한 정보를 확보하는 데 도움이 될 수 있습니다.

다양한 파라미터로 실험해 보세요: GPT-3 API는 모델의 동작을 사용자 지정하는 데 사용할 수 있는 다양한 파라미터를 제공합니다. 다양한 설정으로 실험하여 결과가 개선되는지 확인할 수 있습니다. 예를 들어, 모델 출력의 무작위성 수준을 제어하는 온도 매개변수를 조정해 볼 수 있습니다.

전반적으로 GPT-3로 작업하는 데 약간의 시행착오가 있을 수 있으며, 특정 사용 사례에 가장 적합한 접근 방식을 찾으려면 약간의 실험이 필요할 수 있다는 점을 염두에 두어야 합니다.

C님-챗소닉, G님-챗gpt
유민수 프로필 이미지
유민수2023.02.24
간단하게 사용 시, 이전 대화를 넣고 돌리시는게 제일 편합니다. 문맥이 길어지면 위에 말씀하신 것처럼!
ITSY달라달리 프로필 이미지
기술적인 답변 감사합니다!
제가 chunk라는 것에 대한 이해가 모자른 것 같아요.
대화가 길어지면 점점 제한 토큰 수를 넘어가는데, 이걸 chunk로 나뉘어도 합하면 똑같지 않을까 하는 생각인데, 아니면 제가 모르는 개념이 더 있는건지 궁금하네요.ㅜ
Andy Song 프로필 이미지
Andy Song2023.02.25
이전 결과를 맥락 정보로 다음 프롬프트에 넣어 줘야 합니다. 간단한 코딩을 하신다면 Concatenate 함수를 사용하시면 해결할 수 있습니다. 다만  프롬프트당 최대 입력 토큰수 제약이 있고, 대화가 길어지면 이전 대화 내용 기억이 흐릿해지는 트랜스포머 모델의 태생적 한계가 있긴 합니다. 이 맥스토큰을 크게 개선한 제품이 곧 나올 것 같긴 합니다. 유료일것 같아 걱정은 됩니다
papabin 프로필 이미지
papabin2023.02.25
질문을 chatgpt에 물어보면 잘 답변해줍니다. 질문을 영어로 번역해서 프롬프트에 물어보고, 그 다음 프롬프트에 " 예제 코드를 python 으로 작성해줘. 주석인 한국어도 달아줘. "라고 물어보면 줄줄이 코드를 보여줍니다. 거기 보시면 잘라서 넣어주는 부분이 보일겁니다. 더 궁금하면 해당 파이선 코드줄을 복사한 후에 "이거 더 상세하게 설명해줘" 그러면 구구절절 설명해줘요. ^^ 근데 open api는 GPT-3만 나오고 chat gpt용은 아직 안나온듯 싶네요. 요점 주의^^

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

커뮤니티의 다른 글

커뮤니티 전체 보기