본문으로 건너뛰기
궁금해요

긴문장 처리할때 input, output 계산 방법 및 처리 방법

ChatGPT API 의 경우 model 에 따라 최대 토큰수가 정해져 있는데요.

궁금한게…

제가 알기로 짧은 대화 기준으로


질문 : 100 token

답변 : 100 token

다시질문 : 100 token + (기존질문+기존답변) = 300 token

답변 : 100 token

또질문 : 100 token + (기존질문*2) + (기존답변*2) = 500token


이런식으로 누적해서 사용이 되는것으로 알고 있습니다.

그럼 토큰수를 높여서 좀더 많은양 (128,000 token) 에 해당 하는 내용을 한번 질의하고

이후 질문은 연속성 때문에 항상 먼저 입력된 대량의 텍스트를 다시 보내고 답변 받고

이렇게 되는게 맞는건가요??


fine-tuning 과는 별개로요.


PDF 전송 후 이후 문서내용 관련 질의를 할 수도 있는것으로 아는데 위와 같이 하면

소모되는 토큰이 너무 많아서요.


검색으로는 궁금증을 해결이 안되어서 질문 드려요.


도움 부탁 드립니다.


감사합니다 (_ _)

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

개발자F 프로필 이미지
개발자F2023.11.07
단순 api로만 해결하시려 한다면 불가능합니다. 백터db를 활용하거나 pdf내용을 요약하셔서 사용하셔야합니다.
이상연 프로필 이미지
이상연2023.11.07
조금 다양한 방법이 있습니다만, 우선 이전 대화 내용을 요약하며 최대한 맥락을 유지하는게 바람직합니다. 별로도 히스토리를 메모리에 올리거나 디스크에 조회 가능하게 저장도 가능하구요. 물론 좀 설계적으로 복잡한 로직이 들어가기는 합니다. 
유
유기농치약2023.11.07
답변 감사합니다. 벡터 DB 라는 용어가 있었군요.

그런데 맥락을 요약하는 부분은 구현은 가능하지만 효율면에서는 결국 요약된 맥락을 질의할때 함께 계속적으로 보내는게 맞는건가요?

*gpt 답변은 포함하지 않고
*맥락 + 질문 이런식으로요.
유
유기농치약2023.11.08
 의견 감사합니다.
payload data 자체로서의 효율
비용적인 효율을 의미한거였어요.

  1. 대량의 텍스트
  2. GPT 응답
  3. 질문 (1+2+3)
  4. 답변
  5. 질문 (1+2+3+4+5)

이렇게 처리를 하게되면 지속적으로 payload 와 비용이 증가한다는 부분이 맞는건가해서요. 
메모리에 올렸을때 내부 처리를 위한 속도 향상은 있겠으나
결국 gpt api 를 사용할때는 그간의 데이터를 누적증가되는 구조가 
제가 몰라서 이렇게 하는건지 원래 그런건가 해서요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

커뮤니티의 다른 글

커뮤니티 전체 보기