본문으로 건너뛰기
궁금해요

긴문장 처리할때 input, output 계산 방법 및 처리 방법

ChatGPT API 의 경우 model 에 따라 최대 토큰수가 정해져 있는데요.

궁금한게…

제가 알기로 짧은 대화 기준으로


질문 : 100 token

답변 : 100 token

다시질문 : 100 token + (기존질문+기존답변) = 300 token

답변 : 100 token

또질문 : 100 token + (기존질문*2) + (기존답변*2) = 500token


이런식으로 누적해서 사용이 되는것으로 알고 있습니다.

그럼 토큰수를 높여서 좀더 많은양 (128,000 token) 에 해당 하는 내용을 한번 질의하고

이후 질문은 연속성 때문에 항상 먼저 입력된 대량의 텍스트를 다시 보내고 답변 받고

이렇게 되는게 맞는건가요??


fine-tuning 과는 별개로요.


PDF 전송 후 이후 문서내용 관련 질의를 할 수도 있는것으로 아는데 위와 같이 하면

소모되는 토큰이 너무 많아서요.


검색으로는 궁금증을 해결이 안되어서 질문 드려요.


도움 부탁 드립니다.


감사합니다 (_ _)

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

유
유기농치약2023.11.08
 의견 감사합니다.
payload data 자체로서의 효율
비용적인 효율을 의미한거였어요.

  1. 대량의 텍스트
  2. GPT 응답
  3. 질문 (1+2+3)
  4. 답변
  5. 질문 (1+2+3+4+5)

이렇게 처리를 하게되면 지속적으로 payload 와 비용이 증가한다는 부분이 맞는건가해서요. 
메모리에 올렸을때 내부 처리를 위한 속도 향상은 있겠으나
결국 gpt api 를 사용할때는 그간의 데이터를 누적증가되는 구조가 
제가 몰라서 이렇게 하는건지 원래 그런건가 해서요.

유
유기농치약2023.11.07
답변 감사합니다. 벡터 DB 라는 용어가 있었군요.

그런데 맥락을 요약하는 부분은 구현은 가능하지만 효율면에서는 결국 요약된 맥락을 질의할때 함께 계속적으로 보내는게 맞는건가요?

*gpt 답변은 포함하지 않고
*맥락 + 질문 이런식으로요.
이상연 프로필 이미지
이상연2023.11.07
조금 다양한 방법이 있습니다만, 우선 이전 대화 내용을 요약하며 최대한 맥락을 유지하는게 바람직합니다. 별로도 히스토리를 메모리에 올리거나 디스크에 조회 가능하게 저장도 가능하구요. 물론 좀 설계적으로 복잡한 로직이 들어가기는 합니다. 
개발자F 프로필 이미지
개발자F2023.11.07
단순 api로만 해결하시려 한다면 불가능합니다. 백터db를 활용하거나 pdf내용을 요약하셔서 사용하셔야합니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

커뮤니티의 다른 글

커뮤니티 전체 보기