ChatGPT API 토큰 계산시
2024.01.03
안녕하세요.
ChatGPT API 비용 계산 테스트를 하고 있습니다.
input ouput 을 https://platform.openai.com/tokenizer 의 토큰 계산기에 넣어 계산한 토큰 수와
실제 usage 비교해보면 , 토큰계산기 오차를 감안해도 차이가 좀 납니다.
혹시 .. request - response의 JSON 데이터 전체를 기준으로 token을 계산해야 할까요?
로그인하고 댓글을 남겨 주세요
assistant나 system role에 할당한 프롬프트도 계산을 하신 게 맞을까요? input과 output, 작성 코드, 토큰 계산기와 실제 usage의 차이 등 자세한 상황을 공유해주시면 더 수월하게 해결할 수 있을 듯 합니다!
@Junghun Lee 말씀하신대로 다시 검토해보겠습니다 감사합니다!
OpenAI 홈페이지에 있는 토크나이저는 옛날거라 안 맞습니다.
이 토크나이저를 확인해 보세요~고유 토큰들도 들어가 있어서 정확하게 셀 수 있습니다.

저는 시스템 + 요청 + 답변 으로 계산해야하는 것으로 알고 있습니다.
그런데 이 부분은 제가 정확히 아는 것은 아니라서요 ㅠ