본문으로 건너뛰기
궁금해요

ChatGPT API 토큰 계산시

myai

2024.01.03

안녕하세요.

ChatGPT API 비용 계산 테스트를 하고 있습니다.

input ouput 을 https://platform.openai.com/tokenizer 의 토큰 계산기에 넣어 계산한 토큰 수와

실제 usage 비교해보면 , 토큰계산기 오차를 감안해도 차이가 좀 납니다.

혹시 .. request - response의 JSON 데이터 전체를 기준으로 token을 계산해야 할까요?


4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

김욱영 프로필 이미지
김욱영2024.01.03

저는 시스템 + 요청 + 답변 으로 계산해야하는 것으로 알고 있습니다.
그런데 이 부분은 제가 정확히 아는 것은 아니라서요 ㅠ

J
Junghun Lee2024.01.03

assistant나 system role에 할당한 프롬프트도 계산을 하신 게 맞을까요? input과 output, 작성 코드, 토큰 계산기와 실제 usage의 차이 등 자세한 상황을 공유해주시면 더 수월하게 해결할 수 있을 듯 합니다!

m
myai2024.01.04

@Junghun Lee 말씀하신대로 다시 검토해보겠습니다 감사합니다!

w
wislan2024.01.05

OpenAI 홈페이지에 있는 토크나이저는 옛날거라 안 맞습니다.

이 토크나이저를 확인해 보세요~고유 토큰들도 들어가 있어서 정확하게 셀 수 있습니다.

https://tiktokenizer.vercel.app/

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

커뮤니티의 다른 글

커뮤니티 전체 보기