chatGPT API 응답 지연 미국에 위치한 서버에서 호출해도 느리군요.
훅간당
2023.05.03
어제 유료 등록하고 로컬 개발환경에서 chatGPT API 호출해봐도 느리다는 글을 올렸었는데요.
혹시나 미국에 위치한 서버에 올리면 좀 빨라지려나... 기대를 했지만... 뭐 똑같이 느리네요.
https://olosia.com/aicards
단어 암기를 위한 플레시카드 데이터 생성을 AI 에게 요청해서 만들어보는건데요.
10여초만 되어도 이해를 하겠는데... 30초가 넘는 경우도 흔히 생기니...
유료로 호출하는데 이건 좀 심하지 않소~~~ 란 생각이 드는군요... ㅡㅡ;'
구현을 하면서 결국엔 API 호출 결과를 저장해두고,
일치하는 조건에 대해서는 캐싱해둔 결과를 바로 보여주고,
캐싱 주기가 지나면 다시 API 를 호출하는 방향으로 해야 했네요.
비용이 발생하는 유료 API 를 호출하는 상황인데... 생각보다 지연도 이렇게 발생하다 보니...
구현한 서비스의 지속 가능성에 대해 의문이 생길 수 밖에 없군용.
혹시나 미국에 위치한 서버에 올리면 좀 빨라지려나... 기대를 했지만... 뭐 똑같이 느리네요.
https://olosia.com/aicards
단어 암기를 위한 플레시카드 데이터 생성을 AI 에게 요청해서 만들어보는건데요.
10여초만 되어도 이해를 하겠는데... 30초가 넘는 경우도 흔히 생기니...
유료로 호출하는데 이건 좀 심하지 않소~~~ 란 생각이 드는군요... ㅡㅡ;'
구현을 하면서 결국엔 API 호출 결과를 저장해두고,
일치하는 조건에 대해서는 캐싱해둔 결과를 바로 보여주고,
캐싱 주기가 지나면 다시 API 를 호출하는 방향으로 해야 했네요.
비용이 발생하는 유료 API 를 호출하는 상황인데... 생각보다 지연도 이렇게 발생하다 보니...
구현한 서비스의 지속 가능성에 대해 의문이 생길 수 밖에 없군용.


![[스타트업실험실]ChatGPT Mac app 사용 후기 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2Fd96b8e72a23c686c0ec6939c.png&w=3840&q=75)
