chatGPT API 응답 지연 미국에 위치한 서버에서 호출해도 느리군요.

어제 유료 등록하고 로컬 개발환경에서 chatGPT API 호출해봐도 느리다는 글을 올렸었는데요.

혹시나 미국에 위치한 서버에 올리면 좀 빨라지려나... 기대를 했지만... 뭐 똑같이 느리네요.

https://olosia.com/aicards

단어 암기를 위한 플레시카드 데이터 생성을 AI 에게 요청해서 만들어보는건데요.

10여초만 되어도 이해를 하겠는데... 30초가 넘는 경우도 흔히 생기니...

유료로 호출하는데 이건 좀 심하지 않소~~~ 란 생각이 드는군요... ㅡㅡ;'


구현을 하면서 결국엔 API 호출 결과를 저장해두고,

일치하는 조건에 대해서는 캐싱해둔 결과를 바로 보여주고,

캐싱 주기가 지나면 다시 API 를 호출하는 방향으로 해야 했네요.


비용이 발생하는 유료 API 를 호출하는 상황인데... 생각보다 지연도 이렇게 발생하다 보니...

구현한 서비스의 지속 가능성에 대해 의문이 생길 수 밖에 없군용.