GPTCache - LLM 질의에 대한 답변을 캐싱하는 라이브러리
김욱영
2023.04.24
- LLM의 답변을 캐시하여 조직의 LLM 비용을 줄이고 답변 속도를 빠르게
- 시맨틱 캐싱 전략을 통해서 비슷하거나 관련된 질의를 찾아서 캐시 히트율을 높임
- 임베딩 알고리듬을 통해 질의를 임베딩으로 변환하고 벡터 스토어를 통하여 이 임베팅에 대한 연관 검색을 수행
- LLM Adapter : OpenAI ChatGPT 및 LangChain 지원 (Bard/Anthropic/LLaMA 등도 지원 예정)
- MultiModal Adapter : OpenAI Image Create, OpenAI Audio Transribe, HuggingFace Stable Diffusion
- Embedding Generator : OpenAI, ONNX, HuggingFace, Cohere, fastText, SentenceTransformers
- Cache Storage : SQLite, PostgreSQL, MySQL, SQLServer,..
- Vector Store : Mulvus, Zilliz Cloud, FAISS, Hnswlib
- Cache Manager : LRU, FIFO
로그인하고 댓글을 남겨 주세요
Ki-Young2023.04.25
기술적인 부분은 모르겠지만, 기반 아이디어는 매우 좋네요. 어차피 비슷한 질문을 하는 사람들이 수천 수만일 텐데 굳이 매번 리소스를 낭비할 필요가 없겠죠.



