본문으로 건너뛰기
가입했어요

GPTCache - LLM 질의에 대한 답변을 캐싱하는 라이브러리

김욱영

2023.04.24


  • LLM의 답변을 캐시하여 조직의 LLM 비용을 줄이고 답변 속도를 빠르게
  • 시맨틱 캐싱 전략을 통해서 비슷하거나 관련된 질의를 찾아서 캐시 히트율을 높임
    • 임베딩 알고리듬을 통해 질의를 임베딩으로 변환하고 벡터 스토어를 통하여 이 임베팅에 대한 연관 검색을 수행
  • LLM Adapter : OpenAI ChatGPT 및 LangChain 지원 (Bard/Anthropic/LLaMA 등도 지원 예정)
  • MultiModal Adapter : OpenAI Image Create, OpenAI Audio Transribe, HuggingFace Stable Diffusion
  • Embedding Generator : OpenAI, ONNX, HuggingFace, Cohere, fastText, SentenceTransformers
  • Cache Storage : SQLite, PostgreSQL, MySQL, SQLServer,..
  • Vector Store : Mulvus, Zilliz Cloud, FAISS, Hnswlib
  • Cache Manager : LRU, FIFO
1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

Ki-Young 프로필 이미지
Ki-Young2023.04.25
기술적인 부분은 모르겠지만, 기반 아이디어는 매우 좋네요. 어차피 비슷한 질문을 하는 사람들이 수천 수만일 텐데 굳이 매번 리소스를 낭비할 필요가 없겠죠.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

커뮤니티의 다른 글

커뮤니티 전체 보기