Qu'est-ce que Prompt Caching ?
Storing LLM responses for reuse when identical or similar prompts are submitted again.
Prompt caching stores the output of an LLM call and returns the cached response when the same (or semantically similar) prompt is submitted again. For applications with repetitive queries — FAQ bots, document Q&A, code assistants — caching can eliminate 30–70% of API calls entirely.
There are two types: exact caching (same prompt → same response) and semantic caching (similar prompts → reuse response if similarity exceeds a threshold). Semantic caching requires embedding the prompt and comparing against a vector store.
GateCtr's LLM Cache Layer (coming Q1 2027) will implement semantic caching transparently. Until then, GateCtr's token compression reduces the cost of cache misses.
GateCtr gère prompt caching automatiquement sur chaque appel API — sans configuration requise. Les résultats sont visibles en temps réel dans le dashboard GateCtr, avec des détails par requête sur les tokens, le coût et les économies.
Termes associés
Voir GateCtr en action — gratuit
Sans carte bancaire. Opérationnel en 5 minutes.
Démarrer gratuitement