GateCtr
Python

GateCtr + LlamaIndex

Add budget control and token optimization to LlamaIndex pipelines

1

Installer

Aucun package supplémentaire requis. Utilisez votre installation LlamaIndex existante.

2

Configurer

Avant
from llama_index.llms.openai import OpenAI

llm = OpenAI(model="gpt-4o", api_key="sk-...")
Après GateCtr
from llama_index.llms.openai import OpenAI

llm = OpenAI(
    model="gpt-4o",
    api_key="sk-...",
    api_base="https://api.gatectr.com/v1"
)
3

Tester

Faites un appel test et vérifiez les économies de tokens dans le dashboard GateCtr.

Ce que GateCtr fait en coulisses pour LlamaIndex

Quand vous routez les appels LlamaIndex via GateCtr, chaque requête est automatiquement compressée (jusqu'à 40% de tokens en moins), scorée pour la complexité (pour sélectionner le modèle optimal) et vérifiée par rapport à votre budget cap avant d'atteindre le provider LLM. Vous obtenez une visibilité complète — tokens, coût, latence — dans le dashboard GateCtr.

Économisez avec LlamaIndex — gratuit

Sans carte bancaire. Opérationnel en 5 minutes.

Démarrer gratuitement