GateCtr
Python

GateCtr + LiteLLM

Proxy LiteLLM calls through GateCtr for unified cost tracking

1

Installer

Aucun package supplémentaire requis. Utilisez votre installation LiteLLM existante.

2

Configurer

Avant
import litellm

response = litellm.completion(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Hello"}]
)
Après GateCtr
import litellm

response = litellm.completion(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Hello"}],
    api_base="https://api.gatectr.com/v1"
)
3

Tester

Faites un appel test et vérifiez les économies de tokens dans le dashboard GateCtr.

Ce que GateCtr fait en coulisses pour LiteLLM

Quand vous routez les appels LiteLLM via GateCtr, chaque requête est automatiquement compressée (jusqu'à 40% de tokens en moins), scorée pour la complexité (pour sélectionner le modèle optimal) et vérifiée par rapport à votre budget cap avant d'atteindre le provider LLM. Vous obtenez une visibilité complète — tokens, coût, latence — dans le dashboard GateCtr.

Économisez avec LiteLLM — gratuit

Sans carte bancaire. Opérationnel en 5 minutes.

Démarrer gratuitement