Gateway.
Un seul endpoint pour chaque modèle. Budgets, cache, fallbacks intégrés.
Gateway est le proxy universel de modèles. Routez chaque appel LLM par un seul endpoint, attachez des budgets et des limites de débit aux clés virtuelles, mettez en cache les réponses par similarité sémantique et basculez vers un fournisseur moins cher ou alternatif quand le principal est en panne, hors budget ou refuse. Chaque requête devient un enregistrement de coût parfait qui alimente Treasury, Router et Reports sans SDK propre à chaque fournisseur.
Route, cache, account.
One endpoint fronts every provider. Issue virtual keys with per-team budgets and rate limits.
Semantic caching deduplicates near-identical prompts. Automatic fallback when the primary refuses.
Every call captured with tokens and dollar cost. Feeds Treasury, Router, and Reports directly.
Ce qu'il contrôle.
Une seule URL, chaque modèle : Anthropic, OpenAI, Groq, Mistral, OpenRouter, local. Le même SDK pour tous.
Clés par équipe ou par projet, chacune avec son propre plafond mensuel, sa limite de débit et sa politique d'accès.
Une requête identique renvoie la réponse stockée, et l'économie est calculée à partir de l'appel d'origine. Rien n'est mis en cache si une réponse stockée pourrait se tromper : temperature au-dessus de zéro, top_p en dessous de un, n supérieur à un, ou appels d'outils.
Le principal refuse ou limite le débit, un modèle de fallback configuré poursuit la requête en toute fluidité.
Chaque appel capturé avec les tokens et le coût en dollars. Alimente directement Treasury, Router et Reports.
Qui se tourne vers Gateway.
- ·Équipes plateforme faisant tourner une infra IA partagée
- ·Organisations IA multi-fournisseurs
- ·Équipes d'ingénierie sensibles aux coûts
S'associe au reste de Treasury.
Vous voulez Gateway dans votre stack ?
Nous intégrons des partenaires de conception en ce moment. Rejoignez la liste d'attente pour faire partie de la cohorte Gateway.
Seul l'e-mail est requis. Un seul e-mail quand Gateway sera en ligne. Rien d'autre.