Gateway.
Un solo endpoint para cada modelo. Presupuestos, caché y respaldos integrados.
Gateway es el proxy universal de modelos. Enruta cada llamada a un LLM a través de un solo endpoint, asocia presupuestos y límites de tasa a claves virtuales, cachea respuestas por similitud semántica y recurre a un proveedor más barato o alternativo cuando el principal está caído, sobrepasa el presupuesto o rechaza. Cada solicitud se convierte en un registro de coste perfecto que alimenta a Treasury, Router y Reports sin un SDK por proveedor.
Route, cache, account.
One endpoint fronts every provider. Issue virtual keys with per-team budgets and rate limits.
Semantic caching deduplicates near-identical prompts. Automatic fallback when the primary refuses.
Every call captured with tokens and dollar cost. Feeds Treasury, Router, and Reports directly.
Lo que controla.
Una URL, cada modelo: Anthropic, OpenAI, Groq, Mistral, OpenRouter, local. El mismo SDK para todos ellos.
Claves por equipo o por proyecto, cada una con su propio tope mensual, límite de tasa y política de acceso.
Una petición idéntica devuelve la respuesta guardada, y el ahorro se calcula a partir de la llamada original. No cachea nada que una respuesta guardada pueda equivocar: temperature por encima de cero, top_p por debajo de uno, n mayor que uno o llamadas a herramientas.
Si el principal rechaza o limita la tasa, un modelo de respaldo configurado continúa la solicitud sin fricción.
Cada llamada capturada con tokens y coste en dólares. Alimenta a Treasury, Router y Reports directamente.
Quién recurre a Gateway.
- ·Equipos de plataforma que operan infraestructura de IA compartida
- ·Organizaciones de IA multiproveedor
- ·Equipos de ingeniería sensibles al coste
Combina con el resto de Treasury.
¿Quieres Gateway en tu stack?
Estamos incorporando socios de diseño ahora. Únete a la lista de espera para estar en la cohorte de Gateway.
Solo el correo es obligatorio. Un solo correo cuando Gateway se lance. Nada más.