Gateway.
Ein Endpunkt für jedes Modell. Budgets, Caching, Fallbacks eingebaut.
Gateway ist der universelle Modell-Proxy. Routen Sie jeden LLM-Aufruf über einen Endpunkt, hängen Sie Budgets und Rate-Limits an virtuelle Keys, cachen Sie Antworten nach semantischer Ähnlichkeit und greifen Sie auf einen günstigeren oder alternativen Provider zurück, wenn der primäre ausfällt, das Budget überschreitet oder verweigert. Jede Anfrage wird zu einer perfekten Kostenaufzeichnung, die Treasury, Router und Reports ohne ein SDK pro Provider speist.
Route, cache, account.
One endpoint fronts every provider. Issue virtual keys with per-team budgets and rate limits.
Semantic caching deduplicates near-identical prompts. Automatic fallback when the primary refuses.
Every call captured with tokens and dollar cost. Feeds Treasury, Router, and Reports directly.
Was es steuert.
Eine URL, jedes Modell: Anthropic, OpenAI, Groq, Mistral, OpenRouter, lokal. Dasselbe SDK über alle hinweg.
Keys pro Team oder pro Projekt, jeder mit eigener monatlicher Obergrenze, Rate-Limit und Zugriffsrichtlinie.
Eine identische Anfrage liefert die gespeicherte Antwort, die Ersparnis wird aus dem ursprünglichen Aufruf berechnet. Was eine gespeicherte Antwort falsch machen könnte, wird nicht gecacht: Temperature über null, top_p unter eins, n über eins oder Tool-Aufrufe.
Der primäre verweigert oder limitiert, ein konfiguriertes Fallback-Modell setzt die Anfrage nahtlos fort.
Jeder Aufruf erfasst mit Tokens und Dollar-Kosten. Speist Treasury, Router und Reports direkt.
Wer zu Gateway greift.
- ·Plattform-Teams, die gemeinsame KI-Infra betreiben
- ·Multi-Provider-KI-Organisationen
- ·Kostensensible Engineering-Teams
Passt zum Rest von Treasury.
Sie möchten Gateway in Ihrem Stack?
Wir onboarden gerade Design-Partner. Tragen Sie sich in die Warteliste ein, um in der Gateway-Kohorte zu sein.
Nur die E-Mail ist erforderlich. Eine E-Mail, wenn Gateway live geht. Sonst nichts.