Gateway.
すべてのモデルへのひとつのエンドポイント。予算、キャッシュ、フォールバックを内蔵。
Gateway は、ユニバーサルなモデルプロキシです。すべてのLLM呼び出しをひとつのエンドポイント経由でルーティングし、仮想キーに予算とレート制限を付与し、レスポンスをセマンティックな類似性でキャッシュし、プライマリがダウン・予算超過・拒否したときに、より安価または代替のプロバイダーにフォールバックします。すべてのリクエストが、プロバイダーごとのSDKなしで Treasury、Router、Reports に供給される完璧なコスト記録になります。
Route, cache, account.
One endpoint fronts every provider. Issue virtual keys with per-team budgets and rate limits.
Semantic caching deduplicates near-identical prompts. Automatic fallback when the primary refuses.
Every call captured with tokens and dollar cost. Feeds Treasury, Router, and Reports directly.
統治するもの。
ひとつのURLで、あらゆるモデル。Anthropic、OpenAI、Groq、Mistral、OpenRouter、ローカル。それらすべてで同じSDK。
チームごと、またはプロジェクトごとのキー。それぞれに月次上限、レート制限、アクセスポリシーを設定。
同一のリクエストには保存済みの回答を返し、削減額は元の呼び出しから算出します。保存済みの回答が誤りになりうるものはキャッシュしません。temperature が 0 より大きい、top_p が 1 未満、n が 1 より大きい、ツール呼び出しがある場合です。
プライマリが拒否またはレート制限すると、設定したフォールバックモデルがリクエストをシームレスに継続。
すべての呼び出しを、トークンとドルコストとともに捕捉。Treasury、Router、Reports に直接供給。
Gateway を使うのは誰か。
- ·共有AIインフラを運用するプラットフォームチーム
- ·マルチプロバイダーのAI組織
- ·コストに敏感なエンジニアリングチーム
Treasury の他のツールと組み合わせて使えます。
Gateway をあなたのスタックに加えませんか?
現在、デザインパートナーをオンボーディング中です。ウェイトリストに登録して Gateway のコホートに参加しましょう。
メールアドレスだけで登録できます。 Gateway が公開されたら、メールを1通だけお送りします。それ以外は何も送りません。