Gateway.
一个端点接入所有模型。内置预算、缓存与降级。
Gateway 是通用模型代理。把每一次 LLM 调用都经由一个端点路由，给虚拟密钥附加预算和限流，按语义相似度缓存响应，并在主供应商宕机、超预算或拒绝时降级到更便宜或替代的供应商。每个请求都成为一条完美的成本记录，无需逐供应商 SDK 即可供给 Treasury、Router 和 Reports。
Route, cache, account.
One endpoint fronts every provider. Issue virtual keys with per-team budgets and rate limits.
Semantic caching deduplicates near-identical prompts. Automatic fallback when the primary refuses.
Every call captured with tokens and dollar cost. Feeds Treasury, Router, and Reports directly.
它管控什么。
一个 URL，所有模型：Anthropic、OpenAI、Groq、Mistral、OpenRouter、本地。所有模型共用同一套 SDK。
按团队或按项目的密钥，各自带有月度上限、限流和访问策略。
相同的请求会返回已保存的回答，节省金额按原始调用计价。任何已保存回答可能出错的情况都不缓存：temperature 大于 0、top_p 小于 1、n 大于 1，或存在工具调用。
主模型拒绝或限流时，配置好的降级模型无缝接续该请求。
每次调用都连同 token 和美元成本一并捕获。直接供给 Treasury、Router 和 Reports。
谁会选择 Gateway。
- ·运行共享 AI 基础设施的平台团队
- ·多供应商的 AI 组织
- ·对成本敏感的工程团队
与 Treasury 的其余工具搭配使用。
想把 Gateway 加入你的技术栈?
我们正在招募设计合作伙伴。加入等候名单，进入 Gateway 的合作批次。
只需填写邮箱。 Gateway 上线时只发一封邮件。别无其他。