Gateway.
모든 모델을 위한 하나의 엔드포인트. 예산, 캐싱, 폴백 내장.
Gateway는 범용 모델 프록시입니다. 모든 LLM 호출을 하나의 엔드포인트로 라우팅하고, 가상 키에 예산과 속도 제한을 붙이며, 응답을 시맨틱 유사도로 캐싱하고, 주 공급사가 다운되거나 예산을 초과하거나 거부할 때 더 저렴하거나 대체 공급사로 폴백합니다. 모든 요청이 공급사별 SDK 없이 Treasury, Router, Reports에 들어가는 완벽한 비용 기록이 됩니다.
Route, cache, account.
One endpoint fronts every provider. Issue virtual keys with per-team budgets and rate limits.
Semantic caching deduplicates near-identical prompts. Automatic fallback when the primary refuses.
Every call captured with tokens and dollar cost. Feeds Treasury, Router, and Reports directly.
무엇을 통제하는가.
하나의 URL, 모든 모델. Anthropic, OpenAI, Groq, Mistral, OpenRouter, 로컬. 그 전부에 같은 SDK.
팀별 또는 프로젝트별 키, 각각 자체 월 한도, 속도 제한, 액세스 정책을 가집니다.
동일한 요청에는 저장된 응답을 반환하고, 절감액은 원래 호출을 기준으로 계산합니다. 저장된 응답이 틀릴 수 있는 경우는 캐시하지 않습니다. temperature가 0보다 크거나, top_p가 1 미만이거나, n이 1보다 크거나, 도구 호출이 있는 경우입니다.
주 공급사가 거부하거나 속도 제한을 걸면, 설정된 폴백 모델이 요청을 매끄럽게 이어갑니다.
모든 호출을 토큰과 달러 비용과 함께 포착합니다. Treasury, Router, Reports로 직접 들어갑니다.
누가 Gateway을 찾는가.
- ·공유 AI 인프라를 운영하는 플랫폼 팀
- ·멀티 공급사 AI 조직
- ·비용에 민감한 엔지니어링 팀
Treasury의 나머지와 함께 씁니다.
Gateway을 당신의 스택에 두고 싶으신가요?
지금 디자인 파트너를 온보딩하고 있습니다. Gateway 코호트에 들어오려면 대기자 명단에 등록하세요.
이메일만 입력하면 됩니다. Gateway이 출시되면 이메일 한 통만. 그 외에는 없습니다.