Disponible

Arena.

Prouvez qu'un agent fonctionne avant qu'il ne touche la production.

Arena est le terrain d'épreuve. Faites tourner les agents contre des suites de scénarios soignées avant qu'ils ne touchent la production, de vrais clients ou du vrai code. Replay teste contre votre propre historique ; Arena teste contre les situations que vous n'avez pas encore rencontrées.

1,284 duels
Arena · head-to-headwin rate
Claude62%
GPT-4o38%
Judged on real merged outcomes.
winner: Claude
Comment ça marche

Curate, run, gate.

01
Curate

Build scenario suites per vertical, or record real incidents.

02
Run

Score every agent version against the suite.

03
Gate

Block the deploy until it clears, wired into CI.

Les mesures

Ce qu'il mesure.

01
Vos scénarios, votre référence

Les situations que vous n'avez pas encore rencontrées : tickets hostiles, dépôts malformés, prompts adverses. Chacun porte, dans vos mots, ce qu'une bonne réponse doit faire, et c'est cela qui est noté.

02
Barrières de déploiement

Bloquez une release jusqu'à ce que l'agent passe sa suite. Branchez-la dans la CI comme n'importe quel autre test.

03
Scénarios personnalisés

Enregistrez un incident réel une fois, rejouez-le contre chaque version future pour toujours.

04
Historique des scores

Chaque exécution versionnée. Observez la capacité monter et les régressions apparaître au fil des versions.

À qui ça s'adresse

Qui se tourne vers Arena.

  • ·Équipes qui livrent leur premier agent
  • ·Opérateurs qui conditionnent les déploiements aux scores d'éval
  • ·Plateformes qui certifient des agents internes
Même suite

S'associe au reste de Observe.

Vous voulez Arena dans votre stack ?

Nous intégrons des partenaires de conception en ce moment. Rejoignez la liste d'attente pour faire partie de la cohorte Arena.

Seul l'e-mail est requis. Un seul e-mail quand Arena sera en ligne. Rien d'autre.