提供中
Arena.
本番に触れる前に、エージェントが機能することを証明。
Arena は実証の場です。本番、実際の顧客、実際のコードに触れる前に、厳選されたシナリオスイートに対してエージェントを実行します。Replay はあなた自身の履歴に対してテストし、Arena はまだ遭遇していない状況に対してテストします。
1,284 duels
Arena · head-to-headwin rate
Claude62%
GPT-4o38%
Judged on real merged outcomes.
✓ winner: Claude
仕組み
Curate, run, gate.
01
Curate
Build scenario suites per vertical, or record real incidents.
02
Run
Score every agent version against the suite.
03
Gate
Block the deploy until it clears, wired into CI.
測定する項目
測定するもの。
01
あなたのシナリオ、あなたの基準
まだ遭遇していない状況、たとえば敵対的なチケット、壊れたリポジトリ、攻撃的なプロンプト。それぞれに「正しい回答が満たすべきこと」をあなたの言葉で書き、それが採点基準になります。
02
デプロイゲート
エージェントがスイートを通過するまでリリースをブロック。他のテストと同じように CI に組み込めます。
03
カスタムシナリオ
実際のインシデントを一度記録すれば、以降すべてのバージョンに対して永久に再生。
04
スコア履歴
すべての実行をバージョン管理。バージョンをまたいで能力の向上とリグレッションの出現を観察。
対象となる人
Arena を使うのは誰か。
- ·初めてのエージェントを投入するチーム
- ·eval スコアでデプロイを制御する運用者
- ·社内エージェントを認証するプラットフォーム
同じスイート
Observe の他のツールと組み合わせて使えます。
Arena をあなたのスタックに加えませんか?
現在、デザインパートナーをオンボーディング中です。ウェイトリストに登録して Arena のコホートに参加しましょう。
メールアドレスだけで登録できます。 Arena が公開されたら、メールを1通だけお送りします。それ以外は何も送りません。