提供中
Replay.
切り替える前に、実トラフィックで変更を検証。
Replay は設定変更が本当に投げかける問いに答えます。「自分たちの仕事で通用するのか」です。ライブの呼び出しを代替側にミラーリングし、ジャッジが両方の回答を直接比較して採点し、コスト差と有意差検定を返します。保存されたプロンプトの再生は行いません。Yardstick はトークン数のみを保持し、リクエスト自体は決して保存しないからです。この方針は機能そのものより価値があります。
18% cheaper
Replay · counterfactual$/PR
Current · gpt-4o$0.042
Alternate · haiku & verify$0.034
Same acceptance, −18% spend.
312 runs replayed
仕組み
Record, replay, compare.
01
Record
Yardstick keeps your agent's full run history.
02
Replay
Re-run it against a new prompt, model, or configuration.
03
Compare
Ship the change only when the counterfactual wins.
測定する項目
測定するもの。
01
ミラーされたライブトラフィック
すべての比較は、エージェントが実際に送ったリクエストを両方に送ったものです。合成プロンプトも保存履歴もありません。
02
モデル、プロンプト、設定のアーム
1つのアームで変えるのは1つだけ。リクエストの他の部分はバイト単位で同一で、それがペアを比較可能にします。
03
直接対決で採点
LLM ジャッジが両方の回答を、提示順を入れ替えた両方向で採点するため、位置バイアスが勝者を決めることはありません。
04
有意差で勝者を判定
対応のある判定に符号検定を適用するので、8対4はそのままコイン投げとして報告されます。
05
実験自体のコストも表示
ミラーリングはあなたのプロバイダー費用を使います。比較にいくらかかったかはページに明示され、隠されません。
対象となる人
Replay を使うのは誰か。
- ·プロンプトを反復改善するチーム
- ·設定をチューニングするエージェントビルダー
- ·エージェントのアップデートを投入するチーム
同じスイート
Observe の他のツールと組み合わせて使えます。
Replay をあなたのスタックに加えませんか?
現在、デザインパートナーをオンボーディング中です。ウェイトリストに登録して Replay のコホートに参加しましょう。
メールアドレスだけで登録できます。 Replay が公開されたら、メールを1通だけお送りします。それ以外は何も送りません。