Replay.
Prouvez un changement sur votre trafic réel avant de basculer.
Replay répond à la vraie question posée par un changement de configuration : est-ce que cela tiendrait sur notre travail ? Les appels en direct sont dupliqués vers l'alternative, un juge note les deux réponses face à face, et vous obtenez l'écart de coût et un test de significativité. Les prompts stockés ne sont PAS rejoués, car Yardstick conserve des compteurs de tokens et jamais la requête elle-même, une position de confidentialité qui vaut plus que la fonctionnalité.
Record, replay, compare.
Yardstick keeps your agent's full run history.
Re-run it against a new prompt, model, or configuration.
Ship the change only when the counterfactual wins.
Ce qu'il mesure.
Chaque comparaison est une requête réelle que votre agent vient d'émettre, envoyée aux deux côtés. Aucun prompt synthétique, aucun historique stocké.
Un seul élément change par bras. Tout le reste de la requête est identique octet pour octet, et c'est ce qui rend la paire comparable.
Un juge LLM note les deux réponses, dans les deux ordres de présentation, pour que le biais de position ne désigne pas le gagnant.
Un test des signes sur les verdicts appariés, pour qu'un 8-4 soit présenté comme le hasard qu'il est.
La duplication dépense l'argent de votre fournisseur. Ce que la comparaison a coûté est sur la page, pas enfoui.
Qui se tourne vers Replay.
- ·Équipes qui itèrent sur les prompts
- ·Créateurs d'agents qui ajustent les configurations
- ·Équipes qui livrent des mises à jour d'agents
S'associe au reste de Observe.
Vous voulez Replay dans votre stack ?
Nous intégrons des partenaires de conception en ce moment. Rejoignez la liste d'attente pour faire partie de la cohorte Replay.
Seul l'e-mail est requis. Un seul e-mail quand Replay sera en ligne. Rien d'autre.