Replay.
Belegen Sie eine Änderung an echtem Traffic, bevor Sie umstellen.
Replay beantwortet die Frage, die eine Konfigurationsänderung wirklich aufwirft: Hält das bei unserer Arbeit stand? Live-Calls werden an die Alternative gespiegelt, ein Judge bewertet beide Antworten direkt gegeneinander, und Sie sehen Kostendifferenz und Signifikanztest. Gespeicherte Prompts werden NICHT wiedergegeben, denn Yardstick speichert Token-Zahlen und nie die Anfrage selbst. Diese Datenschutzposition ist mehr wert als das Feature es gewesen wäre.
Record, replay, compare.
Yardstick keeps your agent's full run history.
Re-run it against a new prompt, model, or configuration.
Ship the change only when the counterfactual wins.
Was es misst.
Jeder Vergleich ist eine echte Anfrage, die Ihr Agent gerade gestellt hat, an beide Seiten gesendet. Keine synthetischen Prompts, keine gespeicherte Historie.
Pro Arm ändert sich genau eine Sache. Alles andere an der Anfrage ist Byte-identisch, und genau das macht das Paar vergleichbar.
Ein LLM-Judge bewertet beide Antworten, in beiden Reihenfolgen, damit nicht die Position den Sieger bestimmt.
Ein Vorzeichentest auf den gepaarten Urteilen, damit 8:4 als der Münzwurf ausgewiesen wird, der es ist.
Spiegeln kostet Ihr Provider-Guthaben. Was der Vergleich gekostet hat, steht auf der Seite und nicht im Kleingedruckten.
Wer zu Replay greift.
- ·Teams, die an Prompts iterieren
- ·Agenten-Entwickler, die Konfigurationen optimieren
- ·Teams, die Agenten-Updates ausliefern
Passt zum Rest von Observe.
Sie möchten Replay in Ihrem Stack?
Wir onboarden gerade Design-Partner. Tragen Sie sich in die Warteliste ein, um in der Replay-Kohorte zu sein.
Nur die E-Mail ist erforderlich. Eine E-Mail, wenn Replay live geht. Sonst nichts.