Replay.
Demuestra un cambio con tu tráfico real antes de cambiar.
Replay responde a la pregunta que plantea de verdad un cambio de configuración: ¿aguantaría con nuestro trabajo? Duplica llamadas en vivo hacia la alternativa, un juez puntúa ambas respuestas cara a cara y verás la diferencia de coste y una prueba de significación. NO reproduce prompts almacenados, porque Yardstick guarda recuentos de tokens y nunca la petición en sí, una posición de privacidad que vale más que la función.
Record, replay, compare.
Yardstick keeps your agent's full run history.
Re-run it against a new prompt, model, or configuration.
Ship the change only when the counterfactual wins.
Lo que mide.
Cada comparación es una petición real que tu agente acaba de hacer, enviada a ambos lados. Sin prompts sintéticos ni historial almacenado.
Cada brazo cambia una sola cosa. Todo lo demás de la petición es idéntico byte a byte, y eso es lo que hace comparable el par.
Un juez LLM puntúa ambas respuestas, en los dos órdenes de presentación, para que el sesgo de posición no elija al ganador.
Una prueba de signos sobre los veredictos emparejados, para que un 8-4 se informe como el azar que es.
Duplicar gasta tu dinero de proveedor. Lo que costó la comparación está en la página, no escondido.
Quién recurre a Replay.
- ·Equipos que iteran sobre prompts
- ·Creadores de agentes que ajustan configuraciones
- ·Equipos que lanzan actualizaciones de agentes
Combina con el resto de Observe.
¿Quieres Replay en tu stack?
Estamos incorporando socios de diseño ahora. Únete a la lista de espera para estar en la cohorte de Replay.
Solo el correo es obligatorio. Un solo correo cuando Replay se lance. Nada más.