Replay.
전환하기 전에, 실제 트래픽으로 변경을 검증하세요.
Replay는 설정 변경이 실제로 던지는 질문에 답합니다. 우리 업무에서도 통할까 하는 질문입니다. 라이브 호출을 대안 쪽으로 미러링하고, 심판이 두 답변을 맞대어 채점하며, 비용 차이와 유의성 검정을 함께 보여줍니다. 저장된 프롬프트를 재생하지는 않습니다. Yardstick은 토큰 수만 보관하고 요청 자체는 절대 저장하지 않으며, 이 원칙은 그 기능보다 가치가 큽니다.
Record, replay, compare.
Yardstick keeps your agent's full run history.
Re-run it against a new prompt, model, or configuration.
Ship the change only when the counterfactual wins.
무엇을 측정하는가.
모든 비교는 에이전트가 방금 보낸 실제 요청을 양쪽에 보낸 것입니다. 합성 프롬프트도, 저장된 히스토리도 없습니다.
암 하나당 한 가지만 바꿉니다. 요청의 나머지는 바이트 단위로 동일하며, 그래서 두 결과를 비교할 수 있습니다.
LLM 심판이 두 답변을 제시 순서를 바꿔 양방향으로 채점하므로 위치 편향이 승자를 정하지 못합니다.
짝지은 판정에 부호 검정을 적용해, 8대 4는 우연으로 보고됩니다.
미러링은 당신의 프로바이더 비용을 씁니다. 비교에 든 금액은 페이지에 표시되며 숨기지 않습니다.
누가 Replay을 찾는가.
- ·프롬프트를 반복 개선하는 팀
- ·설정을 튜닝하는 에이전트 빌더
- ·에이전트 업데이트를 출시하는 팀
Observe의 나머지와 함께 씁니다.
Replay을 당신의 스택에 두고 싶으신가요?
지금 디자인 파트너를 온보딩하고 있습니다. Replay 코호트에 들어오려면 대기자 명단에 등록하세요.
이메일만 입력하면 됩니다. Replay이 출시되면 이메일 한 통만. 그 외에는 없습니다.