Un workflow con 20 escenarios reales, una rúbrica explícita y un informe que se pueda repetir tras cada cambio.
Qué problema reúne
Un entorno para convertir cada agente en un sistema evaluable: escenarios, trazas, coste, seguridad, abstención y decisión de release.
Equipos de producto que tienen demos convincentes, pero no un criterio repetible para decidir si un agente está listo.
Qué merece desarrollar
La hipótesis no pide otro resumen: pide un artefacto que conecte señales, decisiones y resultados en un proceso observable.
Un benchmark desconectado del trabajo real puede producir puntuaciones bonitas y decisiones equivocadas.
Cómo la llevaría a una primera prueba
- Elegir un único workflow real y una decisión cuyo resultado pueda observarse.
- Fijar antes de construir la métrica, el baseline, el coste aceptable y el permiso de intervención.
- Registrar fuentes, trazas, errores, abstenciones y correcciones humanas; la salida no es válida sin esa evidencia.
- Parar si la mejora no compensa la latencia, la complejidad o la superficie de riesgo, y devolver la señal al archivo.
Qué todavía no sabemos
Un benchmark desconectado del trabajo real puede producir puntuaciones bonitas y decisiones equivocadas. La combinación de papers sugiere una dirección, pero no demuestra transferencia a una empresa ni una ventaja de producto.