Lo esencial antes de invertir más tiempo.
Mejora RL de agentes asignando crédito por rol semántico de cada segmento: progreso decisivo, exploración útil, infraestructura sin progreso o regresión. Supera GRPO en ALFWorld, Search-QA y WebShop y reduce turnos de entorno en rollouts completados.
With the default Qwen3-8B-thinking judge, TRIAGE improves over GRPO on all three benchmarks for both policies, with the largest gains on ALFWorld and WebShop—the two audited environments with the highest regression mass (48% and 43%; Appendix G ).
Resultado reportado con fuente enlazada · 5 localizadores disponibles.La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.
Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
Mejora RL de agentes asignando crédito por rol semántico de cada segmento: progreso decisivo, exploración útil, infraestructura sin progreso o regresión. Supera GRPO en ALFWorld, Search-QA y WebShop y reduce turnos de entorno en rollouts completados.
Qué está reportado y qué conviene comprobar.
With the default Qwen3-8B-thinking judge, TRIAGE improves over GRPO on all three benchmarks for both policies, with the largest gains on ALFWorld and WebShop—the two audited environments with the highest regression mass (48% and 43%; Appendix G ).
8B · contexto: 5 Experiments
The Search-QA gain is smaller but consistent, matching its more exploration-dominated, lower-regression profile.
contexto: 5 Experiments
Substituting the Qwen3-8B no-think judge—which collapses on the R -in-success cell (Table 4 )—drives TRIAGE below the GRPO baseline on ALFWorld and WebShop for both policies, confirming that the gains stem from accurate role typing and not from the extra reward term alone.
8B · baseline: Comparación declarada en la sección de evaluación · contexto: 5 Experiments
Table 5 situates TRIAGE against stronger credit-assignment baselines reproduced under an identical protocol: PPO with a learned critic, GiGPO, which assigns step-level credit by grouping actions from recurring states ( 5 ) , and a shared-backbone value baseline that learns a dense per-segment signal from the same verifier rewards.
baseline: Comparación declarada en la sección de evaluación · contexto: 5 Experiments
Qué estudiaron y qué cambia.
La síntesis está separada de los resultados reportados y de las inferencias.PROBLEMA / La señal entra en el radar porque usar solo éxito/fallo final castiga exploración útil y premia pasos redundantes.
MÉTODO / La lectura de 2 Problem Setup: Segment Credit in Agentic RL describe la intervención y su construcción: Given a task prompt x , GRPO samples G trajectories, scores each with a verifier r_{i}=V(\tau_{i})\in\{0,1\} , and assigns the group-normalized advantage A_{i}^{\mathrm{GRPO}}=(r_{i}-\bar{r})/(\sigma_{r}+\epsilon) uniformly to every token in the trajectory. Some environment logs report raw success rewards on a different scale, such as 10 for success and 0 for failure; throughout training and in all equations, we binarize these raw rewards to r_{i}\in\{0,1\} . An agentic trajectory \tau_{i}=(a_{i,1},o_{i,1},\ldots,a_{i,K_{i}},o_{i,K_{i}}) consists of environment-facing action segments a_{i,k} and their resulting… [Fuente: https://arxiv.org/html/2606.32017#S2]
RESULTADO / La sección 5 Experiments informa: With the default Qwen3-8B-thinking judge, TRIAGE improves over GRPO on all three benchmarks for both policies, with the largest gains on ALFWorld and WebShop—the two audited environments with the highest regression mass (48% and 43%; Appendix G ). The Search-QA gain is smaller but consistent, matching its more exploration-dominated, lower-regression profile. Substituting the Qwen3-8B no-think judge—which collapses on the R -in-success cell (Table 4 )—drives TRIAGE below the GRPO baseline on ALFWorld and WebShop for both policies, confirming that the gains stem from accurate role typing and not from the extra reward term alone. [Fuente: https://arxiv.org/html/2606.32017#S5]
LÍMITE / El cierre de la fuente señala: Finally, the discrete four-role label is only the first layer of role-aware judging. On harder tasks or stronger base agents, obvious loops, wrong purchases, and repeated inspections become rare, and the credit problem shifts from detecting coarse failures to estimating how much each segment advances the task or belief state. In that regime the same framework can use a stronger judge to assign finer-grained process rewards within each role rather than a… La transferencia a agentes web requiere repetir la comparación con datos y criterios propios [Fuente: https://arxiv.org/html/2606.32017#S6].
La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.
- PROBLEMA
- Usar solo éxito/fallo final castiga exploración útil y premia pasos redundantes.
- MÉTODO
- La lectura de 2 Problem Setup: Segment Credit in Agentic RL describe la intervención y su construcción: Given a task prompt x , GRPO samples G trajectories, scores each with a verifier r_{i}=V(\tau_{i})\in\{0,1\} , and assigns the group-normalized advantage A_{i}^{\mathrm{GRPO}}=(r_{i}-\bar{r})/(\sigma_{r}+\epsilon) uniformly to every token in the trajectory. Some environment logs report raw success rewards on a different scale, such as 10 for success and 0 for failure; throughout training and in all equations, we binarize these raw rewards to r_{i}\in\{0,1\} . An agentic trajectory \tau_{i}=(a_{i,1},o_{i,1},\ldots,a_{i,K_{i}},o_{i,K_{i}}) consists of environment-facing action segments a_{i,k} and their resulting…
- TIPO DE EVIDENCIA
- La sección 5 Experiments informa 4 hallazgo(s) extraído(s) desde la fuente. El resultado principal se conserva con el localizador de sección https://arxiv.org/html/2606.32017#S5.
- LÍMITE
- La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.
La lectura también deja rastro.
Guarda una observación junto a la evidencia. Tú escribes aquí; los agentes pueden añadir notas por MCP y aparecerán identificados.
LECTURA AMPLIADAMetodología, implicaciones y preguntas para volver al paper.+
La lectura de 2 Problem Setup: Segment Credit in Agentic RL describe la intervención y su construcción: Given a task prompt x , GRPO samples G trajectories, scores each with a verifier r_{i}=V(\tau_{i})\in\{0,1\} , and assigns the group-normalized advantage A_{i}^{\mathrm{GRPO}}=(r_{i}-\bar{r})/(\sigma_{r}+\epsilon) uniformly to every token in the trajectory. Some environment logs report raw success rewards on a different scale, such as 10 for success and 0 for failure; throughout training and in all equations, we binarize these raw rewards to r_{i}\in\{0,1\} . An agentic trajectory \tau_{i}=(a_{i,1},o_{i,1},\ldots,a_{i,K_{i}},o_{i,K_{i}}) consists of environment-facing action segments a_{i,k} and their resulting…
Apunta a agentes más baratos, más estables y con aprendizaje de trayectorias más fino.
La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.
Cómo lo llevaría a un proyecto
Probar la propuesta en agentes web reproduciendo primero la comparación y registrando calidad, coste, latencia y errores.
Preguntas que conviene probar
- ¿La mejora se mantiene cuando agentes web cambia de dominio o distribución?
- ¿Qué componente del método explica la mayor parte del resultado y qué baseline lo pone realmente a prueba?
Si tuviera que convertirlo en una prueba mañana.
Mi lectura
La pregunta operativa es si agentes web puede medirse con una línea base y un criterio de parada claros.
Esta última frase es una inferencia editorial a partir del paper y de sus posibles implicaciones; no es una afirmación de los autores.