# RODS: Reward-Driven Online Data Synthesis for Multi-Turn Tool-Use Agents
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/rods-reward-driven-online-data-synthesis-for-multi-turn-tool-use-agents
- Fuente primaria: https://arxiv.org/abs/2606.19047
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Ruishan Fang, Siyuan Lu, Chenyi Zhuang, Tao Lin
- Fecha del corte: 17 JUNIO 2026.
- Área: AGENTES · EVALUACIÓN

## Tesis y contexto

Genera datos online para entrenamiento RL de agentes tool-use, identificando muestras cerca del límite de capacidad mediante varianza de recompensa.

- Problema: Los datasets estáticos se agotan rápido: dejan de aportar gradiente útil.
- Por qué importa: Señala una vía para entrenar agentes con muchos menos ejemplos; reporta rendimiento comparable a una tubería offline de 17K muestras usando unas 20 veces menos trayectorias.

## Evidencia reportada

- **reported-result**: On the Qwen3-4B-Instruct base model, RODS improves overall multi-turn performance by +33.87% (reaching 56.00%), surpassing both the “Static dataset” baseline (50.00%) and the EnvTuning baseline (50.50%). [localizador](https://arxiv.org/html/2606.19047#S4)
- **reported-result**: The gains are consistent across all four sub-splits, indicating that boundary targeting benefits diverse task complexities rather than overfitting to a specific category. [localizador](https://arxiv.org/html/2606.19047#S4)
- **reported-result**: RODS achieves comparable performance to large-scale offline synthesis (FunReason-MT-4B) while using roughly 20\times fewer trajectories. [localizador](https://arxiv.org/html/2606.19047#S4)
- **reported-result**: Furthermore, it improves over fixed-data RL and environment augmentation in our reported runs under the same 400-sample controlled setup. [localizador](https://arxiv.org/html/2606.19047#S4)

## Lectura y límite

- Método: La lectura de 2 Related Work describe la intervención y su construcción: Although high-quality human-annotated benchmarks ( 9 , 34 , 3 , 4 , 31 , 16 ) provide rigorous evaluation protocols for multi-turn tool use, their limited scale of typically hundreds of instances is insufficient for training reliable agentic policies. This data scarcity has prompted a shift toward large-scale offline synthesis. Frameworks such as APIGen-MT ( 21 ) , TOUCAN ( 33 ) , and Magnet ( 35 ) prioritize corpus scale and structural complexity, often generating millions of trajectories upfront. While effective for pre-training, these static pipelines remain decoupled from the training process, producing…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: w/ static pool (no dynamic refresh): We generate variants once at the beginning of Stage 3 and freeze the pool thereafter. No new variants are synthesized as training progresses.
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.19047): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.19047): tipo abstract
- [Método · 2 Related Work](https://arxiv.org/html/2606.19047#S2): tipo section
- [Evaluación · 4 Experiments](https://arxiv.org/html/2606.19047#S4): tipo section
- [Cierre · 5 Conclusion](https://arxiv.org/html/2606.19047#S5): tipo section

## Próxima prueba

- ¿La propuesta mejora agentes con APIs frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [Model](https://huggingface.co/RuishanFang/Qwen3-4B-RODS)
- [AWorld-RL/RODS](https://github.com/inclusionAI/AWorld-RL/tree/main/RODS)
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)