# SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/seed-self-evolving-on-policy-distillation-for-agentic-reinforcement-lear
- Fuente primaria: https://arxiv.org/html/2607.14777v1
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Jinyang Wu, Shuo Yang, Zhengxi Lu, Fan Zhang, Yuhao Shen, Lang Feng, Haoran Luo, Zheng Lian, Shuai Zhang, Zhengqi Wen, Jianhua Tao
- Fecha del corte: 16 JULIO 2026.
- Área: AGENTES · SEGURIDAD

## Tesis y contexto

Convierte las propias trayectorias completadas por un agente en «skills» retrospectivas expresadas en lenguaje natural. Esas habilidades resumen workflows reutilizables, observaciones decisivas y reglas para evitar fallos; después se destila su efecto de vuelta a la política mediante una señal densa a nivel de token.

- Problema: El RL basado únicamente en éxito o fracaso final ofrece muy poca información sobre qué decisiones intermedias fueron buenas.
- Por qué importa: Es una dirección muy potente para agentes autoevolutivos: ejecutar → analizar experiencia → extraer skill → incorporar comportamiento → volver a ejecutar, sin depender exclusivamente de datasets humanos estáticos.

## Evidencia reportada

- **reported-result**: Seed consistently outperforms outcome-only RL through dense supervision. [localizador](https://arxiv.org/html/2607.14777#S4)
- **reported-result**: Relative to GRPO, Seed improves the ALFWorld macro-average by 14.9-45.9 points, Search-based QA by 1.4-9.3 points, the WebShop task-completion score by 8.7-19.8 points, and the success rate by 5.5-39.0 points across the three backbones. [localizador](https://arxiv.org/html/2607.14777#S4)
- **reported-result**: Compared with Skill-GRPO, which conditions exploration on natural-language skills but still broadcasts a single terminal-reward-derived advantage to all valid tokens, Seed further improves the ALFWorld average by 26.6-70.9 points, Search-based QA by 1.8-11.6 points, the WebShop score by 9.3-13.7 points, and the success rate by 6.2-31.2 points. [localizador](https://arxiv.org/html/2607.14777#S4)
- **reported-result**: These consistent improvements over both GRPO and Skill-GRPO demonstrate that dense token-level hindsight supervision provides more effective credit assignment than outcome-only optimization, leading to substantially stronger performance across long-horizon agentic tasks. [localizador](https://arxiv.org/html/2607.14777#S4)

## Lectura y límite

- Método: La lectura de 3 Method describe la intervención y su construcción: We present Seed , a self-evolving OPD framework for agentic RL. Seed is motivated by the observation that completed agent trajectories contain rich hindsight information: even when reward is sparse, a full trajectory often reveals useful behavioral patterns, failure causes, and reusable strategies that are not directly available at intermediate decision steps. Seed converts such hindsight information into hindsight skills and distills their behavioral effect back into the ordinary policy. As shown in Figure 2 , Seed has two training stages. First, hindsight-skill supervised fine-tuning (SFT) equips a single…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiment.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Training efficiency is another practical constraint. Seed adds no deployment overhead, but training requires trajectory analysis and paired scoring under ordinary and skill-augmented contexts. The cost grows with interaction length and multimodal context. Speculative decoding methods such as Double ( 36 ) and DSpark ( 5 ) could reduce the autoregressive cost of rollout collection and skill generation. Cached representations and batched paired scoring…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiment.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/html/2607.14777v1): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.14777): tipo abstract
- [Método · 3 Method](https://arxiv.org/html/2607.14777#S3): tipo section
- [Evaluación · 4 Experiment](https://arxiv.org/html/2607.14777#S4): tipo section
- [Cierre · 5 Conclusion](https://arxiv.org/html/2607.14777#S5): tipo section
- [HTML · fuente navegable](https://arxiv.org/abs/2607.14777v1): tipo abstract

## Próxima prueba

- ¿La propuesta mejora agentes web frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [jinyangwu/ Seed](https://github.com/jinyangwu/SEED)
- [Project Page](https://jinyangwu.github.io/seed)
- [Model](https://huggingface.co/Jinyang23/Seed-AlfWorld-3B)
- [https://github.com/mpSchrader/gym-sokoban](https://github.com/mpSchrader/gym-sokoban)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)