# Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/zone-of-proximal-policy-optimization-teacher-in-prompts-not-gradients
- Fuente primaria: https://arxiv.org/abs/2606.18216
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Byung-Kwan Lee, Ximing Lu, Shizhe Diao, Minki Kang, Saurav Muralidharan, Karan Sapra, Andrew Tao, Pavlo Molchanov, Yejin Choi, Yu-Chiang Frank Wang, Ryo Hachiuma
- Fecha del corte: 16 JUNIO 2026.
- Área: SEGURIDAD

## Tesis y contexto

Mantiene la respuesta de un profesor fuerte dentro del prompt, no dentro del gradiente, para evitar drift en RL/distillation.

- Problema: Cuando todos los rollouts fallan, inyectar respuestas de profesor en el gradiente rompe supuestos on-policy.
- Por qué importa: Es relevante para entrenar modelos pequeños con ayuda de modelos grandes sin contaminar la señal RL.

## Evidencia reportada

- **reported-result**: Adding the buffer to either distillation or GRPO yields only marginal Avg gains in Tab. [localizador](https://arxiv.org/html/2606.18216#S4)
- **reported-result**: (iii) ZPPO improves the macro average at every scale and benchmark family. [localizador](https://arxiv.org/html/2606.18216#S4)
- **reported-result**: 2 , with the largest gains where the small-student gap is widest. [localizador](https://arxiv.org/html/2606.18216#S4)
- **reported-result**: The buffer-isolated ZPPO - GRPO † macro-average gain is robust to benchmark resampling, as quantified by the cluster bootstrap of Appendix F.6 (Tab. [localizador](https://arxiv.org/html/2606.18216#S4)

## Lectura y límite

- Método: La lectura de 2 Related Work describe la intervención y su construcción: Three lines of work bear on ZPPO. Knowledge distillation —whether off-policy, on-policy, or self-distillation [ 22 , 51 , 2 , 86 , 138 , 109 ] —shares a single training signal, a logit distribution the student must match, which recent analyses show becomes brittle when the student is much smaller than the teacher, inducing memorization and mode-seeking [ 44 , 77 , 112 ] . RL post-training with rule-based rewards on PPO and group-relative variants [ 106 , 108 , 132 , 25 ] has advanced reasoning, but leaves the small-student failure mode where every rollout fails and the group advantage is zero [ 132 ]…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Distillation directly imitates teacher logits and teacher prefix-injection RL splices teacher tokens into the policy gradient, breaking the on-policy assumption and weakening generalization at small student scales. ZPPO answers our research question by keeping the teacher only inside the prompt, so the student’s gradient stays on its own rollouts while still benefiting from teacher knowledge. The flip side is a structural ceiling: questions on which both…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.18216): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.18216): tipo abstract
- [Método · 2 Related Work](https://arxiv.org/html/2606.18216#S2): tipo section
- [Evaluación · 4 Experiments](https://arxiv.org/html/2606.18216#S4): tipo section
- [Cierre · 5 Conclusion](https://arxiv.org/html/2606.18216#S5): tipo section

## Próxima prueba

- ¿La propuesta mejora SLMs frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/Deep-Agent/R1-V](https://github.com/Deep-Agent/R1-V)
- [https://huggingface.co/datasets/zlab-princeton/Vero-600k](https://huggingface.co/datasets/zlab-princeton/Vero-600k)
- [https://huggingface.co/datasets/OpenDataArena/MMFineReason-SFT-586K-Qwen3-VL-235…](https://huggingface.co/datasets/OpenDataArena/MMFineReason-SFT-586K-Qwen3-VL-235B-Thinking)
- [the following issues](https://github.com/arXiv/html_feedback/issues)

## Enlaces relacionados

- [NiyamAI](https://luiseduardodemiguel.com/research-ia/markdown/papers/niyamai)
- [MNC](https://luiseduardodemiguel.com/research-ia/markdown/papers/mnc)
- [Mechanism Design for Generative Engine](https://luiseduardodemiguel.com/research-ia/markdown/papers/mechanism-design-generative-engines)