# Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/zone-of-proximal-policy-optimization-teacher-in-prompts-not-gradients
- Fuente primaria: https://arxiv.org/abs/2606.18216
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Byung-Kwan Lee, Ximing Lu, Shizhe Diao, Minki Kang, Saurav Muralidharan, Karan Sapra, Andrew Tao, Pavlo Molchanov, Yejin Choi, Yu-Chiang Frank Wang, Ryo Hachiuma
- Fecha del corte: 16 JUNIO 2026.
- Área: SEGURIDAD
- Recurso MCP exacto: research://paper/zone-of-proximal-policy-optimization-teacher-in-prompts-not-gradients

## Estado de uso de imagen

- Estado: NO REPRODUCIDA
- Decisión editorial: La ficha no incrusta una figura primaria porque su licencia o permiso específico no consta en el registro editorial. La fuente permanece enlazada para comprobarla.
- [Comprobar fuente primaria](https://arxiv.org/abs/2606.18216)

## Tesis y contexto

Mantiene la respuesta de un profesor fuerte dentro del prompt, no dentro del gradiente, para evitar drift en RL/distillation.

- Problema: Cuando todos los rollouts fallan, inyectar respuestas de profesor en el gradiente rompe supuestos on-policy.
- Por qué importa: Es relevante para entrenar modelos pequeños con ayuda de modelos grandes sin contaminar la señal RL.

## Evidencia reportada

- **reported-result**: Adding the buffer to either distillation or GRPO yields only marginal Avg gains in Tab. [localizador](https://arxiv.org/html/2606.18216#S4)
- **reported-result**: (iii) ZPPO improves the macro average at every scale and benchmark family. [localizador](https://arxiv.org/html/2606.18216#S4)
- **reported-result**: 2 , with the largest gains where the small-student gap is widest. [localizador](https://arxiv.org/html/2606.18216#S4)
- **reported-result**: The buffer-isolated ZPPO - GRPO † macro-average gain is robust to benchmark resampling, as quantified by the cluster bootstrap of Appendix F.6 (Tab. [localizador](https://arxiv.org/html/2606.18216#S4)

## Lectura y límite

- Método: La lectura de 2 Related Work describe la intervención y su construcción: Three lines of work bear on ZPPO. Knowledge distillation —whether off-policy, on-policy, or self-distillation [ 22 , 51 , 2 , 86 , 138 , 109 ] —shares a single training signal, a logit distribution the student must match, which recent analyses show becomes brittle when the student is much smaller than the teacher, inducing memorization and mode-seeking [ 44 , 77 , 112 ] . RL post-training with rule-based rewards on PPO and group-relative variants [ 106 , 108 , 132 , 25 ] has advanced reasoning, but leaves the small-student failure mode where every rollout fails and the group advantage is zero [ 132 ]…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Distillation directly imitates teacher logits and teacher prefix-injection RL splices teacher tokens into the policy gradient, breaking the on-policy assumption and weakening generalization at small student scales. ZPPO answers our research question by keeping the teacher only inside the prompt, so the student’s gradient stays on its own rollouts while still benefiting from teacher knowledge. The flip side is a structural ceiling: questions on which both…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.

## Base de la confianza editorial

> Juicio editorial sobre la transferibilidad de esta lectura; no mide calidad académica ni efecto local.

| Criterio | Estado | Base observable |
|---|---|---|
| FUENTE PRIMARIA | DOCUMENTADO | Lectura primaria completa registrada sobre v1; comprobación: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente. |
| RÉPLICA LOCAL | PENDIENTE | No se ha registrado una réplica independiente en este sitio. El código o los datos enlazados, cuando existen, no cuentan como réplica. |
| LÍMITES | DOCUMENTADO | 3 límites declarados en la ficha. |
| APLICABILIDAD | ACOTADO | Hay una prueba de transferencia con entrada, métrica y parada; su resultado local todavía no se ha observado. |

- Regla editorial: Los criterios no se promedian automáticamente. Una fuente leída, un límite claro o un protocolo propuesto no equivalen a una réplica ni a un resultado local.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.18216): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.18216): tipo abstract
- [Método · 2 Related Work](https://arxiv.org/html/2606.18216#S2): tipo section
- [Evaluación · 4 Experiments](https://arxiv.org/html/2606.18216#S4): tipo section
- [Cierre · 5 Conclusion](https://arxiv.org/html/2606.18216#S5): tipo section

## Próxima prueba

- ¿La propuesta mejora SLMs frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/Deep-Agent/R1-V](https://github.com/Deep-Agent/R1-V)
- [https://huggingface.co/datasets/zlab-princeton/Vero-600k](https://huggingface.co/datasets/zlab-princeton/Vero-600k)
- [https://huggingface.co/datasets/OpenDataArena/MMFineReason-SFT-586K-Qwen3-VL-235…](https://huggingface.co/datasets/OpenDataArena/MMFineReason-SFT-586K-Qwen3-VL-235B-Thinking)
- [the following issues](https://github.com/arXiv/html_feedback/issues)

## Enlaces relacionados

- [NiyamAI](https://luiseduardodemiguel.com/research-ia/markdown/papers/niyamai)
- [MNC](https://luiseduardodemiguel.com/research-ia/markdown/papers/mnc)
- [Mechanism Design for Generative Engine](https://luiseduardodemiguel.com/research-ia/markdown/papers/mechanism-design-generative-engines)