# LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/longstraw-long-context-rl-beyond-2m-tokens-under-a-fixed-gpu-budget
- Fuente primaria: https://arxiv.org/abs/2607.14952
- Versión leída: v3
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Changhai Zhou, Kieran Liu, Yuhua Zhou, Qian Qiao, Jun Gao, Harry Zhang, Irvine Lu, Nolan Ho, Lucian Li, Andrew Lei, Cleon Cheng, Steven Chiang, Yihang Zeng, Di Zhang, Rio Yang, Kaijie Chen, Andrew Chen, Pony Ma, Weizhong Zhang, Cheng Jin
- Fecha del corte: 16 JULIO 2026.
- Área: AGENTES
- Recurso MCP exacto: research://paper/longstraw-long-context-rl-beyond-2m-tokens-under-a-fixed-gpu-budget

## Estado de uso de imagen

- Estado: NO REPRODUCIDA
- Decisión editorial: La ficha no incrusta una figura primaria porque su licencia o permiso específico no consta en el registro editorial. La fuente permanece enlazada para comprobarla.
- [Comprobar fuente primaria](https://arxiv.org/abs/2607.14952)

## Tesis y contexto

Aborda una asimetría creciente: los modelos pueden inferir con contextos enormes, pero el post-training RL suele quedarse alrededor de contextos mucho menores. LongStraw apunta a entrenar mediante RL sobre secuencias de más de dos millones de tokens manteniendo un presupuesto fijo de GPU.

- Problema: Un agente puede acumular millones de tokens entre documentos, observaciones y tools, pero nunca haber sido realmente entrenado para comportarse en ese régimen.
- Por qué importa: El long-context de agentes podría pasar de ser simplemente «memoria disponible» a una capacidad entrenada explícitamente.

## Evidencia reportada

- **reported-result**: Qwen’s response-only receipt composes the full-attention forward over all CP8 page partitions and all-reduces dQ . [localizador](https://arxiv.org/html/2607.14952#S12)
- **reported-result**: The distributed attention backward all-reduces dQ and returns page-owner dK/dV . [localizador](https://arxiv.org/html/2607.14952#S12)
- **reported-result**: The probe creates one AdamW instance per rank without DDP or a parameter-gradient reducer. [localizador](https://arxiv.org/html/2607.14952#S12)
- **reported-result**: Read vertically, the prefix-only and conditional-response points establish different execution scopes; their lower memory does not imply that a prompt-adapted training graph fits. [localizador](https://arxiv.org/html/2607.14952#S12)

## Lectura y límite

- Método: La lectura de 3 Architecture Anatomy and Bottleneck Sources describe la intervención y su construcción: The two models differ along two independent axes. The feed-forward axis is dense versus MoE. It determines parameter residency, token routing, and the shape of activation buffers. The token-mixing axis is GDN/full attention versus MLA/DSA; it determines retained prompt state and response-time collectives. Model-level labels such as “dense”, “MoE”, or “sparse” hide this separation. Figure 3 opens both decoder stacks at the level needed by the training runtime. The diagram shows counts and ownership rather than implying that the two models share one layer template.
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 12 Evaluation Scope.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Together, these results establish a training-ready path beyond two million tokens under a fixed GPU budget. The next evaluation scales this working transaction across repeated updates and task metrics, while the independent Qwen CP8 replica-finalization check strengthens the companion dense-hybrid path.
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 12 Evaluation Scope.

## Base de la confianza editorial

> Juicio editorial sobre la transferibilidad de esta lectura; no mide calidad académica ni efecto local.

| Criterio | Estado | Base observable |
|---|---|---|
| FUENTE PRIMARIA | DOCUMENTADO | Lectura primaria completa registrada sobre v3; comprobación: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente. |
| RÉPLICA LOCAL | PENDIENTE | No se ha registrado una réplica independiente en este sitio. El código o los datos enlazados, cuando existen, no cuentan como réplica. |
| LÍMITES | DOCUMENTADO | 3 límites declarados en la ficha. |
| APLICABILIDAD | ACOTADO | Hay una prueba de transferencia con entrada, métrica y parada; su resultado local todavía no se ha observado. |

- Regla editorial: Los criterios no se promedian automáticamente. Una fuente leída, un límite claro o un protocolo propuesto no equivalen a una réplica ni a un resultado local.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2607.14952): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.14952): tipo abstract
- [Método · 3 Architecture Anatomy and Bottleneck Sources](https://arxiv.org/html/2607.14952#S3): tipo section
- [Evaluación · 12 Evaluation Scope](https://arxiv.org/html/2607.14952#S12): tipo section
- [Cierre · 11 Conclusion](https://arxiv.org/html/2607.14952#S11): tipo section

## Próxima prueba

- ¿La propuesta mejora coding agents de repositorio completo frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/MindLab-Research/longstraw](https://github.com/MindLab-Research/longstraw)
- [Link](https://huggingface.co/Qwen/Qwen3.6-27B/blob/6a9e13bd6fc8f0983b9b99948120bc37f49c13e9/config.json)
- [Link](https://huggingface.co/zai-org/GLM-5.2/blob/b4734de4facf877f85769a911abafc5283eab3d9/config.json)
- [the following issues](https://github.com/arXiv/html_feedback/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)