# LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/longstraw-long-context-rl-beyond-2m-tokens-under-a-fixed-gpu-budget
- Fuente primaria: https://arxiv.org/abs/2607.14952
- Versión leída: v3
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Changhai Zhou, Kieran Liu, Yuhua Zhou, Qian Qiao, Jun Gao, Harry Zhang, Irvine Lu, Nolan Ho, Lucian Li, Andrew Lei, Cleon Cheng, Steven Chiang, Yihang Zeng, Di Zhang, Rio Yang, Kaijie Chen, Andrew Chen, Pony Ma, Weizhong Zhang, Cheng Jin
- Fecha del corte: 16 JULIO 2026.
- Área: AGENTES

## Tesis y contexto

Aborda una asimetría creciente: los modelos pueden inferir con contextos enormes, pero el post-training RL suele quedarse alrededor de contextos mucho menores. LongStraw apunta a entrenar mediante RL sobre secuencias de más de dos millones de tokens manteniendo un presupuesto fijo de GPU.

- Problema: Un agente puede acumular millones de tokens entre documentos, observaciones y tools, pero nunca haber sido realmente entrenado para comportarse en ese régimen.
- Por qué importa: El long-context de agentes podría pasar de ser simplemente «memoria disponible» a una capacidad entrenada explícitamente.

## Evidencia reportada

- **reported-result**: Qwen’s response-only receipt composes the full-attention forward over all CP8 page partitions and all-reduces dQ . [localizador](https://arxiv.org/html/2607.14952#S12)
- **reported-result**: The distributed attention backward all-reduces dQ and returns page-owner dK/dV . [localizador](https://arxiv.org/html/2607.14952#S12)
- **reported-result**: The probe creates one AdamW instance per rank without DDP or a parameter-gradient reducer. [localizador](https://arxiv.org/html/2607.14952#S12)
- **reported-result**: Read vertically, the prefix-only and conditional-response points establish different execution scopes; their lower memory does not imply that a prompt-adapted training graph fits. [localizador](https://arxiv.org/html/2607.14952#S12)

## Lectura y límite

- Método: La lectura de 3 Architecture Anatomy and Bottleneck Sources describe la intervención y su construcción: The two models differ along two independent axes. The feed-forward axis is dense versus MoE. It determines parameter residency, token routing, and the shape of activation buffers. The token-mixing axis is GDN/full attention versus MLA/DSA; it determines retained prompt state and response-time collectives. Model-level labels such as “dense”, “MoE”, or “sparse” hide this separation. Figure 3 opens both decoder stacks at the level needed by the training runtime. The diagram shows counts and ownership rather than implying that the two models share one layer template.
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 12 Evaluation Scope.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Together, these results establish a training-ready path beyond two million tokens under a fixed GPU budget. The next evaluation scales this working transaction across repeated updates and task metrics, while the independent Qwen CP8 replica-finalization check strengthens the companion dense-hybrid path.
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 12 Evaluation Scope.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2607.14952): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.14952): tipo abstract
- [Método · 3 Architecture Anatomy and Bottleneck Sources](https://arxiv.org/html/2607.14952#S3): tipo section
- [Evaluación · 12 Evaluation Scope](https://arxiv.org/html/2607.14952#S12): tipo section
- [Cierre · 11 Conclusion](https://arxiv.org/html/2607.14952#S11): tipo section

## Próxima prueba

- ¿La propuesta mejora coding agents de repositorio completo frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/MindLab-Research/longstraw](https://github.com/MindLab-Research/longstraw)
- [Link](https://huggingface.co/Qwen/Qwen3.6-27B/blob/6a9e13bd6fc8f0983b9b99948120bc37f49c13e9/config.json)
- [Link](https://huggingface.co/zai-org/GLM-5.2/blob/b4734de4facf877f85769a911abafc5283eab3d9/config.json)
- [the following issues](https://github.com/arXiv/html_feedback/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)