# Variable-Width Transformers
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/variable-width-transformers
- Fuente primaria: https://arxiv.org/abs/2606.18246
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Zhaofeng Wu, Oliver Sieberling, Shawn Tan, Rameswar Panda, Yury Polyanskiy, Yoon Kim
- Fecha del corte: 16 JUNIO 2026.
- Área: IA APLICADA · EVALUACIÓN

## Tesis y contexto

Explora Transformers cuyo ancho varía por capa, en vez de mantener la misma dimensión en todo el modelo.

- Problema: La arquitectura estándar reparte parámetros y cómputo de forma uniforme aunque las capas no tengan la misma función.
- Por qué importa: Puede abrir una ruta simple para modelos más eficientes sin cambiar radicalmente el paradigma Transformer.

## Evidencia reportada

- **reported-result**: Recent analyses of deep, constant-width LMs reveal the emergence of “compression valleys,” where the LM’s middle layers collapse in representational capacity, characterized by a severe drop in representational entropy ( Skean et al. [localizador](https://arxiv.org/html/2606.18246#S4)
- **reported-result**: Closely related to the effective dimension metric ( Hill 1973 ; Roy & Vetterli 2007 ) , a higher matrix entropy indicates a more “even” use of the representation space. [localizador](https://arxiv.org/html/2606.18246#S4)
- **reported-result**: In Figure 7 , we see that the baseline model exhibits a severe compression valley: in middle layers, its normalized entropy drops to near-zero, indicating that the token representations have collapsed into a highly degenerate, low-rank subspace despite the large width. [localizador](https://arxiv.org/html/2606.18246#S4)
- **reported-result**: In contrast, > <former maintains a higher normalized entropy, potentially suggesting that physically constraining the parameter space encourages the network to maintain a high-entropy manifold. [localizador](https://arxiv.org/html/2606.18246#S4)

## Lectura y límite

- Método: La lectura de 2 Variable-Width Transformers describe la intervención y su construcción: A standard transformer contains a series of L layers. In each layer \ell\in[1,L] , a transformer block \mathcal{B}^{\ell}:\mathbb{R}^{d}\to\mathbb{R}^{d} transforms the input from the previous layer {\mathbf{x}}^{\ell-1} by {\mathbf{x}}^{\ell}=\mathcal{B}^{\ell}({\mathbf{x}}^{\ell-1})+{\mathbf{x}}^{\ell-1} . d is the model dimension. We define {\mathbf{x}}^{0} as the input embeddings. In this work, we question why d must be held constant. Much past work has shown that different layers of a transformer LM perform distinct functions, which naturally may require different amounts of capacity ( Tenney et al. 2019 ;…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Analysis.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: More broadly, while we are not calling for immediate adoption of > <formers, we hope that future architecture research can capitalize on this previously unnoticed degree of freedom in design.
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Analysis.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.18246): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.18246): tipo abstract
- [Método · 2 Variable-Width Transformers](https://arxiv.org/html/2606.18246#S2): tipo section
- [Evaluación · 4 Analysis](https://arxiv.org/html/2606.18246#S4): tipo section
- [Cierre · 5 Limitations](https://arxiv.org/html/2606.18246#S5): tipo section

## Próxima prueba

- ¿La propuesta mejora entrenamiento eficiente frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/ZhaofengWu/variable-width-transformers](https://github.com/ZhaofengWu/variable-width-transformers)
- [https://github.com/openai/tiktoken](https://github.com/openai/tiktoken)
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)

## Enlaces relacionados

- [ORAgentBench](https://luiseduardodemiguel.com/research-ia/markdown/papers/oragentbench-can-llm-agents-solve-challenging-operations-research-tasks)
- [Multi-Agent Transactive Memory](https://luiseduardodemiguel.com/research-ia/markdown/papers/multi-agent-transactive-memory)
- [RODS](https://luiseduardodemiguel.com/research-ia/markdown/papers/rods-reward-driven-online-data-synthesis-for-multi-turn-tool-use-agents)