# Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/rethinking-shrinkage-bias-in-llm-fp4-pretraining-geometric-origin-system
- Fuente primaria: https://arxiv.org/abs/2606.20381
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou
- Fecha del corte: 18 JUNIO 2026.
- Área: EVALUACIÓN

## Tesis y contexto

Analiza el sesgo de shrinkage en pretraining FP4 y propone una receta UFP4.

- Problema: FP4 promete abaratar entrenamiento, pero pequeños sesgos numéricos pueden degradar modelos a escala.
- Por qué importa: Si funciona, baja costes de pretraining y acerca modelos grandes a más actores.

## Evidencia reportada

- **reported-result**: Q2: Does UFP4 reduce the BF16-relative training loss gap? [localizador](https://arxiv.org/html/2606.20381#S5)
- **reported-result**: For linear_fc1 , RHT is relatively benign on the forward GEMM but exposes format-dependent degradation on backward paths: E1M2 preserves or improves output SQNR, whereas E2M1 loses SQNR after rotation ( Figure 6 ). [localizador](https://arxiv.org/html/2606.20381#S5)
- **reported-result**: For linear_fc2 , the inversion is stronger: E1M2 converts post-RHT bucket utilization into higher output SQNR, while E2M1 often degrades after rotation ( Figure 7 ). [localizador](https://arxiv.org/html/2606.20381#S5)
- **reported-result**: Across all three settings, UFP4 stays closer to BF16 ( Figure 8 ): latest-1000-step relative error drops from 1.2570% to 0.9673% on Dense 1.5B, from 2.3596% to 1.8469% on MoE 7.9B, and from 1.7308% to 1.3863% on MoE 124B. [localizador](https://arxiv.org/html/2606.20381#S5)

## Lectura y límite

- Método: La lectura de 2 Preliminaries describe la intervención y su construcción: FP4 formats use one sign bit and split the remaining bits into exponent and mantissa fields, denoted E x M y . We consider two FP4 formats, E2M1 and E1M2, and an INT4 codebook ( Figure 1(a) ). In practice, blockwise quantization is widely adopted to improve precision by partitioning a tensor \mathbf{T} into contiguous blocks \{B\} and mapping each element to a codebook level under a shared per-block scale. Let G=\{g\} denote the normalized codebook of a chosen format, g_{\max}=\max_{g\in G}|g| its largest magnitude level, and \rho_{G} the rounding rule. The quantization process is then:
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: This shows that even small per-GEMM multiplicative losses add in the exponent. Consequently, a weak but consistently positive \delta_{k} can produce a visible cumulative decay over long computation paths.
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.20381): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.20381): tipo abstract
- [Método · 2 Preliminaries](https://arxiv.org/html/2606.20381#S2): tipo section
- [Evaluación · 5 Experiments](https://arxiv.org/html/2606.20381#S5): tipo section
- [Cierre · 7 Conclusion](https://arxiv.org/html/2606.20381#S7): tipo section

## Próxima prueba

- ¿La propuesta mejora entrenamiento LLM frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [VibeLifeBench](https://luiseduardodemiguel.com/research-ia/markdown/papers/vibelifebench)
- [KnowHal](https://luiseduardodemiguel.com/research-ia/markdown/papers/knowhal)