# Scaling Native Multimodal Pre-Training From Scratch
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/scaling-native-multimodal-pre-training-from-scratch
- Fuente primaria: https://arxiv.org/abs/2607.22043
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Bei Yu
- Fecha del corte: 24 JULIO 2026.
- Área: MULTIMODAL · MODELOS PEQUEÑOS

## Tesis y contexto

Estudia sistemáticamente cómo escalan modelos entrenados multimodalmente desde cero, en lugar de añadir posteriormente visión a un LLM. Encuentra scaling laws diferentes para lenguaje y multimodalidad y deriva una frontera eficiente entre tamaño del modelo, número de tokens y composición text/image. También observa transferencia positiva hacia razonamiento espacial puramente textual.

- Problema: Conocemos bastante las leyes de escalado del lenguaje, pero mucho menos las de modelos multimodales nativos.
- Por qué importa: Podría influir directamente en cómo se diseñe la próxima generación de foundation models.

## Evidencia reportada

- **reported-result**: Meanwhile, open-ended tasks are evaluated using the exact-match metric against reference answers, whereas coding tasks are evaluated using the Pass@1 metric. [localizador](https://arxiv.org/html/2607.22043#S4)
- **reported-result**: Specifically, images are partitioned into 32\times 32 patches and proportionally downscaled if the resulting grid exceeds the token budget. [localizador](https://arxiv.org/html/2607.22043#S4)
- **reported-result**: Although these queries are strictly text-based and lack visual input, incorporating multimodal tokens during pre-training yields substantial performance gains. [localizador](https://arxiv.org/html/2607.22043#S4)
- **reported-result**: As illustrated in Figure 9 , multimodal models ( r=0.3 ) consistently outperform text-only baselines ( r=0 ). [localizador](https://arxiv.org/html/2607.22043#S4)

## Lectura y límite

- Método: La lectura de 2 Preliminaries describe la intervención y su construcción: In this work, we revisit a fundamental problem in native multimodal pre-training: given a fixed computational budget C , how should resources be optimally allocated between the model size N (the number of activated non-embedding parameters) and the total number of training tokens D ? Furthermore, we investigate how this optimal trade-off is influenced by data composition, parameterized by the multimodal data ratio r . To formalize this problem, we model the final pre-training loss L(N,D) as a function of N and D . Using the standard approximation C=6ND , the computational budget is strictly determined by these…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Downstream Implications.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: This section details the comprehensive per-benchmark results supporting the analyses presented in Section 4 , organized into three primary categories. First, we present the training dynamics of the A3B model, evaluating text and multimodal performance at successive pre-training token budgets across multimodal data ratios r\in\{0,0.1,0.2,0.3\} ( Tables 2 , 3 , 4 , 5 , 6 , 7 and 8 ). Second, we report the final text performance across the entire model…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Downstream Implications.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2607.22043): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.22043): tipo abstract
- [Método · 2 Preliminaries](https://arxiv.org/html/2607.22043#S2): tipo section
- [Evaluación · 4 Downstream Implications](https://arxiv.org/html/2607.22043#S4): tipo section
- [Cierre · 6 Conclusion](https://arxiv.org/html/2607.22043#S6): tipo section

## Próxima prueba

- ¿La propuesta mejora diseño de VLMs frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://huggingface.co/datasets/xai-org/RealworldQA](https://huggingface.co/datasets/xai-org/RealworldQA)
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [MMDiff](https://luiseduardodemiguel.com/research-ia/markdown/papers/mmdiff)
- [MBA](https://luiseduardodemiguel.com/research-ia/markdown/papers/mbabench)
- [VibeLifeBench](https://luiseduardodemiguel.com/research-ia/markdown/papers/vibelifebench)