# DenseOn with the LateOn: Fully Open Models for Multilingual, Long-Context and Code Search
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/denseon-with-the-lateon-fully-open-models-for-multilingual-long-context
- Fuente primaria: https://arxiv.org/abs/2607.27178
- Versión leída: v2
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Raphaël Sourty, Antoine Chaffin, Paulo Roberto Moura Junior, Amélie Chatelain
- Fecha del corte: 29 JULIO 2026.
- Área: RAG · EVALUACIÓN · CODING

## Tesis y contexto

Publica una receta end-to-end para entrenar retrievers densos y de interacción tardía. Reconstruye 665 millones de pares públicos de pretraining, crea 1,88 millones de pares supervisados y extiende el entrenamiento a ocho idiomas.

- Problema: Los mejores retrievers dependen cada vez más de datasets privados, dificultando reproducibilidad y adaptación empresarial. Por qué puede ser importante: Los modelos de 149M alcanzan nuevos resultados de referencia para su tamaño en BEIR. La variante late-interaction generaliza mejor a lenguas y alfabetos no incluidos directamente en translate-train.
- Por qué importa: La relevancia práctica todavía necesita contraste editorial.

## Evidencia reportada

- **reported-result**: Using the selected mixture, DenseOn achieves 56.20 average nDCG@10 on BEIR, outperforming other base-size dense retrievers and remaining competitive with substantially larger models. [localizador](https://arxiv.org/html/2607.27178#S3)
- **reported-result**: LateOn achieves 57.22 average nDCG@10, surpassing existing ColBERT-style baselines at this size and outperforming several larger late-interaction models. [localizador](https://arxiv.org/html/2607.27178#S3)
- **reported-result**: The corpora range from near-intact (ArguAna: 1.5% removed) to heavily reduced (NQ: 88.6% removed due to its Wikipedia basis). [localizador](https://arxiv.org/html/2607.27178#S3)
- **reported-result**: Since decontamination removes evaluation examples that overlap with our training data, the resulting benchmark can be easier and raw scores may increase. [localizador](https://arxiv.org/html/2607.27178#S3)

## Lectura y límite

- Método: La lectura de 2 Method describe la intervención y su construcción: Our pipeline has two stages: an English stage that reconstructs and validates a strong retrieval data recipe, and a multilingual stage that transfers it through translate-train. This section describes the data construction and training procedures for both. English retrieval data and models. We reassemble the English retrieval mixture described in the mGTE technical report Zhang et al. 2024 , track down the 34 public sources, and apply a non-destructive multi-stage filtering pipeline, as detailed in Section 2.1.1 . We complement this pre-training corpus with a supervised fine-tuning dataset comprising hard…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 3 Results.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: This work reduces the reproducibility gap between open and closed retrieval systems by releasing data, models, and training code for frontier retrieval development. We reconstruct and curate a large-scale English retrieval corpus of 665M query-document pairs, filtered from 1.4B pairs, together with a supervised fine-tuning dataset of 1.88M pairs with mined hard negatives. All filtering steps are non-destructive, allowing downstream users to audit, modify,…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 3 Results.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2607.27178): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.27178): tipo abstract
- [Método · 2 Method](https://arxiv.org/html/2607.27178#S2): tipo section
- [Evaluación · 3 Results](https://arxiv.org/html/2607.27178#S3): tipo section
- [Cierre · 4 Conclusion](https://arxiv.org/html/2607.27178#S4): tipo section

## Próxima prueba

- ¿La propuesta mejora RAG multilingüe frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [gte-modernbert-base](https://huggingface.co/Alibaba-NLP/gte-modernbert-base)
- [Gte-moderncolbert](https://huggingface.co/lightonai/GTE-ModernColBERT-v1)
- [Lateon-code: a family of state-of-the-art late interaction code retrieval models](https://huggingface.co/collections/lightonai/lateon-code)
- [Mistral-Small-3.1-24B-Instruct-2503](https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503)

## Enlaces relacionados

- [SAG](https://luiseduardodemiguel.com/research-ia/markdown/papers/sag)
- [RAG-Stack](https://luiseduardodemiguel.com/research-ia/markdown/papers/rag-stack)
- [TTT-Embed](https://luiseduardodemiguel.com/research-ia/markdown/papers/ttt-embed)