Qué probaría antes de escalar esta idea.
- PREGUNTA DE PRUEBA
- ¿El entrenamiento conserva la mejora en un conjunto multilingüe y de dominio no visto sin aumentar la latencia del reader?
- ENTRADA
- 10.000 consultas holdout en tres idiomas y dos dominios, embedder/reader entrenado frente a baseline sin adaptación.
- MÉTRICA
- nDCG@10, exactitud del reader, precisión de citas, latencia p95 y brecha entre idiomas.
- PARADA
- Parar si la mejora es menor de 5 puntos o si la brecha entre idiomas supera 10 puntos.
La mejora depende de datos, dominios y evaluación en griego; BM25 sigue siendo un baseline fuerte y la transferencia entre dominios no elimina la necesidad de comprobar cobertura lingüística y calidad de citas.
Esta prueba es una propuesta editorial: no es un resultado reportado por los autores.
Lo esencial antes de invertir más tiempo.
El trabajo construye de extremo a extremo un stack RAG para griego moderno, desde minería de corpus y supervisión sintética hasta embeddings, reranker, reader y el benchmark HERA.
Con 65.773 pares de retrieval, el embedder sube nDCG@10 de 0,362 a 0,835 y el reader pasa de 29,4% a 66,9% de corrección juzgada.
Resultado con localizador exacto · 3 localizadores disponibles.La mejora depende de datos, dominios y evaluación en griego; BM25 sigue siendo un baseline fuerte y la transferencia entre dominios no elimina la necesidad de comprobar cobertura lingüística y calidad de citas.
Es una receta práctica para construir RAG especializado en lenguas y sectores que no pueden esperar a que un modelo generalista resuelva sus asimetrías.
El trabajo construye de extremo a extremo un stack RAG para griego moderno, desde minería de corpus y supervisión sintética hasta embeddings, reranker, reader y el benchmark HERA.
Qué sostiene esta confianza — y qué sigue sin probarse.
Juicio editorial sobre la transferibilidad de esta lectura; no mide calidad académica ni efecto local.
- FUENTE PRIMARIA
- DOCUMENTADO
Lectura primaria completa registrada sobre v1; comprobación: 2026-08-20 · método, resultado y límites revisados; fuente primaria enlazada.
- RÉPLICA LOCAL
- PENDIENTE
No se ha registrado una réplica independiente en este sitio. El código o los datos enlazados, cuando existen, no cuentan como réplica.
- LÍMITES
- DOCUMENTADO
3 límites declarados en la ficha.
- APLICABILIDAD
- ACOTADO
Hay una prueba de transferencia con entrada, métrica y parada; su resultado local todavía no se ha observado.
REGLA EDITORIALLos criterios no se promedian automáticamente. Una fuente leída, un límite claro o un protocolo propuesto no equivalen a una réplica ni a un resultado local.
Qué está reportado y qué conviene comprobar.
Con 65.773 pares de retrieval, el embedder sube nDCG@10 de 0,362 a 0,835 y el reader pasa de 29,4% a 66,9% de corrección juzgada.
nDCG@10 0,362→0,835; reader 29,4%→66,9% · contexto: 65.773 pares de retrieval; Nemotron 1B y Nemotron 30B-A3B
Qué estudiaron y qué cambia.
La síntesis está separada de los resultados reportados y de las inferencias.Teaching Nemotron Greek muestra que multilingual no es una garantía de calidad operativa. El griego moderno apenas aparece en ciertos modelos de retrieval y benchmarks, aunque sea relevante para RAG legal, energético, financiero y médico. La pregunta no es si el modelo reconoce el idioma, sino si recupera y cita evidencia especializada.
El trabajo construye un pipeline completo: minería de corpus, supervisión sintética, entrenamiento de retrieval, adaptación de reranker, fine-tuning del reader y benchmark HERA. Un detalle importante es que BM25 supera inicialmente a varios retrievers densos multilingües en los corpus especialistas, lo que evita asumir que dense siempre gana.
Tras entrenar con 65.773 pares, el embedder Nemotron 1B mejora nDCG@10 de 0,362 a 0,835. La adaptación de un reader Nemotron 30B-A3B mediante LoRA sube la corrección juzgada de 29,4% a 66,9% y mejora grounding y calidad de citas. El paper anuncia además la liberación de HERA y modelos adaptados.
La receta es reutilizable para idiomas y sectores poco representados: empezar por baselines simples, medir retrieval antes de generación y adaptar el stack completo. La cautela es que los números son propios del corpus y de la evaluación griega; no permiten asumir que la misma cantidad de datos produzca el mismo salto en español, catalán o documentación industrial.
- PROBLEMA
- Los retrievers multilingües generalistas pueden quedarse por debajo de un baseline BM25 cuando el dominio y el idioma tienen poca representación en los datos de entrenamiento.
- MÉTODO
- Construye un stack RAG específico para griego moderno: minería de corpus, pares de retrieval sintéticos, fine-tuning de embedder, adaptación de reranker, reader LoRA y benchmark HERA.
- TIPO DE EVIDENCIA
- Con 65.773 pares de retrieval, el embedder Nemotron 1B sube nDCG@10 de 0,362 a 0,835; el reader Nemotron 30B-A3B pasa de 29,4% a 66,9% de corrección juzgada y mejora grounding y citas.
- LÍMITE
- La mejora depende de datos, dominios y evaluación en griego; BM25 sigue siendo un baseline fuerte y la transferencia entre dominios no elimina la necesidad de comprobar cobertura lingüística y calidad de citas.
La adaptación lingüística funciona como un stack completo, no como un único fine-tuning.
BM25 es un baseline obligatorio antes de afirmar que un dense retriever adaptado gana.
La ficha no incrusta una figura primaria porque su licencia o permiso específico no consta en el registro editorial. La fuente permanece enlazada para comprobarla.
Comprobar fuente primaria ↗ (sitio externo; abre en una pestaña nueva)La lectura también deja rastro.
Guarda una observación junto a la evidencia. Tú escribes aquí; los agentes pueden añadir notas por MCP y aparecerán identificados.
LECTURA AMPLIADAMetodología, implicaciones y preguntas para volver al paper.+
Construye un stack RAG específico para griego moderno: minería de corpus, pares de retrieval sintéticos, fine-tuning de embedder, adaptación de reranker, reader LoRA y benchmark HERA.
Es una receta práctica para construir RAG especializado en lenguas y sectores que no pueden esperar a que un modelo generalista resuelva sus asimetrías.
La mejora depende de datos, dominios y evaluación en griego; BM25 sigue siendo un baseline fuerte y la transferencia entre dominios no elimina la necesidad de comprobar cobertura lingüística y calidad de citas.
Cómo lo llevaría a un proyecto
Para un dominio poco cubierto, medir primero BM25 y dense retrieval generalista, después construir pares de supervisión y evaluar retrieval y generación por separado.
Preguntas que conviene probar
- ¿Qué parte de la mejora viene del idioma y cuál del dominio?
- ¿Qué cantidad de datos adaptados hace que dense retrieval supere realmente a BM25?
Si tuviera que convertirlo en una prueba mañana.
Mi lectura
La adaptación lingüística de un RAG es un problema de sistema completo, no una sustitución aislada del embedding.
Esta última frase es una inferencia editorial a partir del paper y de sus posibles implicaciones; no es una afirmación de los autores.
La prueba que queda en pie.
¿El entrenamiento conserva la mejora en un conjunto multilingüe y de dominio no visto sin aumentar la latencia del reader?