# Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/multi-lcb-extending-livecodebench-to-multiple-programming-languages
- Fuente primaria: https://arxiv.org/abs/2606.20517
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Maria Ivanova, Pavel Zadorozhny, Rodion Levichev, Ivan Petrov, Adamenko Pavel, Ivan Lopatin, Alexey Kutalev, Dmitrii Babaev
- Fecha del corte: 18 JUNIO 2026.
- Área: EVALUACIÓN · CODING

## Tesis y contexto

Extiende LiveCodeBench a 12 lenguajes de programación manteniendo controles de contaminación y protocolo de evaluación.

- Problema: La evaluación de código centrada en Python no representa bien software real multilenguaje.
- Por qué importa: Los agentes de programación empresariales deben tocar Java, JS/TS, C#, Go, Rust, SQL y legacy, no solo Python.

## Evidencia reportada

- **reported-result**: For example, GPT-OSS-120B ∗ (Medium) outperforms Qwen3-235B-A22B-Thk-2507 ∗ on Go, Javascript, Typescript, Rust, Ruby and Kotlin, and DeepSeek-R1-0528 ∗ outperforms Qwen3- 235B-A22B-Thk-2507 ∗ on Rust, Ruby and Scala, despite Qwen3-235B-A22B-Thk-2507 ∗ being consistently stronger on Python. [localizador](https://arxiv.org/html/2606.20517#S5)
- **reported-result**: Figure 3 plots per-model Pass@1 averaged on 10 runs with sampling temperature t=0.2 scores on Python against the cross programming language average on Dataset v6 (Feb 2025 – May 2025). [localizador](https://arxiv.org/html/2606.20517#S5)
- **reported-result**: Models without explicit multi programming languages training, such as OpenRsn-Nmt-32B ∗ and OpenCodeRsn-Nmt-1.1-32B ∗ , show the starkest gap, exceeding 60% on Python while remaining below 30% across other languages. [localizador](https://arxiv.org/html/2606.20517#S5)
- **reported-result**: The most strongest models, GPT-OSS-120B ∗ (Medium) , Qwen3-235B-A22B-Thk-2507 ∗ and DeepSeek-R1-0528 ∗ establish a strong yet far-from-saturated frontier, while the next tier of high-performing models, such as Qwen3-30B-A3B-Thk-2507 ∗ , illustrates that only a handful of reasoning-augmented variants can exceed the 50% mark. [localizador](https://arxiv.org/html/2606.20517#S5)

## Lectura y límite

- Método: La lectura de 2 Related Work describe la intervención y su construcción: Single-language code benchmarks . Early code-generation benchmarks evaluate functional correctness almost exclusively in Python. HumanEval ( 6 ) contains 164 hand-written problems, each defined by a natural language prompt, a fixed function signature, and hidden unit tests; tasks are short, single-function programs created specifically for evaluation rather than drawn from programming contests. MBPP ( 2 ) likewise offers small Python exercises aimed at introductory programming and interview practice. Subsequent datasets expanded scale and difficulty: APPS ( 10 ) aggregates competition and interview style…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments and Results.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Internal Validity. Despite date-based filtering, hidden forms of contamination may persist through similar problem patterns or solution templates present in training data. Additionally, models may exhibit temporal bias based on varying exposure to different programming languages during their training periods.
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments and Results.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.20517): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.20517): tipo abstract
- [Método · 2 Related Work](https://arxiv.org/html/2606.20517#S2): tipo section
- [Evaluación · 5 Experiments and Results](https://arxiv.org/html/2606.20517#S5): tipo section
- [Cierre · 6 Limitations and Threats to Validity](https://arxiv.org/html/2606.20517#S6): tipo section

## Próxima prueba

- ¿La propuesta mejora evaluación de copilotos frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/Multi-LCB/Multi-LCB](https://github.com/Multi-LCB/Multi-LCB)
- [Hugging Face](https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507)
- [LCB leaderboard](https://livecodebench.github.io/leaderboard.html)
- [Hugging Face](https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [VibeLifeBench](https://luiseduardodemiguel.com/research-ia/markdown/papers/vibelifebench)
- [KnowHal](https://luiseduardodemiguel.com/research-ia/markdown/papers/knowhal)