# BIM-Edit: Benchmarking Large Language Models for IFC-Based Building Information Modeling
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/bim-edit-benchmarking-large-language-models-for-ifc-based-building-infor
- Fuente primaria: https://arxiv.org/abs/2606.20146
- Versión leída: v3
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Bharathi Kannan Nithyanantham, Clemens Kujat, Tobias Sesterhenn, Stefan Telgmann, Ashwin Nedungadi, Jörn Plönnigs, Christian Bartelt, Stefan Lüdtke
- Fecha del corte: 18 JUNIO 2026.
- Área: EVALUACIÓN

## Tesis y contexto

Benchmark para edición de modelos BIM/IFC con instrucciones en lenguaje natural; contiene 324 tareas en 11 modelos reales y 36 escenas sintéticas.

- Problema: Muchos benchmarks CAD miden generación desde cero, no edición semántica de escenas existentes.
- Por qué importa: Excelente señal de verticalización: LLMs aplicados a formatos profesionales complejos.

## Evidencia reportada

- **reported-result**: No evaluated model achieves an average score above 50\% , highlighting the difficulty of reliable IFC-based BIM editing. [localizador](https://arxiv.org/html/2606.20146#S4)
- **reported-result**: Gemini 3.0 Flash achieves the best overall performance, followed by Qwen 3.6 Plus and Claude Sonnet 4.6. [localizador](https://arxiv.org/html/2606.20146#S4)
- **reported-result**: The per-metric breakdown reveals complementary model strengths: Gemini 3.0 Flash achieves the highest geometry and semantic scores, whereas Qwen 3.6 Plus performs best on topology. [localizador](https://arxiv.org/html/2606.20146#S4)
- **reported-result**: Across all models, geometry scores are consistently higher than semantic and topology scores, suggesting that current LLM agents can often approximate the correct shape while failing to preserve IFC semantics and relational consistency. [localizador](https://arxiv.org/html/2606.20146#S4)

## Lectura y límite

- Método: La lectura de 3 Methodology describe la intervención y su construcción: BIM-Edit evaluates how well LLMs perform in editing existing structured 3D building models from natural-language instructions. The model must identify the referenced scene, apply the requested change, and preserve the rest of the model. This reflects real BIM workflows, where edits occur inside large shared models, and a visually plausible result can still be invalid if it breaks element types, spatial relations, or properties. Therefore, BIM-Edit evaluates the full edited model, not only its geometry. We define each BIM-Edit task as a triplet (M^{0},x,M^{*}) , where M^{0} is the input IFC model, x is a…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Evaluation.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: The release package includes the license file for the code. The inference harness and the evaluator is released under the MIT License. Benchmark prompts, task metadata, author-created artificial IFC files, and author-created realistic IFC files are released under CC-BY 4.0.
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Evaluation.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.20146): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.20146): tipo abstract
- [Método · 3 Methodology](https://arxiv.org/html/2606.20146#S3): tipo section
- [Evaluación · 4 Evaluation](https://arxiv.org/html/2606.20146#S4): tipo section
- [Cierre · 5 Conclusion & Future Work](https://arxiv.org/html/2606.20146#S5): tipo section

## Próxima prueba

- ¿La propuesta mejora arquitectura frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://huggingface.co/BIM-Edit](https://huggingface.co/BIM-Edit)
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [VibeLifeBench](https://luiseduardodemiguel.com/research-ia/markdown/papers/vibelifebench)
- [KnowHal](https://luiseduardodemiguel.com/research-ia/markdown/papers/knowhal)