# A²utoLPBench: An Auto-Generated, Agent-Friendly LP Benchmark via Inverse-KKT Construction
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/a2utolpbench-an-auto-generated-agent-friendly-lp-benchmark-via-inverse-k
- Fuente primaria: https://arxiv.org/html/2607.02141v1
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Shuo Ren, Yaohui Han, Yifan Shi, Libo Shen, Haodong Lu, Dongfang Wu, Rongliang Fu, Bei Yu, Tsung-Yi Ho
- Fecha del corte: 2 JULIO 2026.
- Área: AGENTES · EVALUACIÓN · CODING

## Tesis y contexto

Benchmark generativo para agentes que resuelven problemas de programación lineal escritos en texto. Genera problemas con solución conocida por construcción, dificultad ajustable, Docker e instrucciones pensadas para agentes.

- Problema: Datasets fijos de word problems se contaminan y no escalan.
- Por qué importa: Evaluación generativa resistente a leakage es muy útil para medir razonamiento operativo.

## Evidencia reportada

- **reported-result**: (c) On MAMO easy, gains are smaller and direction-dependent. [localizador](https://arxiv.org/html/2607.02141#S4)
- **reported-result**: Of the five solvers paired with a cross-model MiMo-V2.5 critic (MiMo-V2.5 itself is excluded since it is the critic), four gain, with the largest uplift on Kimi-K2.5 ( +15.1 pp) and Claude-Sonnet-4.6 ( +11.3 pp). [localizador](https://arxiv.org/html/2607.02141#S4)

## Lectura y límite

- Método: La lectura de 3 Method describe la intervención y su construcción: This section presents the four components of A 2 utoLPBench: the inverse-KKT generator ( Section 3.1 , the Auto part), the bundled solver-critic baseline and the agent-runnable Docker runtime ( Section 3.2 and Section 3.3 , the two halves of the Agent part), and the released 256-instance reference snapshot ( Section 3.4 ). Figure 2 gives an end-to-end overview. Three LLM-driven agents appear across these components: the natural-language drafter that converts each LP triple into a word problem (system and user prompts in Section A.4 ), the solver agent that proposes a candidate Python program (system prompt in…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: A static-corpus benchmark only needs to ship a JSONL file. A generator-based benchmark must ship the generator together with a deterministic execution environment, otherwise downstream evaluators cannot reproduce the cross-batch calibration property. By packaging everything into a single image with pinned dependencies, we make the freshness and reproducibility guarantees of Table 1 actually obtainable in practice rather than promised in principle. The…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/html/2607.02141v1): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.02141): tipo abstract
- [Método · 3 Method](https://arxiv.org/html/2607.02141#S3): tipo section
- [Evaluación · 4 Experiments](https://arxiv.org/html/2607.02141#S4): tipo section
- [Cierre · 5 Conclusion](https://arxiv.org/html/2607.02141#S5): tipo section
- [HTML · fuente navegable](https://arxiv.org/abs/2607.02141v1): tipo abstract

## Próxima prueba

- ¿La propuesta mejora optimización frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/nl4opt/nl4opt-competition](https://github.com/nl4opt/nl4opt-competition)
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)