# Code Is More Than Text: Uncertainty Estimation for Code Generation
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/code-is-more-than-text-uncertainty-estimation-for-code-generation
- Fuente primaria: https://arxiv.org/abs/2606.09577
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Yuling Shi, Caiqi Zhang, Yuexian Li, Haopeng Wang, Yeheng Chen, Nigel Collier, Xiaodong Gu
- Fecha del corte: 8 JUNIO 2026.
- Área: RAG · CODING

## Tesis y contexto

Propone estimar incertidumbre en generación de código con señales específicas de código: fragilidad token-level, gap intención-implementación y ejecutabilidad. Su ensemble de tres ejes sube AUROC de 0,696 a 0,776 frente al mejor baseline heredado de lenguaje natural.

- Problema: Los métodos de incertidumbre de texto no capturan que una sola línea de código puede romper todo el programa.
- Por qué importa: La automatización de PRs necesita saber cuándo pedir revisión humana.

## Evidencia reportada

- **reported-result**: Top- 5 token entropy (lexical) excels on algorithmically demanding APPS subsets (0.813 AUROC on Intro for Qwen3-14B), matching the strongest multi-pass NL baseline (Consistency-vr: 0.728 average) at over 3 \times lower cost. [localizador](https://arxiv.org/html/2606.09577#S4)
- **reported-result**: Generated Tests (functional) dominates on executable benchmarks, achieving 0.822 on HumanEval and 0.730 on MBPP. [localizador](https://arxiv.org/html/2606.09577#S4)
- **reported-result**: The ensemble is the top method on every benchmark in Table 1 , with particularly strong gains on HumanEval (0.852 AUROC, 0.983 PRAUC for Qwen3-14B). [localizador](https://arxiv.org/html/2606.09577#S4)

## Lectura y límite

- Método: La lectura de 2 Method describe la intervención y su construcción: We study post-hoc uncertainty estimation for code generation. Given a natural-language prompt x describing a programming problem and a program y=(y_{1},\ldots,y_{T}) generated by an LLM \pi_{\theta} conditioned on x , an uncertainty estimator is a function U(x,y)\in\mathbb{R} that scores how uncertain \pi_{\theta} is about its own output (larger = more uncertain). Ground-truth correctness is functional: y is correct iff it passes every test case in the problem’s official test suite (pass@1) ( 3 ) , which is held out and never shown to \pi_{\theta} . The self-generated tests used by the functional signal in § 2.4…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Main Results.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: We introduce a three-axis framework for code uncertainty estimation that maps one-to-one onto three properties distinguishing code from natural language: token fragility, two-level structure, and executability. Across four benchmarks and five code LLMs, the three axes provide complementary signals for code uncertainty estimation. In our main Qwen3-14B setting, Top- K entropy alone matches the strongest multi-pass NL baseline at over 3 \times lower cost,…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Main Results.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.09577): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.09577): tipo abstract
- [Método · 2 Method](https://arxiv.org/html/2606.09577#S2): tipo section
- [Evaluación · 4 Main Results](https://arxiv.org/html/2606.09577#S4): tipo section
- [Cierre · 7 Conclusion](https://arxiv.org/html/2606.09577#S7): tipo section

## Próxima prueba

- ¿La propuesta mejora agentes de programación frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [Link](https://datasets-benchmarks-proceedings.neurips.cc/paper/2021/hash/c24cd76e1ce41366a4bbe8a49b02a028-Abstract-round2.html)
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [SAG](https://luiseduardodemiguel.com/research-ia/markdown/papers/sag)
- [RAG-Stack](https://luiseduardodemiguel.com/research-ia/markdown/papers/rag-stack)
- [TTT-Embed](https://luiseduardodemiguel.com/research-ia/markdown/papers/ttt-embed)