# TTHE: Test-Time Harness Evolution
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/tthe-test-time-harness-evolution
- Fuente primaria: https://arxiv.org/html/2607.08124v1
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Jun Nie, Yonggang Zhang, Jun Song, Qianshu Cai, Dahai Yu, Yike Guo, Xinmei Tian, Bo Han
- Fecha del corte: 9 JULIO 2026.
- Área: AGENTES · CODING

## Tesis y contexto

Propone que el harness de un agente —el programa que prepara contexto, llama herramientas, verifica resultados y recupera errores— pueda modificarse durante la propia evaluación. TTHE usa las trazas no etiquetadas producidas por el agente para evolucionar su flujo de ejecución en tiempo de prueba.

- Problema: Los agentes actuales suelen desplegarse con un workflow fijo, aunque cambien la distribución de tareas, las herramientas o los errores encontrados.
- Por qué importa: Refuerza una tendencia importante: el rendimiento de un agente depende tanto del harness como del modelo. Puede desplazar parte de la innovación desde el entrenamiento de modelos hacia la evolución dinámica del software que los rodea.

## Evidencia reportada

- **reported-result**: Table 1 sweeps the number of proposers per round G against the maximum number of generation rounds R . [localizador](https://arxiv.org/html/2607.08124#S5)
- **reported-result**: Accuracy is non-monotonic and peaks at B{=}10 ( 50.0\% ): both smaller ( B{=}5 : 44.0\% ) and larger ( B{=}25 : 38.0\% ; B{=}50 : 44.0\% ) batches do worse, though all remain far above the 12.0\% baseline. [localizador](https://arxiv.org/html/2607.08124#S5)
- **reported-result**: As Table 3 shows, all three improve over their own model-matched baselines. [localizador](https://arxiv.org/html/2607.08124#S5)
- **reported-result**: Because the slice is conditioned on DeepSeek’s failures, the absolute scores are not a model ranking; the consistent within-model gain is the point. [localizador](https://arxiv.org/html/2607.08124#S5)

## Lectura y límite

- Método: La lectura de 4 Method describe la intervención y su construcción: TTHE optimizes the agent’s harness during evaluation , using only the evidence that execution itself produces. Two questions organize the method. (Q1) When gold labels, reference outputs, and hidden tests are withheld during adaptation, what provides the optimization signal? (Q2) Given only that imperfect signal, how is the harness actually improved? We answer Q1 with detailed execution traces and a small set of execution-derived proxy signals, and Q2 with a batch-level population search in which agentic proposers rewrite the harness code and a judge commits one candidate; we develop the two in turn below. TTHE…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Our main protocol follows a transductive test-time adaptation setting: a batch supplies the unlabeled traces used to select a harness and is then evaluated after adaptation. This directly measures within-batch adaptation, but does not by itself establish forward generalization—because the harness is fit to a batch’s own execution structure, the reported accuracy does not on its own rule out adaptation to batch-specific artifacts. The decisive test we…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/html/2607.08124v1): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.08124): tipo abstract
- [Método · 4 Method](https://arxiv.org/html/2607.08124#S4): tipo section
- [Evaluación · 5 Experiments](https://arxiv.org/html/2607.08124#S5): tipo section
- [Cierre · 6 Limitations](https://arxiv.org/html/2607.08124#S6): tipo section
- [HTML · fuente navegable](https://arxiv.org/abs/2607.08124v1): tipo abstract

## Próxima prueba

- ¿La propuesta mejora coding agents frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/junnie00/TTHE](https://github.com/junnie00/TTHE)
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)