# PACE: A Proxy for Agentic Capability Evaluation
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/pace-a-proxy-for-agentic-capability-evaluation
- Fuente primaria: https://arxiv.org/abs/2607.02032
- Versión leída: v2
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Yueqi Song, Lintang Sutawika, Jiarui Liu, Lindia Tjuatja, Jiayi Geng, Yunze Xiao, Daniel Lee, Aditya Bharat Soni, Vincent Lo, Xiang Yue, Graham Neubig
- Fecha del corte: 2 JULIO 2026.
- Área: AGENTES · EVALUACIÓN

## Tesis y contexto

Predice rendimiento en benchmarks agentic caros usando un subconjunto pequeño de evaluaciones atómicas. En 14 modelos, 4 benchmarks agentic y 19 no-agentic, logra MAE menor del 4%, Spearman >0.80 y ranking accuracy \~85% con menos del 1% del coste.

- Problema: Evaluar SWE-Bench/GAIA cuesta días y miles de dólares.
- Por qué importa: Permite routing, selección de modelos y regresión continua sin pagar evaluaciones completas.

## Evidencia reportada

- **reported-result**: Building on the problem formulation in § 2.2 , we describe Pace , our framework for effectively and efficiently predicting model performances (Goal A) and pairwise model preferences (Goal B) on a target agentic benchmark using non-agentic benchmarks. [localizador](https://arxiv.org/html/2607.02032#S3)
- **reported-result**: Pace consists of two core components: (1) a regression that, given selected source instances for each target benchmark, builds a noise-aware predictor for either goals (described in § 3.1 ); and (2) an instance selection method that selects instances via two complementary strategies, Local and Global selection ( § 3.2 ). [localizador](https://arxiv.org/html/2607.02032#S3)
- **reported-result**: Our regression predicts a vector x_{m}\in\mathbb{R}^{C} collecting model m ’s scores on the C source instances selected for the target (selection is described in § 3.2 ). [localizador](https://arxiv.org/html/2607.02032#S3)
- **reported-result**: For each ordered pair (m,m^{\prime})\in M_{\mathrm{train}}\times M_{\mathrm{train}} with m\neq m^{\prime} , we form the source-score difference x_{m}-x_{m^{\prime}} and the label \mathbbm{1}[\bar{y}_{m}>\bar{y}_{m^{\prime}}] . [localizador](https://arxiv.org/html/2607.02032#S3)

## Lectura y límite

- Método: La lectura de 2 Background describe la intervención y su construcción: Standard LLM evaluation has historically relied on atomic, single-turn, and largely static benchmarks that are inexpensive to run and easy to reproduce. In contrast, evaluating LLM-based agents requires models to act over longer horizons, interact with tools or environments, and recover from intermediate errors. The agentic benchmarks often require sandboxes, browsers, repositories, or custom runtime environments, and can be sensitive to environmental noise, harness design, and external dependencies ( 8 ) . What makes prediction plausible across these two evaluation protocols is that they require and evaluate…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 3 Pace : A Proxy for Agentic Capability Evaluation.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Bootstrap helps on every target: average MAE improves by 0.77\% and average Spearman by +0.15 , with no target regressing on either metric. These results justify keeping the bootstrap as the default configuration of Pace .
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 3 Pace : A Proxy for Agentic Capability Evaluation.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2607.02032): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.02032): tipo abstract
- [Método · 2 Background](https://arxiv.org/html/2607.02032#S2): tipo section
- [Evaluación · 3 Pace : A Proxy for Agentic Capability Evaluation](https://arxiv.org/html/2607.02032#S3): tipo section
- [Cierre · 5 Analysis and Discussion](https://arxiv.org/html/2607.02032#S5): tipo section

## Próxima prueba

- ¿La propuesta mejora selección de modelos frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [neulab/pace](https://github.com/neulab/pace)
- [neulab/pace-bench](https://huggingface.co/datasets/neulab/pace-bench)
- [Link](https://openai.com/index/introducing-gpt-5-2-codex/)
- [Link](https://qwen.ai/blog?id=qwen3-coder)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)