# AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/agentcompass-a-unified-evaluation-infrastructure-for-agent-capabilities
- Fuente primaria: https://arxiv.org/html/2607.13705v3
- Versión leída: v3
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Kai Chen, Zichen Ding, Jiaye Ge, Shufan Jiang, Mo Li, Qingqiu Li, Zehao Li, Zonglin Li, Tianhao Liang, Shudong Liu, Zerun Ma, Zixin Shang, Wenhui Tian, Zun Wang, Liwei Wu, Zhenyu Wu, Jun Xu, Bowen Yang, Dingbo Yuan, Qi Zhang, Songyang Zhang, Peiheng Zhou, Dongsheng Zhu
- Fecha del corte: 15 JULIO 2026.
- Área: AGENTES · EVALUACIÓN

## Tesis y contexto

Infraestructura open source que desacopla tres piezas normalmente mezcladas: Benchmark, Harness y Environment. Añade ejecución asíncrona tolerante a fallos y análisis de trayectorias para diagnosticar comportamientos como reward hacking. Soporta más de 20 benchmarks en cinco dimensiones de capacidad.

- Problema: Comparar agentes es difícil porque cada benchmark trae su propio entorno, harness y lógica de ejecución.
- Por qué importa: Si este tipo de abstracción se consolida, podríamos empezar a evaluar independientemente modelo vs. harness vs. entorno, algo fundamental para saber por qué un agente funciona realmente.

## Evidencia reportada

- **reported-result**: Models can deviate substantially from their officially reported baselines under the unified AgentCompass protocol, such as Claude-Opus-4.8 dropping by 8.7 points on DeepSearchQA and GLM-5.2(FP8) improving by 15.0 points on SWE-bench-Pro with OpenHands. [localizador](https://arxiv.org/html/2607.13705#S4)
- **reported-result**: Kimi-K2.6 has a higher share of bad cases involving multilingual mixing on search tasks and repeated tool calls. [localizador](https://arxiv.org/html/2607.13705#S4)
- **reported-result**: Such beyond-score trajectory analysis therefore provides a more informative basis for diagnosing agentic behavior and identifying targeted directions for model improvement. [localizador](https://arxiv.org/html/2607.13705#S4)
- **reported-result**: Notably, although GLM-5.2(FP8) outperforms Claude-Opus-4.8 by about 12 points on SWE-Pro, it also shows roughly 30% more suspected reward-hacking samples. [localizador](https://arxiv.org/html/2607.13705#S4)

## Lectura y límite

- Método: La lectura de 3 Framework describe la intervención y su construcción: AgentCompass modularizes benchmark-specific evaluation scripts into composable components connected by stable protocols. As shown in Figure 2 , each evaluation consists of a benchmark , harness , and environment , with optional recipes and analyzers. In AgentCompass, an evaluation run is specified through a declarative RunRequest . The request separates the substantive objects of evaluation from the operational choices used to execute it. Specifically, BenchmarkSpec defines the task and evaluation metrics, HarnessSpec defines the agent procedure used to interact with each task, EnvironmentSpec identifies the…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: In this paper, we introduced AgentCompass, an open-source and highly extensible infrastructure designed to systematize the evaluation of LLM-based agents. By decoupling the evaluation pipeline into independent Model, Benchmark, Harness, and Environment components, it eliminates redundant engineering and ensures rigorous reproducibility. Supported by a fault-tolerant asynchronous runtime and granular trajectory analysis, AgentCompass goes beyond…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/html/2607.13705v3): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.13705): tipo abstract
- [Método · 3 Framework](https://arxiv.org/html/2607.13705#S3): tipo section
- [Evaluación · 4 Experiments](https://arxiv.org/html/2607.13705#S4): tipo section
- [Cierre · 5 Conclusion](https://arxiv.org/html/2607.13705#S5): tipo section
- [HTML · fuente navegable](https://arxiv.org/abs/2607.13705v3): tipo abstract

## Próxima prueba

- ¿La propuesta mejora model selection frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/open-compass/AgentCompass](https://github.com/open-compass/AgentCompass)
- [https://github.com/paul-gauthier/aider](https://github.com/paul-gauthier/aider)
- [https://github.com/confident-ai/deepeval](https://github.com/confident-ai/deepeval)
- [https://github.com/open-compass/opencompass](https://github.com/open-compass/opencompass)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)