# AgentCheck: A Reproduce-Intervene-Mitigate Workbench for LLM Agents over MCP
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/agentcheck-a-reproduce-intervene-mitigate-workbench-for-llm-agents-over
- Fuente primaria: https://arxiv.org/abs/2607.11098
- Versión leída: v3
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Aritra Mazumder, Nusrat jahan Lia
- Fecha del corte: 13 JULIO 2026.
- Área: AGENTES · EVALUACIÓN

## Tesis y contexto

Workbench open source para introducir fallos controlados en tools MCP —timeouts, datos obsoletos, descripciones manipuladas, etc.— y repetir exactamente el escenario antes y después de aplicar una mitigación.

- Problema: Probamos agentes suponiendo que sus herramientas funcionan correctamente, cuando en producción los fallos más peligrosos pueden ser respuestas erróneas aceptadas silenciosamente.
- Por qué importa: Su patrón reproducir → intervenir → mitigar → confirmar se parece mucho más a chaos engineering para agentes que a benchmarking tradicional. Los experimentos muestran importantes diferencias entre cinco agentes y que los datos obsoletos son especialmente difíciles de mitigar.

## Evidencia reportada

- **reported-result**: Retry gives the clearest gains, lifting the tool-execution faults A1/A2/A3 ( Table 5 ). [localizador](https://arxiv.org/html/2607.11098#S5)
- **reported-result**: Schema-aware handling lifts B4 (1/10 \to 4/10) and the full stack reaches 7/10, but B1, B2, and B3 barely improve ( Table 5 , Appendix F ). [localizador](https://arxiv.org/html/2607.11098#S5)

## Lectura y límite

- Método: La lectura de 2 Related Work describe la intervención y su construcción: Task-success benchmarks. GAIA ( 16 ) , SWE-bench ( 9 ) , ToolBench ( 19 ; 5 ) , and \tau -bench ( 25 ) measure whether an agent completes a task when its tools behave; MCPEval ( 13 ) does the same over MCP-connected servers (see also the survey of 17 ). A high score reports competence under ideal conditions. Such does not inform survival during degraded deployment cases. Fault-injection benchmarks. Several benchmarks perturb tool behaviour to stress agent recovery. ToolMaze ( 29 ) , PlanBench-XL ( 12 ) , and ToolMisuseBench ( 21 ) inject execution faults such as timeouts, invalid outputs, semantic distractors,…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Evaluation.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Scorer reliability. The deterministic checks and judge labels are independent, fallible signals rather than ground truth, and they disagree on some runs, so we keep the checks as the primary verdict, treat the judge as diagnostic, and read the propagated rate ( Figure 3 ) as an upper bound. This motivates lightweight non-text detectors and scorer as the natural next step ( 6 ; 1 ) .
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Evaluation.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2607.11098): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.11098): tipo abstract
- [Método · 2 Related Work](https://arxiv.org/html/2607.11098#S2): tipo section
- [Evaluación · 5 Evaluation](https://arxiv.org/html/2607.11098#S5): tipo section
- [Cierre · 6 Conclusion and Availability](https://arxiv.org/html/2607.11098#S6): tipo section

## Próxima prueba

- ¿La propuesta mejora QA de agentes MCP frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/aritra741/AgentCheck](https://github.com/aritra741/AgentCheck)
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)