# Tracing Agentic Failure from the Flow of Success
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/tracing-agentic-failure-from-the-flow-of-success
- Fuente primaria: https://arxiv.org/abs/2607.12747
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li
- Fecha del corte: 14 JULIO 2026.
- Área: AGENTES

## Tesis y contexto

Intenta localizar qué pasos provocaron el fracaso de una trayectoria sin necesitar anotaciones de errores paso a paso. El modelo aprende exclusivamente de trayectorias exitosas y utiliza ese conocimiento para señalar pasos anómalos dentro de ejecuciones fallidas.

- Problema: Diagnosticar agentes manualmente a partir de largas trazas es caro y difícil de escalar.
- Por qué importa: La observabilidad agentic necesitará algo equivalente a un stack trace semántico: no basta saber que la tarea falló; hay que identificar dónde comenzó a desviarse.

## Evidencia reportada

- **reported-result**: Oat consistently outperforms all baselines across metrics with a huge performance gap ( e.g. [localizador](https://arxiv.org/html/2607.12747#S5)
- **reported-result**: Top- k detection achieves higher recall and hit rate but lower precision, indicating a tendency to over-detect failure contributing steps due to its fixed detection size. [localizador](https://arxiv.org/html/2607.12747#S5)
- **reported-result**: Conformal prediction detection, by contrast, achieves higher precision and a better balance between precision and recall, demonstrating the benefit of its adaptive, distribution-calibrated threshold. [localizador](https://arxiv.org/html/2607.12747#S5)
- **reported-result**: Oat again outperforms prompting-based approaches with +7% F1 score and +5% AUPRC. [localizador](https://arxiv.org/html/2607.12747#S5)

## Lectura y límite

- Método: La lectura de 4 Methodology describe la intervención y su construcción: In this work, we frame unsupervised failure attribution as a one-class learning problem in LLM’s representation space, which contains rich information beyond generated text: we train a model to characterize the dynamical pattern in successful trajectories, and at inference time identify steps in failure trajectories that deviate from the normal flow as contributing steps. Concretely, given a trajectory \tau=(Q,a_{1},s_{1},a_{2},\dots,s_{T_{\tau}-1},a_{T_{\tau}}) and the LLM agent M_{t} active at step t , we define the representation of step t as the aggregated token representations produced by layer \ell of…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: In this paper, we introduced unsupervised failure attribution, a new problem formulation for diagnosing failures in LLM-based agentic systems, eliminating the need for step-level annotation of failure trajectories. Rather than learning from labeled failure trajectories, we propose Oat , a Neural CDE-based one-class learning approach, training exclusively on successful trajectories and identifying error steps at inference time by detecting deviations from…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2607.12747): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.12747): tipo abstract
- [Método · 4 Methodology](https://arxiv.org/html/2607.12747#S4): tipo section
- [Evaluación · 5 Experiments](https://arxiv.org/html/2607.12747#S5): tipo section
- [Cierre · 7 Conclusion](https://arxiv.org/html/2607.12747#S7): tipo section

## Próxima prueba

- ¿La propuesta mejora debugging agentic frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://huggingface.co/blog/gemma4](https://huggingface.co/blog/gemma4)
- [https://huggingface.co/meta-llama/Llama-4-Scout-17B-16E-Instruct](https://huggingface.co/meta-llama/Llama-4-Scout-17B-16E-Instruct)
- [https://neurips.cc/public/guides/CodeSubmissionPolicy](https://neurips.cc/public/guides/CodeSubmissionPolicy)
- [paperswithcode.com/datasets](https://paperswithcode.com/datasets)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)