# Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/automating-skill-md-generation-for-computer-using-agents-via-interaction
- Fuente primaria: https://arxiv.org/abs/2606.20363
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Yuexing Hao, Xiaomin Li
- Fecha del corte: 18 JUNIO 2026.
- Área: AGENTES

## Tesis y contexto

Extrae bibliotecas de habilidades desde trayectorias GUI: segmenta interacciones, agrupa skills candidatas y entrena una política consciente de esas skills.

- Problema: Las skills explícitas hacen agentes más inspeccionables, pero escribirlas a mano no escala.
- Por qué importa: Puede convertir sesiones de uso reales en manuales operativos reutilizables para agentes.

## Evidencia reportada

- **reported-result**: NMI drops for larger k , while purity stays near 0.63, so we use k=8 in the main analysis. [localizador](https://arxiv.org/html/2606.20363#S6)
- **reported-result**: After 200 epochs, KMeans in the 16-dimensional latent space reaches NMI = 0.862, silhouette = 0.554, and purity = 0.837, a 33% relative NMI gain over the Wasserstein baseline. [localizador](https://arxiv.org/html/2606.20363#S6)
- **reported-result**: Five of eight clusters have purity at least 0.95 against one IW skill. [localizador](https://arxiv.org/html/2606.20363#S6)
- **reported-result**: The current GRPO run improves IW skill-step accuracy only slightly over zero-shot Qwen3-8B (18.5% to 20.5%), decreases on WebArena (55.8% to 44.2%), is unchanged on BrowseComp+ (43.5% to 43.3%), and matches zero-shot Qwen3-8B on WorkArena-NLP field accuracy (37.0% for both, with 0% exact match). [localizador](https://arxiv.org/html/2606.20363#S6)

## Lectura y límite

- Método: La lectura de 4 Method: Automated SKILL.md Generation describe la intervención y su construcción: The pipeline has three stages. It segments trajectories, clusters the segments into skills, and trains a CUA policy with the resulting annotations. The first two stages build the skill library. The third stage tests whether the library helps. Figure 1 summarizes the study design. The equations below are operational definitions rather than standalone theoretical claims. Equation 2 decides where candidate skills begin and end; Equation 3 turns each variable-length segment into a fixed-length vector; Equation 4 turns those vectors into a distance matrix for clustering; and Equation 5 refines the resulting…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 6 Results.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: The limitations point to concrete next steps. The contrastive encoder uses cluster-derived pseudo-labels, so the pipeline is not fully unsupervised; IW is synthetic and may not capture real enterprise complexity; and the Phase 1 \ell_{2} boundary heuristic should be compared against learned action-prediction-error segmenters before being treated as robust. Stronger claims would require completed Mind2Web GRPO and live WorkArena evaluations; the present…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 6 Results.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.20363): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.20363): tipo abstract
- [Método · 4 Method: Automated SKILL.md Generation](https://arxiv.org/html/2606.20363#S4): tipo section
- [Evaluación · 6 Results](https://arxiv.org/html/2606.20363#S6): tipo section
- [Cierre · 7 Discussion](https://arxiv.org/html/2606.20363#S7): tipo section

## Próxima prueba

- ¿La propuesta mejora agentes de escritorio frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)