# SkillGate: Cost-Efficient Runtime Malicious Skill File Detection in Coding Agents
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/skillgate-cost-efficient-runtime-malicious-skill-file-detection-in-codin
- Fuente primaria: https://arxiv.org/abs/2607.25619
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Rui Yang, Michael Fu, Kla Tantithamthavorn, Chetan Arora, Joey Chua
- Fecha del corte: 28 JULIO 2026.
- Área: AGENTES · SEGURIDAD · CODING

## Tesis y contexto

SkillGate analiza paquetes de skills antes de instalarlos en Cursor, Claude Code, Copilot u otros agentes. El objetivo es detectar instrucciones capaces de exfiltrar credenciales, introducir backdoors o redirigir herramientas a endpoints maliciosos.

- Problema: Los archivos SKILL.md y paquetes equivalentes se están convirtiendo en código ejecutable semántico, pero se descargan con controles considerablemente menores que una dependencia tradicional. Por qué puede ser importante: Define una superficie de ataque emergente muy cercana a npm/pip, aunque las cargas útiles se expresen en lenguaje natural y comportamiento agentic.
- Por qué importa: La relevancia práctica todavía necesita contraste editorial.

## Evidencia reportada

- **reported-result**: We evaluate detection on SkillsBench ( n{=}1{,}650 , 9.1% malicious) and compare SkillGate against existing methods ClawVet and SkillScanner. [localizador](https://arxiv.org/html/2607.25619#S4)
- **reported-result**: SkillGate achieves the best F1 and AUPRC on SkillsBench, outperforming ClawVet (F1 = 0.258), all SkillScanner static thresholds (best F1 = 0.295), and SkillScanner+LLM (F1 = 0.287) under oracle-optimal settings. [localizador](https://arxiv.org/html/2607.25619#S4)
- **reported-result**: SkillGate achieves F1 = 0.817, R = 0.769, FPR = 1.13%, and AUPRC = 0.830 versus 0.144 for ClawVet and 0.162 for SkillScanner, resulting in a 5–6 \times gap that holds across all operating thresholds as shown in Figure 3 . [localizador](https://arxiv.org/html/2607.25619#S4)
- **reported-result**: The same ordering holds under MCC, which accounts for all four confusion-matrix cells under the benchmark’s 9.1% class imbalance: SkillGate scores MCC = 0.803 against a best-baseline 0.331 (SkillScanner+LLM), 0.225 (ClawVet), and 0.215 (SkillScanner \geq medium ), a 2.4 \times margin over the strongest competitor. [localizador](https://arxiv.org/html/2607.25619#S4)

## Lectura y límite

- Método: La lectura de Background & Related Work describe la intervención y su construcción: In this section, we present background on LLM coding agents and their skill ecosystem, survey documented malicious skill files, and then formalize a threat model, and related defenses. In the field of Software Engineering, LLM-based coding assistants, such as GitHub Copilot, Cursor, and Claude Code have evolved from autocomplete tools to autonomous agents that plan, edit, and execute code across multi-step tasks [ 2 , 3 , 5 , 17 , 6 ] . An agentic assistant runs an iterative perceive–plan–act loop, invoking tools —reading and writing files, running shell commands, querying APIs—and feeding each result back into…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en Results.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: In this paper, we present SkillGate , a low-cost, deployable security proxy that screens MCP skill files before they reach an AI coding agent, closing the gap of the agent skills security challenge. SkillGate pairs a 530-pattern regex prefilter with an LLM judge that sees only the flagged snippet windows: benign files bypass the model entirely, and flagged files are classified from their risky regions rather than their full content. On the SkillsBench…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en Results.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2607.25619): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.25619): tipo abstract
- [Método · Background & Related Work](https://arxiv.org/html/2607.25619#S2): tipo section
- [Evaluación · Results](https://arxiv.org/html/2607.25619#S4): tipo section
- [Cierre · Conclusion](https://arxiv.org/html/2607.25619#S7): tipo section

## Próxima prueba

- ¿La propuesta mejora escáneres de skills frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)