Lo esencial antes de invertir más tiempo.
SPA usa un DSL declarativo y un control de flujo de información de doble retícula para etiquetar artefactos y restringir qué datos pueden llegar a qué acciones.
En el ejemplo de AgentDojo, la configuración sin IFC reporta 53% de utilidad y 0,4 de ASR frente a 29% y 0 con IFC concreto.
Resultado reportado con fuente enlazada · 9 localizadores disponibles.La reducción de utilidad no es un detalle de implementación: forma parte del resultado. El DSL, las etiquetas y la política pueden cambiar el espacio de tareas que el agente puede completar.
Utility, ASR, bloqueos correctos, falsos bloqueos y latencia de planificación.
SPA usa un DSL declarativo y un control de flujo de información de doble retícula para etiquetar artefactos y restringir qué datos pueden llegar a qué acciones.
Qué está reportado y qué conviene comprobar.
En el ejemplo de AgentDojo, la configuración sin IFC reporta 53% de utilidad y 0,4 de ASR frente a 29% y 0 con IFC concreto.
53%/0,4 → 29%/0 · baseline: Sin IFC · contexto: AgentDojo · tool_knowledge
En AgentDojo-MQ, la comparación anotada pasa de 65,9%/0,6 sin IFC+Values a 35,3%/0,2 con IFC.
65,9%/0,6 → 35,3%/0,2 · baseline: Sin IFC + Values · contexto: AgentDojo-MQ
La política estricta reporta ASR cero en AgentDojo tool_knowledge y 0,2% en AgentDojo-MQ.
0% y 0,2% ASR · baseline: Configuraciones menos restrictivas · contexto: Evaluación de seguridad
Qué estudiaron y qué cambia.
La síntesis está separada de los resultados reportados y de las inferencias.PREGUNTA / SPA aborda el riesgo de que un agente complete una tarea mientras filtra información a través de una herramienta o de un artefacto intermedio.
MÉTODO / El agente declara un plan en un DSL y el IFC de doble retícula comprueba el flujo entre etiquetas antes de la ejecución.
RESULTADO / En los escenarios publicados, el control estricto elimina o reduce fuertemente el ASR, pero también baja la utilidad: el ejemplo concreto pasa de 53%/0,4 sin IFC a 29%/0 con IFC.
LÍMITE / La utilidad depende de qué planes permite expresar la política. La decisión de producto necesita una matriz de riesgo y una taxonomía de acciones bloqueables, no un único score.
La reducción de utilidad no es un detalle de implementación: forma parte del resultado. El DSL, las etiquetas y la política pueden cambiar el espacio de tareas que el agente puede completar.
- PROBLEMA
- Un agente puede completar la tarea y aun así filtrar información sensible; la utilidad final no demuestra que el flujo de datos haya sido seguro.
- MÉTODO
- SPA propone planificar con un DSL declarativo y aplicar un control de flujo de información de doble retícula. Los artefactos reciben etiquetas y metadatos semánticos en la fase de planificación; la evaluación cubre AgentDojo y AgentDojo-MQ con políticas estrictas y relajadas.
- TIPO DE EVIDENCIA
- El control estricto elimina el ASR en el ejemplo de AgentDojo y registra 0,2% en AgentDojo-MQ, pero reduce utilidad. El estudio reporta, entre otros contrastes, 53% de utilidad/0,4 ASR sin IFC frente a 29%/0 con IFC concreto; en MQ, 65,9%/0,6 frente a 35,3%/0,2.
- LÍMITE
- La reducción de utilidad no es un detalle de implementación: forma parte del resultado. El DSL, las etiquetas y la política pueden cambiar el espacio de tareas que el agente puede completar.
La lectura también deja rastro.
Guarda una observación junto a la evidencia. Tú escribes aquí; los agentes pueden añadir notas por MCP y aparecerán identificados.
LECTURA AMPLIADAMetodología, implicaciones y preguntas para volver al paper.+
SPA propone planificar con un DSL declarativo y aplicar un control de flujo de información de doble retícula. Los artefactos reciben etiquetas y metadatos semánticos en la fase de planificación; la evaluación cubre AgentDojo y AgentDojo-MQ con políticas estrictas y relajadas.
Expone un trade-off de producto que debe medirse explícitamente: el control estricto reduce utilidad en algunos escenarios, pero evita acciones con filtración.
La reducción de utilidad no es un detalle de implementación: forma parte del resultado. El DSL, las etiquetas y la política pueden cambiar el espacio de tareas que el agente puede completar.
Cómo lo llevaría a un proyecto
Definir el flujo de información y los artefactos sensibles antes de generar acciones, y reportar utilidad y ASR juntos; no aceptar una política sólo porque maximiza task success.
Preguntas que conviene probar
- ¿Qué pérdida de utilidad es aceptable para cada clase de dato?
- ¿Qué acciones deben quedar bloqueadas aunque el plan sea correcto?
Si tuviera que convertirlo en una prueba mañana.
Mi lectura
La seguridad deja de ser una etiqueta posterior y pasa a ser una restricción que debe sobrevivir a la planificación.
Esta última frase es una inferencia editorial a partir del paper y de sus posibles implicaciones; no es una afirmación de los autores.