No construir nada que no sea necesario para producir evidencia que pueda cambiar una decisión.
La pregunta antes del producto
Las ideas sobre organizaciones de agentes tienden a saltar demasiado pronto desde una intuición atractiva —roles emergentes, coordinación, skills, autoridad o aprendizaje organizacional— hasta una plataforma completa.
Ese salto confunde una demo convincente con una necesidad demostrada. Un Minimum Informative Experiment (MIE) invierte el orden: formula la hipótesis, diseña una prueba barata que pueda matarla y sólo escala la construcción si aparece una señal reproducible.
Frontera de la afirmación. Esta ficha es una propuesta editorial de diseño experimental derivada de la conversación compartida. No contiene resultados ejecutados, no demuestra que los sistemas multiagente sean mejores y no convierte ninguna de las 14 hipótesis en una oportunidad validada.
El experimento maestro 2×3
Obtener en una sola matriz evidencia sobre el problema de supervisión, la comparación single-agent/multi-agent, el impuesto de coordinación y el valor de governance.
| Política / agentes | 1 | 4 | 8 |
|---|---|---|---|
| Micromanagement | AEl humano dirige cada paso de un único agente. | BEl humano reparte y revisa el trabajo de cuatro agentes. | CEl humano coordina explícitamente ocho agentes. |
| Governance | DEl humano fija contrato; un agente decide sus pasos. | EEl sistema decide el reparto bajo el mismo contrato. | FOcho agentes operan con objetivo, presupuesto, restricciones y paradas. |
- Mismo modelo y mismas herramientas.
- Mismo presupuesto y tiempo máximo.
- Misma misión, criterios de calidad y conjunto de tareas.
- Diez tareas complejas por condición como primera muestra.
- research → synthesis
- issue → code → tests
- dataset → analysis → recommendation
- product idea → validation → prototype
- Calidad del resultado.
- Coste y tokens.
- Tiempo de pared.
- Intervenciones humanas.
- Acciones de coordinación.
- Trabajo duplicado.
- Fallos y recuperaciones.
La secuencia de 14 kill-tests
La unidad de progreso no es la cantidad de agentes ni la sofisticación de la interfaz. Es la información obtenida por euro, minuto y grado de complejidad añadido.
- MIE-01
¿Existe un problema de coordinación?
Muy bajo¿Operar muchos agentes crea una carga material de supervisión y coordinación?
- DISEÑO
- Dar a 5–8 personas una misión compleja con 5–10 agentes existentes, chat, logs y una lista de tareas; no construir una interfaz nueva.
- MEDIDA
- Preguntas sobre el estado de otros agentes, trabajo duplicado, tareas olvidadas, bloqueos, tiempo reconstruyendo estado e intervenciones humanas.
- PARADA
- Si casi nadie experimenta un problema relevante, la prioridad de una plataforma de coordinación baja drásticamente.
- MIE-02
¿Multiagente supera a un agente potente?
Bajo¿Cinco agentes y un coordinador resuelven mejor la misma misión que un solo agente con las mismas herramientas?
- DISEÑO
- Comparar 10–20 tareas con el mismo modelo, presupuesto, herramientas y tiempo máximo; variar sólo la organización.
- MEDIDA
- Calidad, coste, tokens, tiempo de pared, intervenciones humanas, errores y trabajo duplicado.
- PARADA
- Si un agente alcanza al menos el 95% de la calidad con mucha menos complejidad y coste, no asumir una organización multiagente generalista.
- MIE-03
¿Aparece un impuesto de coordinación?
Bajo¿La eficiencia deja de mejorar cuando pasamos de 1 a 2, 4 u 8 agentes?
- DISEÑO
- Repetir la misma tarea con una escala creciente de agentes y varias ejecuciones por condición.
- MEDIDA
- Eficiencia = calidad / (coste × tiempo); además, tasa de acciones de coordinación sobre acciones totales.
- PARADA
- Si no aparece un coste de coordinación medible, todavía no hace falta resolverlo con producto.
- MIE-04
¿Funciona la governance?
Bajo¿Definir objetivo, presupuesto, restricciones y paradas reduce intervención sin degradar calidad?
- DISEÑO
- Comparar micromanagement —el humano reparte cada paso— con governance —el humano fija el contrato y el sistema decide el reparto—.
- MEDIDA
- Intervenciones humanas, calidad, cumplimiento de restricciones, tiempo y coste.
- PARADA
- Governance debe mantener al menos el 90% de la calidad de micromanagement y reducir intervenciones de forma visible.
- MIE-05
¿Las skills crean aprendizaje organizacional?
Bajo¿Convertir soluciones anteriores en skills reduce el coste de tareas nuevas sin perder calidad?
- DISEÑO
- Comparar dos organizaciones idénticas ante 20–30 tareas de una familia: una puede reutilizar skills y otra no.
- MEDIDA
- Pendiente de coste y calidad entre las tareas 1, 5, 10 y 20; reutilización, adaptación y errores introducidos.
- PARADA
- Si mantener y recuperar skills cuesta casi lo mismo que resolver de nuevo, la hipótesis de capital organizacional pierde fuerza.
- MIE-06
¿Aprender de los fallos evita repetirlos?
Bajo¿Un postmortem estructurado convierte un fallo en una regla que mejora una tarea posterior?
- DISEÑO
- Introducir 20 tareas con cinco familias de fallo; comparar reintento simple contra postmortem, regla, memoria y reintento.
- MEDIDA
- Tasa de fallos repetidos, recuperación, coste de la regla y transferencia a un patrón relacionado.
- PARADA
- Si la tasa de fallo repetido no baja de forma reproducible, no construir todavía una infraestructura sofisticada de postmortems.
- MIE-07
¿La interfaz RTS aporta información?
Bajo¿Un mapa tipo juego ayuda a decidir mejor que un dashboard o un grafo sobre el mismo estado?
- DISEÑO
- Probar tres prototipos sobre 12 agentes, 37 tareas, tres dependencias bloqueadas, dos duplicados, una anomalía de coste y un equipo sobrecargado.
- MEDIDA
- Tiempo hasta responder, aciertos, intervenciones incorrectas y confianza.
- PARADA
- Si dashboard o grafo igualan al RTS, no invertir en un motor de juego.
- MIE-08
¿Los agentes producen valor real?
Medio¿Una persona externa cambia su comportamiento por el output producido?
- DISEÑO
- Elegir una transacción estrecha: confirmar una anomalía, resolver un issue, modificar una decisión o generar una mejora observable.
- MEDIDA
- Uso real, rechazo, correcciones, tiempo ahorrado y decisión que cambió.
- PARADA
- Si el output sólo resulta impresionante pero nadie lo usa repetidamente, no hablar de valor autónomo.
- MIE-09
¿El valor supera al coste?
Medio¿El valor observado compensa IA, herramientas, supervisión, fallos y tiempo humano?
- DISEÑO
- Tomar 10 outputs reales del MIE-08 y registrar todos los costes, incluidos los intentos fallidos y la revisión.
- MEDIDA
- Valor neto = valor − (IA + herramientas + humano + fallos).
- PARADA
- Si el valor neto no es positivo en un dominio estrecho, no escalar la organización.
- MIE-10
¿Alguien se compromete a pagar?
Medio¿La utilidad sobrevive cuando la petición exige un compromiso real?
- DISEÑO
- Mostrar un prototipo conectado a un problema real y ofrecer piloto pagado, depósito, contrato o acceso a datos.
- MEDIDA
- Compromisos reales, no sólo opiniones o interés declarado.
- PARADA
- Cinco elogios no equivalen a un único compromiso económico o de implementación.
- MIE-11
¿Aparece especialización?
Medio¿El historial predice qué agente resolverá mejor una tarea futura sin asignar roles a mano?
- DISEÑO
- Ejecutar 100 tareas heterogéneas con cinco agentes idénticos y dejar que el rendimiento y la selección formen clusters.
- MEDIDA
- Tipo de tarea, agente, rendimiento y capacidad predictiva de la especialización histórica.
- PARADA
- Si los clusters no predicen rendimiento futuro, el rol emergente es probablemente ruido narrativo.
- MIE-12
¿La confianza puede convertirse en autoridad?
Medio¿Permisos adaptativos aumentan autonomía segura frente a permisos estáticos?
- DISEÑO
- Simular acciones de riesgo creciente: leer, modificar un sandbox, hacer commit, fusionar una PR y desplegar en una simulación.
- MEDIDA
- Acciones autónomas correctas / (incidentes + intervenciones humanas), falsos bloqueos y latencia.
- PARADA
- Si la política adaptativa no mejora el balance o bloquea demasiado, no abrir permisos en el mundo real.
- MIE-13
¿Lo que funciona en sandbox funciona fuera?
Alto¿La simulación ordena oportunidades reales mejor que el azar o una heurística sencilla?
- DISEÑO
- Puntuar 20 conceptos en simulación, publicar 5–10 y comparar ranking simulado con CTR o conversión real.
- MEDIDA
- Correlación de Spearman entre ranking simulado y resultado real.
- PARADA
- Si no correlaciona en un dominio estrecho, retrasar cualquier simulador económico grande.
- MIE-14
¿Emergen organizaciones mejores?
Alto¿Una estructura que puede delegar, crear roles y cambiar conexiones supera a una estructura fija?
- DISEÑO
- Repetir 30 veces con seis agentes, un objetivo común y capacidad limitada de reorganización.
- MEDIDA
- Configuraciones recurrentes, calidad, coste, tiempo y estabilidad de la estructura.
- PARADA
- Si no aparecen configuraciones recurrentes que mejoren el rendimiento, detener la línea de organización emergente.
Crítica y límites
- El diseño comparte el riesgo de cualquier experimento pequeño: diez tareas por condición pueden detectar una señal, pero no estimar todavía una economía general.
- Quality necesita una rúbrica ciega y específica por familia de tarea; una puntuación única podría premiar respuestas largas o una coordinación vistosa.
- Governance no equivale a autonomía segura: el contrato debe incluir permisos, presupuesto, restricciones, stop conditions y registro de decisiones.
- La conversación propone una secuencia de aprendizaje; no demuestra que el orden óptimo sea universal ni que todas las líneas deban ejecutarse.