# SMetric: Session-Centric Scheduling for Serving Agents
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/smetric-session-centric-scheduling-for-serving-agents
- Fuente primaria: https://arxiv.org/html/2607.08565v1
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Jiahao Wang, Kaizhan Lin, Kaixi Zhang, Jinbo Han, Xingda Wei, Sijie Shen, Chenguang Fang, Wenyuan Yu, Rong Chen, Haibo Chen
- Fecha del corte: 9 JULIO 2026.
- Área: AGENTES · EVALUACIÓN

## Tesis y contexto

Rediseña el balanceo de inferencia alrededor de sesiones completas, no de solicitudes individuales. La primera petición se distribuye según carga y las siguientes se enrutan teniendo en cuenta la reutilización de caché.

- Problema: Los schedulers tradicionales están optimizados para peticiones independientes, mientras que los agentes generan largas secuencias de llamadas relacionadas.
- Por qué importa: El coste de los agentes está fuertemente influido por el KV cache y la reutilización de contexto. Una infraestructura consciente de sesiones puede reducir latencia y presión sobre almacenamiento global.

## Evidencia reportada

- **reported-result**: SMetric achieves the highest TPS under every provisioning. [localizador](https://arxiv.org/html/2607.08565#S5)
- **reported-result**: With a global store, SMetric is 10–16 % higher than the best-performing baseline at each point. [localizador](https://arxiv.org/html/2607.08565#S5)
- **reported-result**: Without a global store, SMetric and Bailian are within 1 % of each other: SMetric is slightly higher in this run, but the gap is small because both systems must rely mostly on local-tier hits. [localizador](https://arxiv.org/html/2607.08565#S5)
- **reported-result**: Second, SMetric keeps the load reasonably balanced while preserving local reuse: Figure 15 (b) profiles the per-instance token load, where SMetric ’s mean max-to-mean load ratio (§ 4.1 ) is 2.6 \times , lower than Bailian (3.0 \times ) and LMetric (3.2 \times ), though higher than load-balance-only (2.0 \times ). [localizador](https://arxiv.org/html/2607.08565#S5)

## Lectura y límite

- Método: La lectura de Background and System Setup describe la intervención y su construcción: LLM and KV$. An LLM serves a request in two phases. Given the input tokens (the prompt ), a prefill pass processes the prompt with a single model forward (possibly split into chunks [ 1 ] ) and emits the first output token. A decode pass then emits the remaining tokens one by one in an auto-regressive manner, until the model produces an end-of-sequence (EOS) token. Each token comes from a single model forward whose input is the prompt followed by every token emitted so far, appended in generation order. The forward pass of LLMs requires computing a key (K) and a value (V) tensor for each token in the input…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en Performance evaluation.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Agentic serving shifts the goal of LLM scheduling to cluster-wide TPS and makes KV$ reuse dominant. Our study of two real-world traces shows that existing schedulers trade load balance for KV$ reuse, and that this trade is unnecessary: the global-tier KV$ store decouples reuse from request placement, and the workload’s intra-session locality means balancing each session’s first request suffices to balance the cluster. SMetric turns these insights into…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en Performance evaluation.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/html/2607.08565v1): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.08565): tipo abstract
- [Método · Background and System Setup](https://arxiv.org/html/2607.08565#S2): tipo section
- [Evaluación · Performance evaluation](https://arxiv.org/html/2607.08565#S5): tipo section
- [Cierre · Conclusion](https://arxiv.org/html/2607.08565#S7): tipo section
- [HTML · fuente navegable](https://arxiv.org/abs/2607.08565v1): tipo abstract

## Próxima prueba

- ¿La propuesta mejora serving multiagente frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/vllm-project/aibrix](https://github.com/vllm-project/aibrix)
- [https://github.com/aigw-project/aigw](https://github.com/aigw-project/aigw)
- [https://docs.anthropic.com/en/docs/claude-code/sub-agents](https://docs.anthropic.com/en/docs/claude-code/sub-agents)
- [https://code.claude.com/docs/en/overview](https://code.claude.com/docs/en/overview)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)