# Online Safety Monitoring for LLMs
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/online-safety-monitoring-for-llms
- Fuente primaria: https://arxiv.org/html/2607.02510v1
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Mona Schirmer, Metod Jazbec, Alexander Timans, Christian Naesseth, Maja Waldron, Eric Nalisnick
- Fecha del corte: 2 JULIO 2026; ICML 2026 HYPOTHESIS TESTING WORKSHOP.
- Área: SEGURIDAD

## Tesis y contexto

Monitor online que convierte una señal de verificador externo en alarma calibrada por control de riesgo. En razonamiento matemático y red-teaming, un diseño simple compite con monitores de hypothesis testing secuencial.

- Problema: La seguridad debe medirse durante despliegue, no solo en evaluación offline.
- Por qué importa: Producto real necesita alarmas calibradas, no filtros opacos.

## Evidencia reportada

- **reported-result**: Figure 3 reports false alarm rate, power, and detection delay for the log-prob signal (dashed curves) against the PRM-based runs (solid curves). [localizador](https://arxiv.org/html/2607.02510#S4)
- **reported-result**: The middle column makes the trade-off between verifier cost and signal strength explicit: at matched false-alarm rates, the PRM-based monitors achieve substantially higher power than their log-prob counterparts — for example, near \varepsilon=0.3 the PRM variants already exceed 0.9 power while the log-prob counterparts sit around 0.5. [localizador](https://arxiv.org/html/2607.02510#S4)

## Lectura y límite

- Método: La lectura de 2 Problem Setting describe la intervención y su construcción: We consider the problem of monitoring the safety of an LLM’s output as it unfolds. Let t=0,1,\dots be a time index. At t=0 , the LLM is given a user prompt x\sim P_{x} sampled from a prompt distribution. The LLM then produces an output sequence o_{1:T}=(o_{1},\dots,o_{T}) of variable length T , where each o_{t} is sampled autoregressively from the model’s generative distribution {P_{\theta}(o_{t}\mid x,o_{1:t-1})} . Depending on the use case, each o_{t} may represent a token of the output text, a step in the reasoning chain, or a response of the LLM to the user. Let y\in\mathcal{Y}=\{0,1\} be the safety…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Calibrating a single time-invariant threshold on a verifier signal is attractive for deployment: it adds negligible computational overhead (e.g. no additional density estimator required) and imposes light restrictions on the calibration data (e.g. no sufficient coverage of varying length sequence necessary). However, it has two key limitations. First, the monitor is only as good as its signal — inheriting the verifier’s limitations in terms of…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Experiments.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/html/2607.02510v1): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.02510): tipo abstract
- [Método · 2 Problem Setting](https://arxiv.org/html/2607.02510#S2): tipo section
- [Evaluación · 4 Experiments](https://arxiv.org/html/2607.02510#S4): tipo section
- [Cierre · 5 Conclusion, Limitations and Future Work](https://arxiv.org/html/2607.02510#S5): tipo section
- [HTML · fuente navegable](https://arxiv.org/abs/2607.02510v1): tipo abstract

## Próxima prueba

- ¿La propuesta mejora safety layer frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/monasch/llm-monitor](https://github.com/monasch/llm-monitor)
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [NiyamAI](https://luiseduardodemiguel.com/research-ia/markdown/papers/niyamai)
- [MNC](https://luiseduardodemiguel.com/research-ia/markdown/papers/mnc)
- [Mechanism Design for Generative Engine](https://luiseduardodemiguel.com/research-ia/markdown/papers/mechanism-design-generative-engines)