# Self-CTRL: Self-Consistency Training with Reinforcement Learning
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/self-ctrl-self-consistency-training-with-reinforcement-learning
- Fuente primaria: https://arxiv.org/abs/2606.18327
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Itamar Pres, Laura Ruis, Melat Ghebreselassie, Belinda Z. Li, Jacob Andreas
- Fecha del corte: 16 JUNIO 2026.
- Área: IA APLICADA · EVALUACIÓN

## Tesis y contexto

Entrena modelos para que sus autoexplicaciones sean consistentes con su comportamiento.

- Problema: Un modelo que explica mal por qué actúa como actúa es difícil de auditar.
- Por qué importa: La trazabilidad de comportamiento será crítica en agentes, compliance y modelos regulados.

## Evidencia reportada

- **reported-result**: Self-CTRL improves \phi , the training reward, on unseen prompts from the same constitutional principles, suggesting that the model is not simply memorizing consistent responses to individual requests. [localizador](https://arxiv.org/html/2606.18327#S4)
- **reported-result**: We report Normalized Simulatability Gain (NSG) ( 28 ) , as shown in Eq 7 , which measures the explanation-induced accuracy gain normalized by the maximum possible gain over the no-explanation baseline. [localizador](https://arxiv.org/html/2606.18327#S4)
- **reported-result**: Because behavior training is intended to change the model’s responses, we also evaluate whether these changes improve safety. [localizador](https://arxiv.org/html/2606.18327#S4)
- **reported-result**: We use HarmBench attack success rate as a safety metric, where lower attack success indicates that the model more reliably refuses harmful requests ( 29 ) . [localizador](https://arxiv.org/html/2606.18327#S4)

## Lectura y límite

- Método: La lectura de 2 Explainability via self-consistency describe la intervención y su construcción: Suppose we query a language model, p_{\mathrm{LM}} , with a meta-level question about its refusal behavior: x_{\mathrm{meta}}= Describe how you handle requests that involve discrimination. The LM produces an explanation y_{\mathrm{meta}}\sim p_{\mathrm{LM}}(\cdot\mid x_{\mathrm{meta}}) , such as I will not respond to requests that invoke or exemplify cultural discrimination . This meta-level claim is only meaningful if it predicts the LM’s behavior on corresponding object-level inputs. For example, if x is a concrete request that encourages the LM to generate text that could be perceived as discriminatory, and…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Constitutional AI with natural language explanations.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Coarse categories. Table 1 lists the categories, the natural-language descriptions inserted into x_{\mathrm{meta}} , and the associated SpecEval principles. The 46 retained principles are grouped into 10 categories; the meta-level explanation prompt completes ” user requests that … ” with the description in the second column.
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Constitutional AI with natural language explanations.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.18327): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.18327): tipo abstract
- [Método · 2 Explainability via self-consistency](https://arxiv.org/html/2606.18327#S2): tipo section
- [Evaluación · 4 Constitutional AI with natural language explanations](https://arxiv.org/html/2606.18327#S4): tipo section
- [Cierre · 6 Discussion](https://arxiv.org/html/2606.18327#S6): tipo section

## Próxima prueba

- ¿La propuesta mejora auditoría frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://huggingface.co/datasets/nvidia/Nemotron-SFT-Instruction-Following-Chat-v…](https://huggingface.co/datasets/nvidia/Nemotron-SFT-Instruction-Following-Chat-v2)
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [ORAgentBench](https://luiseduardodemiguel.com/research-ia/markdown/papers/oragentbench-can-llm-agents-solve-challenging-operations-research-tasks)
- [Multi-Agent Transactive Memory](https://luiseduardodemiguel.com/research-ia/markdown/papers/multi-agent-transactive-memory)
- [RODS](https://luiseduardodemiguel.com/research-ia/markdown/papers/rods-reward-driven-online-data-synthesis-for-multi-turn-tool-use-agents)