Qué probaría antes de escalar esta idea.
- PREGUNTA DE PRUEBA
- ¿Qué combinación de retrieval y abstención reduce respuestas sin soporte?
- ENTRADA
- Un benchmark de 160 preguntas con evidencia suficiente, insuficiente, contradictoria y no recuperable.
- MÉTRICA
- Precisión, cobertura, abstención correcta, respuestas sin soporte y calibración del juez.
- PARADA
- Parar si la cobertura sube a costa de un aumento significativo de respuestas sin evidencia o si la calibración empeora.
El modelo depende de supuestos de calibración, del juez y de los datasets KILT. Es un marco de evaluación, no una garantía de que una política concreta vaya a abstenerse correctamente fuera de esa distribución.
Esta prueba es una propuesta editorial: no es un resultado reportado por los autores.
Lo esencial antes de invertir más tiempo.
The RAT modela por separado éxito de recuperación, abstención, éxito de tarea y éxito del generador sobre 27 configuraciones y 10.000 consultas por condición.
El protocolo cubre 27 configuraciones de tres retrievers, tres generadores y tres datasets, con 10.000 consultas por configuración.
Resultado con localizador exacto · 9 localizadores disponibles.El modelo depende de supuestos de calibración, del juez y de los datasets KILT. Es un marco de evaluación, no una garantía de que una política concreta vaya a abstenerse correctamente fuera de esa distribución.
Da una gramática de evaluación para políticas de evidencia y permite comparar jueces, retrievers y generadores sin convertir la abstención en un fallo silencioso.
The RAT modela por separado éxito de recuperación, abstención, éxito de tarea y éxito del generador sobre 27 configuraciones y 10.000 consultas por condición.
Qué sostiene esta confianza — y qué sigue sin probarse.
Juicio editorial sobre la transferibilidad de esta lectura; no mide calidad académica ni efecto local.
- FUENTE PRIMARIA
- DOCUMENTADO
Lectura primaria completa registrada sobre arXiv v1 · 25 agosto 2026; comprobación: 2026-08-31 · lectura primaria completa; HTML primario verificado.
- RÉPLICA LOCAL
- PENDIENTE
No se ha registrado una réplica independiente en este sitio. El código o los datos enlazados, cuando existen, no cuentan como réplica.
- LÍMITES
- DOCUMENTADO
3 límites declarados en la ficha.
- APLICABILIDAD
- ACOTADO
Hay una prueba de transferencia con entrada, métrica y parada; su resultado local todavía no se ha observado.
REGLA EDITORIALLos criterios no se promedian automáticamente. Una fuente leída, un límite claro o un protocolo propuesto no equivalen a una réplica ni a un resultado local.
Qué está reportado y qué conviene comprobar.
El protocolo cubre 27 configuraciones de tres retrievers, tres generadores y tres datasets, con 10.000 consultas por configuración.
27 × 10.000 consultas · baseline: Diseño factorial del estudio · contexto: KILT datasets
El modelo separa retrieval success, abstention, task success y generator success para explicar el resultado final.
P(R, A, T, G) · baseline: Task success agregado · contexto: Modelo y análisis bayesiano
Las anotaciones de recuperación son más informativas para la adherencia de la política que las anotaciones de task success aisladas.
Comparación de información de observaciones · baseline: Task success solamente · contexto: Análisis de condicionales
Qué estudiaron y qué cambia.
La síntesis está separada de los resultados reportados y de las inferencias.PREGUNTA / The RAT intenta separar cuatro eventos que suelen colapsarse en una métrica: encontrar evidencia, abstenerse, resolver la tarea y generar la respuesta.
MÉTODO / El estudio evalúa 27 configuraciones con tres retrievers, tres generadores y tres datasets, y selecciona 10.000 consultas por configuración.
RESULTADO / La lectura sostiene que las etiquetas de retrieval success son más informativas para la adherencia de la política que observar sólo task success; el protocolo incluye una respuesta explícita I do not know.
LÍMITE / El valor del modelo depende de calibración y de la calidad del juez. Debe incorporarse como estructura de diagnóstico, no como una cifra universal de fiabilidad.
- PROBLEMA
- El éxito final de una respuesta no identifica la frontera entre evidencia disponible, decisión de abstenerse y capacidad de generación.
- MÉTODO
- The RAT construye un modelo bayesiano que separa éxito de recuperación, decisión de abstención, éxito de tarea y éxito del generador. Evalúa 27 configuraciones —tres retrievers, tres generadores y tres datasets— con 10.000 consultas por condición y un juez automatizado calibrado.
- TIPO DE EVIDENCIA
- La contribución verificable es la descomposición de la política: las anotaciones de retrieval success aportan más información sobre adherencia que observar únicamente task success, y la salida explícita I do not know permite separar cobertura de sobreconfianza.
- LÍMITE
- El modelo depende de supuestos de calibración, del juez y de los datasets KILT. Es un marco de evaluación, no una garantía de que una política concreta vaya a abstenerse correctamente fuera de esa distribución.
La lectura también deja rastro.
Guarda una observación junto a la evidencia. Tú escribes aquí; los agentes pueden añadir notas por MCP y aparecerán identificados.
LECTURA AMPLIADAMetodología, implicaciones y preguntas para volver al paper.+
The RAT construye un modelo bayesiano que separa éxito de recuperación, decisión de abstención, éxito de tarea y éxito del generador. Evalúa 27 configuraciones —tres retrievers, tres generadores y tres datasets— con 10.000 consultas por condición y un juez automatizado calibrado.
Da una gramática de evaluación para políticas de evidencia y permite comparar jueces, retrievers y generadores sin convertir la abstención en un fallo silencioso.
El modelo depende de supuestos de calibración, del juez y de los datasets KILT. Es un marco de evaluación, no una garantía de que una política concreta vaya a abstenerse correctamente fuera de esa distribución.
Cómo lo llevaría a un proyecto
Cambiar el score del evaluador interno a un vector con retrieval, abstención, tarea, generador y calibración; no aceptar un aumento de answer rate si sube el riesgo de respuesta sin evidencia.
Preguntas que conviene probar
- ¿Qué componente falla cuando una respuesta no tiene soporte?
- ¿El juez detecta correctamente recuperación irrelevante y fuente contradictoria?
Si tuviera que convertirlo en una prueba mañana.
Mi lectura
Una métrica de respuesta sin una métrica de recuperación y abstención puede premiar la confianza mal colocada.
Esta última frase es una inferencia editorial a partir del paper y de sus posibles implicaciones; no es una afirmación de los autores.
La prueba que queda en pie.
¿Qué combinación de retrieval y abstención reduce respuestas sin soporte?