Qué probaría antes de escalar esta idea.
- PREGUNTA DE PRUEBA
- ¿La propuesta mejora evaluación de AI scientists frente a la línea base actual?
- ENTRADA
- evaluación de AI scientists con un conjunto pequeño de casos representativos y la misma métrica o protocolo que la fuente cuando sea reproducible.
- MÉTRICA
- Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- PARADA
- Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.
La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Results.
Esta prueba es una propuesta editorial: no es un resultado reportado por los autores.
Lo esencial antes de invertir más tiempo.
Introduce las shadow evaluations: se entrega a un agente la pregunta central de un paper de alta calidad todavía no publicado y los autores originales evalúan el trabajo resultante. Los agentes recibieron seis días y miles de dólares de cómputo. Completaron la ingeniería experimental, pero no produjeron avances científicos sustanciales.
Those runs suffered from the same failure modes, but also suffered from poor literature review and much worse writing quality.
Resultado reportado con fuente enlazada · 5 localizadores disponibles.La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Results.
La relevancia práctica todavía necesita contraste editorial.
Introduce las shadow evaluations: se entrega a un agente la pregunta central de un paper de alta calidad todavía no publicado y los autores originales evalúan el trabajo resultante. Los agentes recibieron seis días y miles de dólares de cómputo. Completaron la ingeniería experimental, pero no produjeron avances científicos sustanciales.
Qué sostiene esta confianza — y qué sigue sin probarse.
Juicio editorial sobre la transferibilidad de esta lectura; no mide calidad académica ni efecto local.
- FUENTE PRIMARIA
- DOCUMENTADO
Lectura primaria completa registrada sobre v2; comprobación: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente.
- RÉPLICA LOCAL
- PENDIENTE
No se ha registrado una réplica independiente en este sitio. El código o los datos enlazados, cuando existen, no cuentan como réplica.
- LÍMITES
- DOCUMENTADO
3 límites declarados en la ficha.
- APLICABILIDAD
- ACOTADO
Hay una prueba de transferencia con entrada, métrica y parada; su resultado local todavía no se ha observado.
REGLA EDITORIALLos criterios no se promedian automáticamente. Una fuente leída, un límite claro o un protocolo propuesto no equivalen a una réplica ni a un resultado local.
Qué está reportado y qué conviene comprobar.
Those runs suffered from the same failure modes, but also suffered from poor literature review and much worse writing quality.
contexto: 4 Results
This shows that despite the weak performance observed in our final experiments, more reasoning helped improve performance.
contexto: 4 Results
We tentatively think that more reasoning effort within model calls might improve performance, but more wall-clock time or resources would not significantly change the results.
contexto: 4 Results
After our initial pilots, in addition to increasing reasoning effort, we conducted a comprehensive manual log analysis ourselves, and then tasked Claude Fable 5 with improving our scaffold based on the failures observed in the pilots.
contexto: 4 Results
Qué estudiaron y qué cambia.
La síntesis está separada de los resultados reportados y de las inferencias.PROBLEMA / La señal entra en el radar porque Los benchmarks verificables miden tareas estrechas, mientras que enviar papers generados a revisión académica introduce mucho ruido. Por qué puede ser importante: Es una corrección necesaria frente a predicciones de automatización total de la ciencia. Identifica fallos recurrentes en criterio científico, creatividad, backtracking, uso de recursos y mantenimiento del objetivo.
MÉTODO / La lectura de 2 Shadow evaluations: A new method for measuring progress towards automating AI research describe la intervención y su construcción: Evaluating automated AI research requires a way to measure the quality of the research that agents produce. Most existing evaluations use one of two approaches: evaluations on verifiable tasks or blind review. In evaluations on verifiable tasks, the agent improves a fixed metric, and an automatic verifier scores the result. There are many examples of such evaluations: RE-Bench ( 44 ) asks agents to solve research-engineering problems, MLE-Bench ( 4 ) asks them to compete in Kaggle competitions, and PostTrainBench asks them to post-train small language models against Q&A benchmarks ( 35 ) . MLS-Bench ( 24 )… [Fuente: https://arxiv.org/html/2607.27191#S2]
RESULTADO / La sección 4 Results informa: Those runs suffered from the same failure modes, but also suffered from poor literature review and much worse writing quality. This shows that despite the weak performance observed in our final experiments, more reasoning helped improve performance. We tentatively think that more reasoning effort within model calls might improve performance, but more wall-clock time or resources would not significantly change the results. [Fuente: https://arxiv.org/html/2607.27191#S4]
LÍMITE / El cierre de la fuente señala: Nevertheless, there are good reasons to view the distinction between AI capabilities on verifiable tasks and open-ended research problems as germane to the question of accelerating AI R&D. Anthropic’s post on self-improvement explicitly cites Claude’s rising success rate on LLM-judged "open-ended" Claude Code sessions as evidence of self-improvement ( 10 ) . A recent report from the Elasticity Institute on the economics of recursive self-improvement… La transferencia a evaluación de AI scientists requiere repetir la comparación con datos y criterios propios [Fuente: https://arxiv.org/html/2607.27191#S7].
- PROBLEMA
- Los benchmarks verificables miden tareas estrechas, mientras que enviar papers generados a revisión académica introduce mucho ruido. Por qué puede ser importante: Es una corrección necesaria frente a predicciones de automatización total de la ciencia. Identifica fallos recurrentes en criterio científico, creatividad, backtracking, uso de recursos y mantenimiento del objetivo.
- MÉTODO
- La lectura de 2 Shadow evaluations: A new method for measuring progress towards automating AI research describe la intervención y su construcción: Evaluating automated AI research requires a way to measure the quality of the research that agents produce. Most existing evaluations use one of two approaches: evaluations on verifiable tasks or blind review. In evaluations on verifiable tasks, the agent improves a fixed metric, and an automatic verifier scores the result. There are many examples of such evaluations: RE-Bench ( 44 ) asks agents to solve research-engineering problems, MLE-Bench ( 4 ) asks them to compete in Kaggle competitions, and PostTrainBench asks them to post-train small language models against Q&A benchmarks ( 35 ) . MLS-Bench ( 24 )…
- TIPO DE EVIDENCIA
- La sección 4 Results informa 4 hallazgo(s) extraído(s) desde la fuente. El resultado principal se conserva con el localizador de sección https://arxiv.org/html/2607.27191#S4.
- LÍMITE
- La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Results.
La lectura también deja rastro.
Guarda una observación junto a la evidencia. Tú escribes aquí; los agentes pueden añadir notas por MCP y aparecerán identificados.
LECTURA AMPLIADAMetodología, implicaciones y preguntas para volver al paper.+
La lectura de 2 Shadow evaluations: A new method for measuring progress towards automating AI research describe la intervención y su construcción: Evaluating automated AI research requires a way to measure the quality of the research that agents produce. Most existing evaluations use one of two approaches: evaluations on verifiable tasks or blind review. In evaluations on verifiable tasks, the agent improves a fixed metric, and an automatic verifier scores the result. There are many examples of such evaluations: RE-Bench ( 44 ) asks agents to solve research-engineering problems, MLE-Bench ( 4 ) asks them to compete in Kaggle competitions, and PostTrainBench asks them to post-train small language models against Q&A benchmarks ( 35 ) . MLS-Bench ( 24 )…
La relevancia práctica todavía necesita contraste editorial.
La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 4 Results.
Cómo lo llevaría a un proyecto
Probar la propuesta en evaluación de AI scientists reproduciendo primero la comparación y registrando calidad, coste, latencia y errores.
Preguntas que conviene probar
- ¿La mejora se mantiene cuando evaluación de AI scientists cambia de dominio o distribución?
- ¿Qué componente del método explica la mayor parte del resultado y qué baseline lo pone realmente a prueba?
Si tuviera que convertirlo en una prueba mañana.
Mi lectura
La pregunta operativa es si evaluación de AI scientists puede medirse con una línea base y un criterio de parada claros.
Esta última frase es una inferencia editorial a partir del paper y de sus posibles implicaciones; no es una afirmación de los autores.
La prueba que queda en pie.
¿La propuesta mejora evaluación de AI scientists frente a la línea base actual?