Lo esencial antes de invertir más tiempo.
Benchmark para evaluar agentes generalistas de código bajo un protocolo comparable a SWE-bench. Incluye 350 instancias de resolución de issues en 8 lenguajes y 43 repositorios, con contrato de workspace, presupuesto de ejecución, extracción de patches y evaluador común.
The highest resolved rate is achieved by GPT 5.5, at 78.0\% (273/350), followed by Claude Opus 4.7 at 77.1\% (270/350).
Resultado reportado con fuente enlazada · 5 localizadores disponibles.La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Results.
Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
Benchmark para evaluar agentes generalistas de código bajo un protocolo comparable a SWE-bench. Incluye 350 instancias de resolución de issues en 8 lenguajes y 43 repositorios, con contrato de workspace, presupuesto de ejecución, extracción de patches y evaluador común.
Qué está reportado y qué conviene comprobar.
The highest resolved rate is achieved by GPT 5.5, at 78.0\% (273/350), followed by Claude Opus 4.7 at 77.1\% (270/350).
contexto: 5 Results
GPT 5.5 has the highest Pass@1, but its full 350-instance run costs \$1399.1 ; Claude Opus 4.7 is only 0.9 pp lower, with cost \$1082.0 .
contexto: 5 Results
Yet Claude Opus 4.7 and GPT 5.5 also have cache hit rates near 97\% , while their total costs still exceed \$1000 .
contexto: 5 Results
Figure shows that Pass@1 after cleanup is never higher than before cleanup, consistent with the expectation that future-commit visibility can inflate resolved rate.
contexto: 5 Results
Qué estudiaron y qué cambia.
La síntesis está separada de los resultados reportados y de las inferencias.PROBLEMA / La señal entra en el radar porque Los agentes generalistas no encajan bien en el contrato limpio de SWE-bench, lo que dificulta comparar su capacidad real de programar.
MÉTODO / La lectura de 2 Claw-SWE-Bench describe la intervención y su construcción: The first question in this paper is whether a general-purpose agent such as OpenClaw can enter a SWE-bench-style evaluation of real coding tasks. To make this question experimentally testable, we first specify the SWE-bench [ 16 ] scoring contract. Given the problem_statement , target repo , and base_commit for a real GitHub issue, a system must submit a diff patch that can be applied to the repository checkout. The official evaluation harness does not read an interaction trace or a final natural-language answer. It reads a prediction file in which each instance contains at least instance_id , model_name_or_path… [Fuente: https://arxiv.org/html/2606.12344#S2]
RESULTADO / La sección 5 Results informa: The highest resolved rate is achieved by GPT 5.5, at 78.0\% (273/350), followed by Claude Opus 4.7 at 77.1\% (270/350). GPT 5.5 has the highest Pass@1, but its full 350-instance run costs \$1399.1 ; Claude Opus 4.7 is only 0.9 pp lower, with cost \$1082.0 . Yet Claude Opus 4.7 and GPT 5.5 also have cache hit rates near 97\% , while their total costs still exceed \$1000 . [Fuente: https://arxiv.org/html/2606.12344#S5]
LÍMITE / El cierre de la fuente señala: Claw-SWE-Bench measures coding-agent capability on real software bugs. This dual-use surface mirrors that of upstream SWE-bench: stronger coding-agent performance benefits software maintenance and accessibility, but the same capability can in principle be applied to autonomous exploitation of vulnerable software. We mitigate by releasing only the benchmark protocol and the instance instance_id list (not vulnerable patches as targets), inheriting the… La transferencia a evaluación de Codex/Cursor/Devin-like agents requiere repetir la comparación con datos y criterios propios [Fuente: https://arxiv.org/html/2606.12344#S7].
La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Results.
- PROBLEMA
- Los agentes generalistas no encajan bien en el contrato limpio de SWE-bench, lo que dificulta comparar su capacidad real de programar.
- MÉTODO
- La lectura de 2 Claw-SWE-Bench describe la intervención y su construcción: The first question in this paper is whether a general-purpose agent such as OpenClaw can enter a SWE-bench-style evaluation of real coding tasks. To make this question experimentally testable, we first specify the SWE-bench [ 16 ] scoring contract. Given the problem_statement , target repo , and base_commit for a real GitHub issue, a system must submit a diff patch that can be applied to the repository checkout. The official evaluation harness does not read an interaction trace or a final natural-language answer. It reads a prediction file in which each instance contains at least instance_id , model_name_or_path…
- TIPO DE EVIDENCIA
- La sección 5 Results informa 4 hallazgo(s) extraído(s) desde la fuente. El resultado principal se conserva con el localizador de sección https://arxiv.org/html/2606.12344#S5.
- LÍMITE
- La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Results.
La lectura también deja rastro.
Guarda una observación junto a la evidencia. Tú escribes aquí; los agentes pueden añadir notas por MCP y aparecerán identificados.
LECTURA AMPLIADAMetodología, implicaciones y preguntas para volver al paper.+
La lectura de 2 Claw-SWE-Bench describe la intervención y su construcción: The first question in this paper is whether a general-purpose agent such as OpenClaw can enter a SWE-bench-style evaluation of real coding tasks. To make this question experimentally testable, we first specify the SWE-bench [ 16 ] scoring contract. Given the problem_statement , target repo , and base_commit for a real GitHub issue, a system must submit a diff patch that can be applied to the repository checkout. The official evaluation harness does not read an interaction trace or a final natural-language answer. It reads a prediction file in which each instance contains at least instance_id , model_name_or_path…
La generación de código está migrando de “completar snippets” a “resolver issues enteras con herramientas”. Medir el harness será tan importante como medir el modelo.
La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Results.
Cómo lo llevaría a un proyecto
Probar la propuesta en evaluación de Codex/Cursor/Devin-like agents reproduciendo primero la comparación y registrando calidad, coste, latencia y errores.
Preguntas que conviene probar
- ¿La mejora se mantiene cuando evaluación de Codex/Cursor/Devin-like agents cambia de dominio o distribución?
- ¿Qué componente del método explica la mayor parte del resultado y qué baseline lo pone realmente a prueba?
Si tuviera que convertirlo en una prueba mañana.
Mi lectura
La pregunta operativa es si evaluación de Codex/Cursor/Devin-like agents puede medirse con una línea base y un criterio de parada claros.
Esta última frase es una inferencia editorial a partir del paper y de sus posibles implicaciones; no es una afirmación de los autores.