# Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/claw-swe-bench-a-benchmark-for-evaluating-openclaw-style-agent-harnesses
- Fuente primaria: https://arxiv.org/abs/2606.12344
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Mengyu Zheng, Kai Han, Boxun Li, Haiyang Xu, Yuchuan Tian, Wei He, Hang Zhou, Jianyuan Guo, Hailin Hu, Lin Ma, Chao Xu, Guohao Dai, Lixue Xia, Yunchao Wei, Yunhe Wang, Yu Wang
- Fecha del corte: 10 JUNIO 2026.
- Área: AGENTES · EVALUACIÓN · CODING

## Tesis y contexto

Benchmark para evaluar agentes generalistas de código bajo un protocolo comparable a SWE-bench. Incluye 350 instancias de resolución de issues en 8 lenguajes y 43 repositorios, con contrato de workspace, presupuesto de ejecución, extracción de patches y evaluador común.

- Problema: Los agentes generalistas no encajan bien en el contrato limpio de SWE-bench, lo que dificulta comparar su capacidad real de programar.
- Por qué importa: La generación de código está migrando de “completar snippets” a “resolver issues enteras con herramientas”. Medir el harness será tan importante como medir el modelo.

## Evidencia reportada

- **reported-result**: The highest resolved rate is achieved by GPT 5.5, at 78.0\% (273/350), followed by Claude Opus 4.7 at 77.1\% (270/350). [localizador](https://arxiv.org/html/2606.12344#S5)
- **reported-result**: GPT 5.5 has the highest Pass@1, but its full 350-instance run costs \$1399.1 ; Claude Opus 4.7 is only 0.9 pp lower, with cost \$1082.0 . [localizador](https://arxiv.org/html/2606.12344#S5)
- **reported-result**: Yet Claude Opus 4.7 and GPT 5.5 also have cache hit rates near 97\% , while their total costs still exceed \$1000 . [localizador](https://arxiv.org/html/2606.12344#S5)
- **reported-result**: Figure shows that Pass@1 after cleanup is never higher than before cleanup, consistent with the expectation that future-commit visibility can inflate resolved rate. [localizador](https://arxiv.org/html/2606.12344#S5)

## Lectura y límite

- Método: La lectura de 2 Claw-SWE-Bench describe la intervención y su construcción: The first question in this paper is whether a general-purpose agent such as OpenClaw can enter a SWE-bench-style evaluation of real coding tasks. To make this question experimentally testable, we first specify the SWE-bench [ 16 ] scoring contract. Given the problem_statement , target repo , and base_commit for a real GitHub issue, a system must submit a diff patch that can be applied to the repository checkout. The official evaluation harness does not read an interaction trace or a final natural-language answer. It reads a prediction file in which each instance contains at least instance_id , model_name_or_path…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Results.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: Claw-SWE-Bench measures coding-agent capability on real software bugs. This dual-use surface mirrors that of upstream SWE-bench: stronger coding-agent performance benefits software maintenance and accessibility, but the same capability can in principle be applied to autonomous exploitation of vulnerable software. We mitigate by releasing only the benchmark protocol and the instance instance_id list (not vulnerable patches as targets), inheriting the…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Results.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.12344): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.12344): tipo abstract
- [Método · 2 Claw-SWE-Bench](https://arxiv.org/html/2606.12344#S2): tipo section
- [Evaluación · 5 Results](https://arxiv.org/html/2606.12344#S5): tipo section
- [Cierre · 7 Conclusion and Discussion](https://arxiv.org/html/2606.12344#S7): tipo section

## Próxima prueba

- ¿La propuesta mejora evaluación de Codex/Cursor/Devin-like agents frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://github.com/opensquilla/claw-swe-bench](https://github.com/opensquilla/claw-swe-bench)
- [https://huggingface.co/datasets/TokenRhythm/Claw-SWE-Bench](https://huggingface.co/datasets/TokenRhythm/Claw-SWE-Bench)
- [https://github.com/QwenLM/Qwen3.6](https://github.com/QwenLM/Qwen3.6)
- [https://github.com/claw-bench/claw-bench](https://github.com/claw-bench/claw-bench)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)