Qué probaría antes de escalar esta idea.
- PREGUNTA DE PRUEBA
- ¿Un gate de retrieval preciso mejora la resolución global de issues nuevos sin llenar el contexto de resultados irrelevantes?
- ENTRADA
- 100 issues posteriores y tres condiciones: sin retrieval, retrieval siempre activo y CodeGrep con umbral congelado.
- MÉTRICA
- Resolución total, precisión del contexto recuperado, rondas, tokens, tests y regresiones introducidas.
- PARADA
- Parar si la resolución no aumenta 3 puntos o si más de 10% de los retrievals añade contexto irrelevante.
La ganancia depende de la precisión del retriever y del entorno de worktree; un retrieval mediocre puede empeorar el agente, y la eficiencia observada no garantiza el mismo resultado en repositorios fuera de la distribución.
Esta prueba es una propuesta editorial: no es un resultado reportado por los autores.
Lo esencial antes de invertir más tiempo.
CodeGrep es un agente de retrieval de 14B que coordina grep, glob y lectura multi-turn para devolver candidatos a un agente de código congelado.
CodeGrep resuelve 27,0% de SWE-Bench Verified frente a 25,8% sin retrieval, con 15% menos rondas y 19% menos tokens en los issues resueltos.
Resultado reportado con fuente enlazada · 3 localizadores disponibles.La ganancia depende de la precisión del retriever y del entorno de worktree; un retrieval mediocre puede empeorar el agente, y la eficiencia observada no garantiza el mismo resultado en repositorios fuera de la distribución.
Un retriever no ayuda por existir: debe superar un umbral de precisión. Cuando lo hace, puede mantener o mejorar la resolución reduciendo rondas y tokens.
CodeGrep es un agente de retrieval de 14B que coordina grep, glob y lectura multi-turn para devolver candidatos a un agente de código congelado.
Qué sostiene esta confianza — y qué sigue sin probarse.
Juicio editorial sobre la transferibilidad de esta lectura; no mide calidad académica ni efecto local.
- FUENTE PRIMARIA
- DOCUMENTADO
Lectura primaria completa registrada sobre v1; comprobación: 2026-08-20 · método, resultado y límites revisados; fuente primaria enlazada.
- RÉPLICA LOCAL
- PENDIENTE
No se ha registrado una réplica independiente en este sitio. El código o los datos enlazados, cuando existen, no cuentan como réplica.
- LÍMITES
- DOCUMENTADO
3 límites declarados en la ficha.
- APLICABILIDAD
- ACOTADO
Hay una prueba de transferencia con entrada, métrica y parada; su resultado local todavía no se ha observado.
REGLA EDITORIALLos criterios no se promedian automáticamente. Una fuente leída, un límite claro o un protocolo propuesto no equivalen a una réplica ni a un resultado local.
Qué está reportado y qué conviene comprobar.
CodeGrep resuelve 27,0% de SWE-Bench Verified frente a 25,8% sin retrieval, con 15% menos rondas y 19% menos tokens en los issues resueltos.
27,0% vs 25,8%; -15% rondas; -19% tokens · baseline: sin retrieval · contexto: 500 issues de SWE-Bench Verified; umbral de precisión 0,677
Qué estudiaron y qué cambia.
La síntesis está separada de los resultados reportados y de las inferencias.CodeGrep observa que los coding agents modernos gastan una parte desproporcionada de su presupuesto en localizar el archivo que deben cambiar. La exploración con grep, glob y view_file puede ser correcta pero repetitiva, y deja menos presupuesto para comprender, editar y verificar el parche.
El paper separa esa fase y entrena un retriever de 14B con GRPO para emitir llamadas multi-turn y paralelas. El agente downstream permanece congelado y recibe una lista de archivos candidatos. La contribución no es otro contexto más grande, sino una política aprendida para reducir el espacio de búsqueda del repositorio.
En las 500 instancias de SWE-Bench Verified, CodeGrep alcanza 27,0% de resolución frente a 25,8% del baseline sin retrieval; en las issues resueltas usa 15% menos rondas y 19% menos tokens. La comparación entre retrievers encuentra una condición relevante: BM25 con precisión 0,375 degrada, Jina con 0,445 es neutral y CodeGrep con 0,677 cruza el umbral de utilidad.
La lectura útil para un harness es que retrieval debe ganarse su sitio con una métrica de precisión y coste, no asumirse como mejora automática. El trabajo anuncia release de modelo, pipeline y entorno, pero la disponibilidad anunciada no equivale todavía a una dependencia reproducible para cualquier repositorio.
- PROBLEMA
- En SWE-Bench Verified, una parte importante de las rondas y tokens se va en explorar el repositorio antes de escribir el parche.
- MÉTODO
- Entrena con GRPO un retriever de 14B que hace grep, glob y lecturas paralelas multi-turn y entrega archivos candidatos a un agente de código posterior que permanece congelado.
- TIPO DE EVIDENCIA
- 500 issues de SWE-Bench Verified: 27,0% de resolución frente a 25,8% sin retrieval, con 15% menos rondas y 19% menos tokens en issues resueltas; el umbral de precisión de CodeGrep es 0,677.
- LÍMITE
- La ganancia depende de la precisión del retriever y del entorno de worktree; un retrieval mediocre puede empeorar el agente, y la eficiencia observada no garantiza el mismo resultado en repositorios fuera de la distribución.
La exploración del repositorio se convierte en una política medible.
Retrieval solo mejora un coding agent cuando devuelve evidencia suficientemente precisa.
La ficha no incrusta una figura primaria porque su licencia o permiso específico no consta en el registro editorial. La fuente permanece enlazada para comprobarla.
Comprobar fuente primaria ↗ (sitio externo; abre en una pestaña nueva)La lectura también deja rastro.
Guarda una observación junto a la evidencia. Tú escribes aquí; los agentes pueden añadir notas por MCP y aparecerán identificados.
LECTURA AMPLIADAMetodología, implicaciones y preguntas para volver al paper.+
Entrena con GRPO un retriever de 14B que hace grep, glob y lecturas paralelas multi-turn y entrega archivos candidatos a un agente de código posterior que permanece congelado.
Un retriever no ayuda por existir: debe superar un umbral de precisión. Cuando lo hace, puede mantener o mejorar la resolución reduciendo rondas y tokens.
La ganancia depende de la precisión del retriever y del entorno de worktree; un retrieval mediocre puede empeorar el agente, y la eficiencia observada no garantiza el mismo resultado en repositorios fuera de la distribución.
Cómo lo llevaría a un proyecto
Medir por separado tiempo de exploración, precisión de archivos candidatos y éxito del parche antes de dar a un coding agent una herramienta de retrieval especializada.
Preguntas que conviene probar
- ¿Cuál es el umbral de precisión de retrieval en nuestro repositorio?
- ¿Qué evidencia debe devolver el retriever para que el agente pueda corregir sin reexplorar?
Si tuviera que convertirlo en una prueba mañana.
Mi lectura
Antes de ampliar el contexto de un agente, conviene medir si el retriever realmente encuentra el contexto decisivo.
Esta última frase es una inferencia editorial a partir del paper y de sus posibles implicaciones; no es una afirmación de los autores.
La prueba que queda en pie.
¿Un gate de retrieval preciso mejora la resolución global de issues nuevos sin llenar el contexto de resultados irrelevantes?