# DiscoBench: When Search Agents Should Ask
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/discobench-when-search-agents-should-ask
- Fuente primaria: https://arxiv.org/abs/2606.27669
- Versión leída: v2
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Yiling Tao, Shihan Deng, Meiling Tao, Pengzhi Wei, Zhichao Hu, Zhihao Zhu
- Fecha del corte: 26 JUNIO 2026.
- Área: AGENTES · RAG · EVALUACIÓN
- Recurso MCP exacto: research://paper/discobench-when-search-agents-should-ask

## Estado de uso de imagen

- Estado: NO REPRODUCIDA
- Decisión editorial: La ficha no incrusta una figura primaria porque su licencia o permiso específico no consta en el registro editorial. La fuente permanece enlazada para comprobarla.
- [Comprobar fuente primaria](https://arxiv.org/abs/2606.27669)

## Tesis y contexto

Benchmark para agentes de búsqueda que deben decidir cuándo preguntar aclaraciones en vez de seguir buscando. Incluye 211 muestras, 463 ambigüedades y 11 dominios reales. Muestra que detectar ambigüedad y formular buenas preguntas son capacidades distintas.

- Problema: Los agentes deep-search asumen que la query del usuario es completa.
- Por qué importa: Afecta directamente a asistentes de investigación, soporte y búsqueda empresarial.

## Evidencia reportada

- **reported-result**: Under the Neutral setting, the best-performing model, Doubao-Seed-2.0-Pro, achieves only 43.1% end-to-end accuracy, while Gemini-3.1-Pro reaches 40.8%. [localizador](https://arxiv.org/html/2606.27669#S5)
- **reported-result**: Most other models remain below 40%, and weaker models such as MiniMax-M2.7 and Qwen3.6-Max achieve only 16.1% and 12.3%, respectively. [localizador](https://arxiv.org/html/2606.27669#S5)
- **reported-result**: For example, Claude-Opus-4.7 achieves a checkpoint pass rate of 57.0% but only 39.8% accuracy. [localizador](https://arxiv.org/html/2606.27669#S5)
- **reported-result**: Guided prompting generally improves model performance by explicitly encouraging the agent to identify ambiguity and ask clarification questions when necessary. [localizador](https://arxiv.org/html/2606.27669#S5)

## Lectura y límite

- Método: La lectura de 4 Methodology of Dataset Construction describe la intervención y su construcción: We construct DiscoBench , an interactive ambiguous question answering (QA) benchmark designed to evaluate whether LLMs can identify ambiguity, proactively request clarification, and recover correct reasoning trajectories in multi-turn open-domain search tasks. As illustrated in Fig. 3 , the construction pipeline consists of two phases: (1) Seed Data Preparation , which builds high-quality multi-hop reasoning chains, and (2) Ambiguous Data Construction , which injects ambiguity and generates discriminative facts for interactive disambiguation. The entire pipeline adopts a semi-automatic collaborative framework.…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: We introduced DiscoBench , a benchmark for evaluating clarification-aware deep search. DiscoBench models ambiguity as a dynamic issue that emerges during multi-step search and uses structured checkpoints to evaluate whether search agents can detect ambiguity, ask for clarification, and recover correct reasoning paths with user-provided clues. Experiments show that current LLM-based search agents still struggle with interactive deep search. Guided…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.

## Base de la confianza editorial

> Juicio editorial sobre la transferibilidad de esta lectura; no mide calidad académica ni efecto local.

| Criterio | Estado | Base observable |
|---|---|---|
| FUENTE PRIMARIA | DOCUMENTADO | Lectura primaria completa registrada sobre v2; comprobación: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente. |
| RÉPLICA LOCAL | PENDIENTE | No se ha registrado una réplica independiente en este sitio. El código o los datos enlazados, cuando existen, no cuentan como réplica. |
| LÍMITES | DOCUMENTADO | 3 límites declarados en la ficha. |
| APLICABILIDAD | ACOTADO | Hay una prueba de transferencia con entrada, métrica y parada; su resultado local todavía no se ha observado. |

- Regla editorial: Los criterios no se promedian automáticamente. Una fuente leída, un límite claro o un protocolo propuesto no equivalen a una réplica ni a un resultado local.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.27669): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.27669): tipo abstract
- [Método · 4 Methodology of Dataset Construction](https://arxiv.org/html/2606.27669#S4): tipo section
- [Evaluación · 5 Experiments](https://arxiv.org/html/2606.27669#S5): tipo section
- [Cierre · 6 Conclusion](https://arxiv.org/html/2606.27669#S6): tipo section

## Próxima prueba

- ¿La propuesta mejora agentes web frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)