# DiscoBench: When Search Agents Should Ask
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/discobench-when-search-agents-should-ask
- Fuente primaria: https://arxiv.org/abs/2606.27669
- Versión leída: v2
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Yiling Tao, Shihan Deng, Meiling Tao, Pengzhi Wei, Zhichao Hu, Zhihao Zhu
- Fecha del corte: 26 JUNIO 2026.
- Área: AGENTES · RAG · EVALUACIÓN

## Tesis y contexto

Benchmark para agentes de búsqueda que deben decidir cuándo preguntar aclaraciones en vez de seguir buscando. Incluye 211 muestras, 463 ambigüedades y 11 dominios reales. Muestra que detectar ambigüedad y formular buenas preguntas son capacidades distintas.

- Problema: Los agentes deep-search asumen que la query del usuario es completa.
- Por qué importa: Afecta directamente a asistentes de investigación, soporte y búsqueda empresarial.

## Evidencia reportada

- **reported-result**: Under the Neutral setting, the best-performing model, Doubao-Seed-2.0-Pro, achieves only 43.1% end-to-end accuracy, while Gemini-3.1-Pro reaches 40.8%. [localizador](https://arxiv.org/html/2606.27669#S5)
- **reported-result**: Most other models remain below 40%, and weaker models such as MiniMax-M2.7 and Qwen3.6-Max achieve only 16.1% and 12.3%, respectively. [localizador](https://arxiv.org/html/2606.27669#S5)
- **reported-result**: For example, Claude-Opus-4.7 achieves a checkpoint pass rate of 57.0% but only 39.8% accuracy. [localizador](https://arxiv.org/html/2606.27669#S5)
- **reported-result**: Guided prompting generally improves model performance by explicitly encouraging the agent to identify ambiguity and ask clarification questions when necessary. [localizador](https://arxiv.org/html/2606.27669#S5)

## Lectura y límite

- Método: La lectura de 4 Methodology of Dataset Construction describe la intervención y su construcción: We construct DiscoBench , an interactive ambiguous question answering (QA) benchmark designed to evaluate whether LLMs can identify ambiguity, proactively request clarification, and recover correct reasoning trajectories in multi-turn open-domain search tasks. As illustrated in Fig. 3 , the construction pipeline consists of two phases: (1) Seed Data Preparation , which builds high-quality multi-hop reasoning chains, and (2) Ambiguous Data Construction , which injects ambiguity and generates discriminative facts for interactive disambiguation. The entire pipeline adopts a semi-automatic collaborative framework.…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: We introduced DiscoBench , a benchmark for evaluating clarification-aware deep search. DiscoBench models ambiguity as a dynamic issue that emerges during multi-step search and uses structured checkpoints to evaluate whether search agents can detect ambiguity, ask for clarification, and recover correct reasoning paths with user-provided clues. Experiments show that current LLM-based search agents still struggle with interactive deep search. Guided…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2606.27669): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2606.27669): tipo abstract
- [Método · 4 Methodology of Dataset Construction](https://arxiv.org/html/2606.27669#S4): tipo section
- [Evaluación · 5 Experiments](https://arxiv.org/html/2606.27669#S5): tipo section
- [Cierre · 6 Conclusion](https://arxiv.org/html/2606.27669#S6): tipo section

## Próxima prueba

- ¿La propuesta mejora agentes web frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [The Devil Is in the Interface](https://luiseduardodemiguel.com/research-ia/markdown/papers/devil-interface)
- [SkillSentry](https://luiseduardodemiguel.com/research-ia/markdown/papers/skillsentry)