# On Improving Faithfulness of Podcasts from Documents
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/on-improving-faithfulness-of-podcasts-from-documents
- Fuente primaria: https://arxiv.org/abs/2607.21961
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Soumya Dutta, Tejas Indulal Dhamecha, Pannaga Shivaswamy
- Fecha del corte: 24 JULIO 2026.
- Área: EVALUACIÓN · MULTIMODAL

## Tesis y contexto

Analiza sistemáticamente alucinaciones en podcasts generados desde documentos, construyendo un dataset de más de 1.500 documentos en cinco dominios. Incluso modelos avanzados introducen afirmaciones no respaldadas. Su enfoque catch-n-repair detecta turnos infieles y los reescribe manteniendo la conversación.

- Problema: Transformar un documento en contenido largo crea oportunidades acumulativas de alucinación.
- Por qué importa: El mismo patrón afecta a informes, newsletters, vídeos, resúmenes ejecutivos y contenido generado automáticamente.

## Evidencia reportada

- **reported-result**: The trained catch model achieves F1-scores of 79.9\% and 67.3\% on the faithful and unfaithful classes, respectively. [localizador](https://arxiv.org/html/2607.21961#S5)
- **reported-result**: The lower performance on unfaithful examples reflects the difficulty of detecting subtle yet plausible ungrounded content. [localizador](https://arxiv.org/html/2607.21961#S5)

## Lectura y límite

- Método: La lectura de 2 Related Work describe la intervención y su construcción: Generation of Podcasts from Documents : The task of generating podcasts directly from source documents has received relatively little attention in the research community. 13 proposed Mooncast, which leverages existing podcast scripts to produce long-form, engaging audio content. 26 proposed PodAgent, an LLM agent that generates podcast scripts based on a user-specified topic, without relying on a source document. In contrast, our work focuses on document-grounded podcast generation and systematically studies the faithfulness of generated transcripts to the underlying source material. Faithfulness in LLM…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: We present the first study of faithfulness in document-grounded podcast generation, which involves long-form, multi-speaker conversations. Our analysis across multiple LLMs and domains shows that even state-of-the-art models frequently generate ungrounded content, highlighting the difficulty of maintaining faithfulness in long-form conversational generation. To address this, we introduce a turn-level LLM-as-a-judge evaluation framework and validate its…
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en 5 Experiments.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2607.21961): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.21961): tipo abstract
- [Método · 2 Related Work](https://arxiv.org/html/2607.21961#S2): tipo section
- [Evaluación · 5 Experiments](https://arxiv.org/html/2607.21961#S5): tipo section
- [Cierre · 6 Conclusion](https://arxiv.org/html/2607.21961#S6): tipo section

## Próxima prueba

- ¿La propuesta mejora NotebookLM-like products frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [https://huggingface.co/Qwen/Qwen2.5-14B-Instruct/blob/main/LICENSE](https://huggingface.co/Qwen/Qwen2.5-14B-Instruct/blob/main/LICENSE)
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [VAKRA](https://luiseduardodemiguel.com/research-ia/markdown/papers/vakra)
- [VibeLifeBench](https://luiseduardodemiguel.com/research-ia/markdown/papers/vibelifebench)
- [KnowHal](https://luiseduardodemiguel.com/research-ia/markdown/papers/knowhal)