# TransMem: Transforming Hidden States into Memory for Large Language Models
> Ficha editorial pública de Research IA. Estado: Lectura primaria completa. La interpretación editorial no sustituye la fuente primaria.

- Página canónica: https://luiseduardodemiguel.com/research-ia/papers/transmem-transforming-hidden-states-into-memory-for-large-language-model
- Fuente primaria: https://arxiv.org/abs/2607.29032
- Versión leída: v1
- Fuente comprobada: 2026-08-19 · lectura primaria completa; extracción editorial automatizada, revisión humana pendiente
- Autores: Haodong Lei, Junming Liu, Yirong Chen, Pinlong Cai, Botian Shi, Ding Wang, Hongsong Wang
- Fecha del corte: 31 JULIO 2026.
- Área: MEMORIA · AGENTES · EVALUACIÓN

## Tesis y contexto

TransMem guarda una selección dispersa de estados ocultos históricos del modelo y los reutiliza como memoria. En vez de recuperar únicamente texto o resúmenes, conserva representaciones internas que condensan información ya procesada. Un estudiante con memoria aprende a igualar la distribución de un profesor que recibe solo la evidencia relevante.

- Problema: Los agentes con historiales largos pagan repetidamente por releer texto y pueden perder información importante al resumirlo. Por qué puede ser importante: Señala que la memoria futura podría residir parcialmente en el espacio latente, no solo en bases vectoriales o documentos. Mejora entre 11,58 y 29,25 puntos F1 en LoCoMo, entre 10,20 y 13,03 en HotpotQA, y eleva MemoryAgentBench de 29,54% a 40%.
- Por qué importa: La relevancia práctica todavía necesita contraste editorial.

## Evidencia reportada

- **reported-result**: As shown in Table 1 , TransMem consistently improves long-context reasoning performance across all evaluated models. [localizador](https://arxiv.org/html/2607.29032#Sx4)
- **reported-result**: On LoCoMo, it achieves relative improvements of at least 27% over the corresponding backbone models. [localizador](https://arxiv.org/html/2607.29032#Sx4)
- **reported-result**: On HotpotQA, TransMem yields relative EM improvements of approximately 14%. [localizador](https://arxiv.org/html/2607.29032#Sx4)
- **reported-result**: Although Llama3.1-8B-Instruct does not achieve performance comparable to the other two backbones, the transformer block within TransMem adopts the more advanced Qwen3 architecture, allowing it to achieve an F_{1} score of 51.64 on LoCoMo and 71.63 on HotpotQA. [localizador](https://arxiv.org/html/2607.29032#Sx4)

## Lectura y límite

- Método: La lectura de Method describe la intervención y su construcción: In this section, we present the TransMem framework, including its inference and training procedures. Figure 2 provides an overview of the framework. During inference, the frozen backbone performs its standard forward computation, while TransMem abstracts a small set of historical hidden states into a memory shift. This shift influences current output hidden states to better preserve key information from long contexts. We train TransMem through self-distillation to recover the predictive distribution of a teacher model conditioned on gold evidence, enabling the memory module to preserve crucial information while…
- Límite: La lectura primaria permite comprobar método y resultados en el HTML, pero no convierte sus conclusiones en validación independiente. La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en Experiments.
- Confianza editorial: Media
- Limitación: El cierre de la fuente señala: The results are nearly invariant over B\in\{4,8,16,32\} : increasing B from 4 to 32 changes EventQA by only 0.2 points and improves RULER-1 by 1.0 point, while the other three scores remain unchanged. This suggests that TransMem is not brittle to the precise segmentation granularity. We therefore retain B=4 as the default because it uses fewer memory states.
- Limitación: La ficha no demuestra transferencia fuera de los datasets, modelos, herramientas y condiciones descritos en Experiments.

## Localizadores de evidencia
- [Fuente primaria · canonical](https://arxiv.org/abs/2607.29032): tipo abstract
- [HTML · lectura completa](https://arxiv.org/html/2607.29032): tipo abstract
- [Método · Method](https://arxiv.org/html/2607.29032#Sx3): tipo section
- [Evaluación · Experiments](https://arxiv.org/html/2607.29032#Sx4): tipo section
- [Cierre · Conclusion](https://arxiv.org/html/2607.29032#Sx5): tipo section

## Próxima prueba

- ¿La propuesta mejora asistentes personales frente a la línea base actual?
- Métrica: Comparar la métrica principal de la fuente junto con calidad, coste, latencia y tasa de errores.
- Regla de parada: Parar si no aparece una mejora reproducible o si aumenta el riesgo, la complejidad o el coste sin compensación.

## Recursos reproducibles
- [the following issues](https://github.com/arXiv/html_feedback/issues)
- [list of packages that need conversion](https://github.com/brucemiller/LaTeXML/wiki/Porting-LaTeX-packages-for-LaTeXML)
- [developer contributions](https://github.com/brucemiller/LaTeXML/issues)

## Enlaces relacionados

- [CoEvo-Mem](https://luiseduardodemiguel.com/research-ia/markdown/papers/coevo-mem)
- [Agent Memory Distillation](https://luiseduardodemiguel.com/research-ia/markdown/papers/agent-memory-distillation)
- [LiveMem](https://luiseduardodemiguel.com/research-ia/markdown/papers/livemem)