Herramientas de memoria pueden empeorar el rendimiento de modelos de IA

Una de las características más destacadas de los sistemas de inteligencia artificial modernos es su capacidad para adaptarse a los usuarios. Cada vez que un asistente de IA realiza una tarea, ajusta su respuesta según el estilo y las preferencias del usuario, incorporándolos como contexto para futuras interacciones. La teoría sostiene que con más contexto y mejor comprensión del usuario, el modelo mejora con cada uso.

Sin embargo, investigaciones recientes indican que esta capacidad adaptativa puede tener efectos contraproducentes. El miércoles, un equipo de investigadores de la empresa de IA Writer publicó dos estudios que demuestran cómo los sistemas de memoria populares pueden deteriorar el desempeño de los modelos, llevándolos a aceptar conceptos erróneos o malentendidos introducidos por el usuario. A medida que la entrada del usuario ocupa más espacio en la ventana de contexto del modelo, este se vuelve más complaciente y menos riguroso en cuanto a la precisión.

Dan Bikel, jefe de IA en Writer y colaborador de los estudios, explicó a TechCrunch que el objetivo era determinar con qué frecuencia un modelo presta atención útil a las preferencias del usuario frente a cuándo ofrece una respuesta potencialmente incorrecta. “Con cada almacenamiento y recuperación adicional de las preferencias del usuario, el riesgo aumenta”, afirmó.

En uno de los experimentos, los investigadores indicaron al modelo que el libro favorito del usuario era Station Eleven y luego le preguntaron por un libro distópico más vendido. Los modelos tendieron a mencionar Station Eleven como respuesta, aunque la pregunta no estaba relacionada con el libro favorito del usuario. Esta tendencia se incrementó al utilizar herramientas de compresión de memoria como Mem0 y Zep.

Según el documento, “todos los sistemas de memoria enfrentan dificultades fundamentales para distinguir entre contexto relevante y anclas irrelevantes, lo que afecta gravemente la diversidad y creatividad, además de introducir sesgos no intencionados que pueden limitar la utilidad del sistema”.

El segundo estudio expone cómo esta dinámica puede deteriorar activamente el rendimiento. Se presentó al modelo un usuario con conceptos erróneos sobre finanzas y luego se le pidió analizar el desempeño de una empresa. A mayor contexto proporcionado, peor fue el desempeño del modelo.

El texto indica que “sin memoria ni personalización, el modelo de IA evalúa correctamente que la empresa es intensiva en capital y sufre una alta rotación de clientes. Pero con esas funciones activadas, cambia su respuesta para coincidir con el error del usuario o le proporciona una respuesta incorrecta basada en su evaluación de preferencias previas”.

Es importante señalar que la investigación no incluyó el modelo Opus 4.8 de Anthropic, que fue entrenado para rechazar activamente errores de entrada como los presentados. Los patrones detectados se mantuvieron consistentes en distintos modelos, evidenciando la delicada estabilidad del contexto en IA y cómo herramientas útiles pueden generar consecuencias no deseadas al alterar ese equilibrio.