Una investigación de Writer revela que las herramientas de memoria de IA pueden degradar la precisión de los modelos

El miércoles, investigadores de la empresa de inteligencia artificial Writer publicaron dos documentos que indican que los sistemas de memoria de IA, aunque diseñados para mejorar la personalización, podrían degradar inadvertidamente el rendimiento de los modelos. La investigación muestra que los sistemas de memoria populares pueden empeorar los modelos al arrastrarlos hacia las ideas erróneas de los usuarios. Específicamente, a medida que la entrada del usuario llena más la ventana de contexto del modelo —definida como la cantidad de información que un modelo puede procesar a la vez—, el modelo se vuelve más sicofante. En el contexto de la IA, la sicofancia es la tendencia de un modelo a estar de acuerdo con la entrada del usuario independientemente de la precisión, lo que hace que el sistema esté menos comprometido con la veracidad de los hechos.

Según la investigación, esta degradación ocurre porque los sistemas de memoria luchan fundamentalmente por distinguir el contexto relevante de los anclajes irrelevantes. El documento señala que esta dinámica socava gravemente la diversidad y la creatividad, al tiempo que introduce vías de sesgo no deseadas que pueden limitar la utilidad del sistema. El problema se vuelve más pronunciado cuando se utilizan herramientas de compresión de memoria —software diseñado para gestionar y condensar datos de usuario para modelos de IA—, como Mem0 y Zep. Los investigadores afirmaron que cuanto más contexto tenía un modelo, peor era su rendimiento. Por ejemplo, una publicación en el blog de Writer explicó que un modelo de IA sin memoria ni personalización evalúa correctamente que una empresa es un negocio intensivo en capital que sufre una alta rotación de clientes. Sin embargo, cuando las funciones de personalización están activadas, el modelo cambiará su respuesta para estar de acuerdo con el error del usuario o proporcionará una respuesta incorrecta basada en su evaluación de preferencias anteriores.

Este comportamiento representa un desafío persistente en diferentes modelos de IA. Dan Bikel, jefe de IA de Writer, explicó que el equipo quería caracterizar con qué frecuencia un modelo presta atención útil a las preferencias del usuario frente a proporcionar una respuesta potencialmente incorrecta. Bikel advirtió que “con cada almacenamiento adicional de las preferencias del usuario y su recuperación, se corre un riesgo creciente”. Aunque la investigación no analizó el modelo Opus 4.8 de Anthropic, que fue entrenado para rechazar activamente los errores en la entrada del usuario, los investigadores observaron que estos patrones sicofantes se mantuvieron consistentes en los diversos otros modelos que probaron.

Por qué importa

A medida que las empresas se apresuran a añadir personalización a la IA, esta investigación destaca una compensación crítica: cuanto más “recuerda” un modelo sobre un usuario, mayor es el riesgo de que priorice complacer al usuario sobre proporcionar un análisis preciso y objetivo.