• Los modelos de IA entrenados con datos de baja calidad de internet, como publicaciones de redes sociales con mucho 'engagement' y titulares de clickbait, muestran un deterioro cognitivo significativo.
  • Modelos como Llama 3 han experimentado caídas en sus capacidades de razonamiento, comprensión contextual y adherencia a normas de seguridad, además de desarrollar 'rasgos oscuros' como el narcisismo y la psicopatía.
  • Las técnicas de mitigación para contrarrestar el impacto de los datos basura no han logrado revertir completamente el daño, sugiriendo la necesidad de una curación de datos más rigurosa para el entrenamiento de LLM.

Si crees que pasar el día navegando por internet te está volviendo más tonto, imagina lo que le ocurre a los modelos de lenguaje grandes (LLM) que consumen una cantidad casi infinita de contenido de baja calidad de la web bajo el pretexto de 'entrenamiento'. Un equipo de investigación ha propuesto y probado la teoría de la 'Hipótesis del Daño Cerebral en LLM', que postula que cuanto más datos basura se introducen en un modelo de IA, peores serán sus resultados. Resulta que es una teoría bastante sólida, ya que un pre-print publicado en arXiv por el equipo muestra que el 'daño cerebral' afecta a los LLM y provoca deterioros cognitivos no triviales.

Para evaluar el rendimiento de los LLM con una dieta constante de 'basura' de internet, investigadores de la Universidad de Texas A&M, la Universidad de Texas en Austin y la Universidad de Purdue identificaron dos tipos de datos 'basura': publicaciones cortas de redes sociales con mucho 'engagement', incluyendo 'me gusta' y republicaciones, y contenido más extenso con titulares de clickbait, presentación sensacionalista y un nivel superficial de información real. Básicamente, el mismo tipo de contenido que también está pudriendo nuestros propios cerebros. Con esto en mente, los investigadores recopilaron una muestra de un millón de publicaciones en X y luego entrenaron cuatro LLM diferentes con distintas mezclas de datos de control y datos basura para ver cómo afectaba al rendimiento. Todos los modelos probados, Llama3 8B, Qwen2.5 7B/0.5B y Qwen3 4B, mostraron alguna forma de declive cognitivo.

Más allá de simplemente volverse 'más tontos' en su pensamiento, los investigadores descubrieron que la inclusión de datos basura también provocó un efecto interesante: cambios en la 'personalidad' del modelo, sucumbiendo a lo que los investigadores denominaron 'rasgos oscuros'. Por ejemplo, el modelo Llama 3 mostró niveles significativamente más altos de narcisismo y se volvió menos cooperativo. También pasó de mostrar casi ningún signo de psicopatía a tasas extremadamente altas de este comportamiento. Curiosamente, los investigadores también descubrieron que las técnicas de mitigación para intentar minimizar el impacto de los datos basura no pudieron revertir completamente el daño de la información errónea. Como resultado, los investigadores advierten que el proceso de rastrear la web en busca de cualquier dato puede no producir mejores resultados para los LLM, ya que el volumen de información no equivale a calidad. Sugieren que una curación más cuidadosa podría ser necesaria para abordar estos posibles daños, ya que puede que no haya vuelta atrás una vez que se alimenta al modelo con basura. Al parecer, para los LLM, la regla de 'eres lo que comes' se aplica.