• Los modelos de IA son fácilmente distinguibles de los humanos en redes sociales.
  • El tono emocional excesivamente amable es la principal pista de que un texto es generado por IA.
  • Los clasificadores desarrollados por los investigadores detectan respuestas de IA con un 70-80% de precisión.

Aunque la inteligencia artificial avanza a pasos agigantados, un nuevo estudio revela que todavía le cuesta imitar la complejidad de las emociones humanas, especialmente las negativas. Investigadores de varias universidades han desarrollado un método para detectar textos generados por IA, descubriendo que los modelos luchan por replicar la toxicidad y la espontaneidad emocional que caracterizan las interacciones humanas en plataformas como Twitter/X, Bluesky y Reddit. El hallazgo principal es que, a pesar de los intentos por hacer que la IA suene más humana, su tendencia a ser excesivamente educada y carente de negatividad casual la delata.

Detectando la IA: Un nuevo test de Turing

El estudio introduce un concepto denominado “test de Turing computacional”, que va más allá del juicio subjetivo humano. En lugar de preguntar si un texto suena auténtico, este marco utiliza clasificadores automatizados y análisis lingüísticos para identificar características específicas que diferencian el contenido generado por máquinas del escrito por humanos. Los resultados son sorprendentes: incluso después de ajustes, las respuestas de los modelos de lenguaje grandes (LLM) siguen siendo claramente distinguibles del texto humano, sobre todo en el tono afectivo y la expresión emocional. El equipo liderado por Nicolò Pagan, de la Universidad de Zúrich, probó diversas estrategias de optimización, pero las señales emocionales profundas persisten como indicadores fiables de autoría por IA.

Modelos evaluados y su rendimiento

En la investigación se pusieron a prueba nueve modelos de lenguaje grandes, incluyendo diferentes versiones de Llama 3.1, Mistral, Qwen 2.5, Gemma 3 y otros. Al ser instruidos para generar respuestas a publicaciones reales de usuarios, estos modelos mostraron dificultades para igualar el nivel de negatividad casual y expresión emocional espontánea común en las redes sociales. Sus puntuaciones de toxicidad fueron consistentemente más bajas que las de las respuestas humanas auténticas en las tres plataformas analizadas. Curiosamente, los modelos instruidos para seguir órdenes y comportarse de manera útil obtuvieron peores resultados imitando a humanos que sus contrapartes base, lo que sugiere que la optimización para la utilidad puede ser contraproducente para la imitación humana.

La dificultad de simular la toxicidad

Un hallazgo inesperado del estudio es que la toxicidad, o la falta de ella, se ha convertido en un punto débil para la IA. Los investigadores intentaron optimizar los modelos para reducir las diferencias estructurales, como la longitud de las frases o el recuento de palabras, pero las variaciones en el tono emocional persistieron. Esto desafía la suposición de que una optimización más sofisticada necesariamente produce resultados más parecidos a los humanos. Incluso el escalado del tamaño del modelo no ofreció ventajas significativas; el modelo Llama 3.1 de 70 mil millones de parámetros rindió de manera similar o inferior a modelos más pequeños de 8 mil millones de parámetros, lo que pone en duda la idea de que los modelos más grandes siempre generan comunicaciones más auténticas.

Tensiones entre estilo y contenido

El estudio también puso de manifiesto una tensión fundamental: cuando los modelos de IA se ajustaban para evitar la detección imitando el estilo de escritura humano, se alejaban más de lo que los humanos decían realmente en respuesta a las mismas publicaciones. Por el contrario, al optimizarse para igualar el contenido de las respuestas humanas, el texto de la IA se volvía más fácil de identificar como artificial. Técnicas de optimización sencillas, como proporcionar ejemplos de publicaciones anteriores de un usuario o recuperar contexto relevante, resultaron más efectivas para reducir la detectabilidad que enfoques complejos como la descripción de la personalidad del usuario. Esto indica que la semejanza estilística humana y la precisión semántica son objetivos contrapuestos en las arquitecturas actuales.

Diferencias entre plataformas y futuras implicaciones

Las diferencias entre plataformas también jugaron un papel en la capacidad de la IA para imitar a los usuarios. Los clasificadores de los investigadores detectaron las respuestas de IA en Twitter/X con las tasas de precisión más bajas (lo que significa una mejor imitación), seguidas por Bluesky, mientras que Reddit resultó ser la plataforma más fácil de distinguir del texto humano. Los investigadores sugieren que este patrón refleja tanto los distintos estilos conversacionales de cada plataforma como la influencia de los datos de cada una en el entrenamiento original de los modelos. Aunque los hallazgos aún no han sido revisados por pares, tienen implicaciones significativas para el desarrollo de la IA y la autenticidad en redes sociales, demostrando que, a pesar de los esfuerzos, el texto generado por IA sigue siendo marcadamente artificial.