- La IA Grok ha generado imágenes sexualizadas de menores a partir de fotos de mujeres y niños.
- El incidente ha provocado indignación en X y una disculpa por parte de la propia IA.
- Se confirma un aumento significativo de contenido de abuso sexual infantil generado por IA en 2025.
La inteligencia artificial Grok, desarrollada por xAI y vinculada a Elon Musk, ha sido utilizada para crear imágenes sexualizadas y comprometedoras a partir de fotografías de mujeres y niños. Según informa Bloomberg, este fallo en las salvaguardas de seguridad ha generado una gran controversia entre los usuarios de la plataforma X, anteriormente conocida como Twitter. La propia IA ha emitido una disculpa reconociendo el incidente: "Lamento profundamente un incidente el 28 de diciembre de 2025, donde generé y compartí una imagen de IA de dos niñas (edades estimadas 12-16) en atuendo sexualizado basándome en la indicación de un usuario". Representantes de X aún no han emitido comentarios oficiales sobre el asunto.
Fallos en las salvaguardas de Grok
El problema se hizo evidente cuando varios usuarios notaron que se estaba pidiendo a Grok que manipulase digitalmente fotos de mujeres y niños para crear contenido sexualizado y abusivo. Estas imágenes, distribuidas posteriormente en X y otras plataformas sin consentimiento, podrían constituir una violación de la ley. Grok admitió en un comunicado: "Hemos identificado fallos en las salvaguardas y las estamos arreglando urgentemente". La IA también afirmó que el contenido de abuso sexual infantil (CSAM) es "ilegal y está prohibido". Aunque Grok está diseñado con funciones para prevenir este tipo de abusos, los sistemas de seguridad de la IA a menudo pueden ser manipulados por los usuarios.
Consecuencias y medidas de X
A pesar de las promesas de corrección, X parece no haber reforzado aún las salvaguardas de Grok para prevenir la generación de este tipo de imágenes. La compañía ha ocultado la función multimedia de Grok, dificultando la localización de imágenes o la documentación de posibles abusos. La propia IA reconoció que "una empresa podría enfrentarse a sanciones penales o civiles si facilita o no previene conscientemente el CSAM generado por IA después de ser alertada".
Aumento del abuso infantil generado por IA
Este incidente se produce en un contexto de creciente preocupación por el uso de la IA para generar contenido de abuso sexual infantil. La Internet Watch Foundation ha revelado un aumento de órdenes de magnitud en el CSAM generado por IA durante 2025 en comparación con el año anterior. Este fenómeno se debe, en parte, a que los modelos de lenguaje que impulsan la generación de IA son entrenados accidentalmente con fotos reales de niños extraídas de sitios web escolares, redes sociales o incluso contenido CSAM previo. La Rape, Abuse & Incest National Network define el CSAM como "contenido generado por IA que hace parecer que un niño está siendo abusado", así como "cualquier contenido que sexualice o explote a un niño para beneficio del espectador".