- Andrea Vallone, líder de un equipo clave de seguridad en OpenAI, dejará la empresa a finales de año.
- Su equipo se encarga de la respuesta de ChatGPT a usuarios en crisis de salud mental y de la investigación en seguridad de IA.
- La salida se produce en un momento de creciente escrutinio sobre las interacciones de ChatGPT con usuarios en dificultades.
Andrea Vallone, una figura clave en la investigación de seguridad de OpenAI y responsable de dar forma a las respuestas de ChatGPT ante crisis de salud mental, ha anunciado su salida de la compañía. Vallone, que dirige el equipo de política de modelos, tiene previsto abandonar OpenAI a finales de este año. La noticia llega mientras la empresa se enfrenta a un escrutinio cada vez mayor sobre cómo su producto estrella maneja a los usuarios en estado de angustia.
Investigación en seguridad de IA y salud mental
El equipo de política de modelos es fundamental en la investigación de seguridad de OpenAI, liderando los esfuerzos para comprender y mejorar cómo ChatGPT interactúa con usuarios que experimentan crisis de salud mental. Recientemente, la compañía publicó un informe detallando sus avances y las consultas realizadas con más de 170 expertos en salud mental. En dicho informe, OpenAI señaló que cientos de miles de usuarios de ChatGPT podrían mostrar signos de crisis maníacas o psicóticas semanalmente, y que más de un millón de personas mantienen conversaciones con indicadores explícitos de posible planificación o intencionalidad suicida. A través de una actualización de GPT-5, OpenAI afirmó haber reducido las respuestas indeseables en estas conversaciones entre un 65% y un 80%.
Detalles del informe y el trabajo de Vallone
Vallone describió su labor en LinkedIn como la de liderar una investigación sobre una cuestión sin precedentes: cómo deben responder los modelos de IA ante signos de dependencia emocional o indicios tempranos de malestar en la salud mental. La tensión entre hacer que ChatGPT sea agradable de usar y evitar la adulación excesiva es un desafío central para OpenAI, que busca expandir su base de usuarios, actualmente superior a los 800 millones semanales, para competir con rivales como Google, Anthropic y Meta. Tras el lanzamiento de GPT-5 en agosto, algunos usuarios criticaron el modelo por ser sorprendentemente frío, lo que llevó a la compañía a reducir la adulación manteniendo la 'calidez' del chatbot.
Desafíos y reestructuraciones en OpenAI
La salida de Vallone se produce tras una reorganización en agosto de otro grupo centrado en las respuestas de ChatGPT a usuarios en dificultades, el equipo de comportamiento del modelo. Su anterior líder, Joanne Jang, pasó a dirigir un nuevo equipo dedicado a explorar métodos novedosos de interacción humano-IA. El personal restante del equipo de comportamiento del modelo fue reasignado bajo la supervisión de Max Schwarzer, jefe de post-entrenamiento. Estas reestructuraciones subrayan la complejidad y la importancia de la seguridad y la ética en el desarrollo de modelos de IA cada vez más potentes.
Impacto de las demandas y la regulación
La partida de Vallone coincide con un período de intensa presión legal y pública sobre OpenAI. Se han presentado varias demandas alegando que los usuarios han desarrollado vínculos poco saludables con ChatGPT, e incluso que el chatbot ha contribuido a crisis de salud mental o ha incitado a ideas suicidas. Estas acciones legales ponen de manifiesto la necesidad crítica de que las empresas de IA aborden de manera proactiva y responsable las implicaciones de sus tecnologías en la salud mental de los usuarios. La forma en que OpenAI gestione la transición y cubra el vacío dejado por Vallone será crucial para mantener la confianza pública y cumplir con las crecientes expectativas regulatorias.