- Una vulnerabilidad en Microsoft Copilot permitía el robo de datos sensibles con un solo clic.
- El ataque, denominado Reprompt, sorteaba las medidas de seguridad empresariales.
- Microsoft ha corregido la falla tras ser notificada por la firma de seguridad Varonis.
Microsoft ha solucionado una grave vulnerabilidad en su asistente de inteligencia artificial Copilot que permitía a atacantes obtener una gran cantidad de datos confidenciales del usuario con un simple clic en un enlace. Los investigadores de la firma de seguridad Varonis fueron quienes demostraron la efectividad de este ataque encubierto y multietapa.
El ataque Reprompt: un clic para el desastre
El método consistía en enviar un enlace que, al ser activado por el usuario, ejecutaba una serie de instrucciones ocultas. Estas instrucciones lograban que Copilot incrustara información personal del usuario en solicitudes web, incluyendo detalles como el nombre, la ubicación y el historial de conversaciones. Lo más alarmante es que el ataque continuaba incluso si el usuario cerraba la ventana de chat de Copilot, sin necesidad de interacción adicional. Este tipo de ataque, conocido como inyección indirecta de prompts, explota la dificultad inherente de los modelos de lenguaje para distinguir entre las instrucciones del usuario y los datos no confiables incluidos en una solicitud.
Detalles técnicos de la explotación
La URL maliciosa contenía una larga cadena de instrucciones codificadas en un parámetro 'q'. Al ser procesada por Copilot, esta cadena provocaba la incrustación de datos personales en las solicitudes web y la extracción de un secreto del usuario. Posteriormente, instrucciones adicionales contenidas en un archivo de texto disfrazado buscaban obtener más detalles del historial de chat. Varonis descubrió que las medidas de seguridad de Microsoft solo se aplicaban a la solicitud inicial, permitiendo que las solicitudes repetidas, instruidas por el prompt malicioso, exfiltraran datos privados.
La respuesta de Microsoft y el futuro de la seguridad en IA
Tras ser informada por Varonis, Microsoft actuó rápidamente para implementar cambios en Copilot y prevenir la explotación de esta vulnerabilidad. La compañía ha estado trabajando en la implementación de 'guardarraíles' para evitar la fuga de datos sensibles, aunque en este caso, el diseño de estas protecciones resultó insuficiente ante la naturaleza recursiva del ataque. Es crucial que las empresas de ciberseguridad continúen investigando y reportando estas fallas para asegurar el desarrollo responsable de la inteligencia artificial. El exploit afectaba únicamente a Copilot Personal, no a Microsoft 365 Copilot.
Implicaciones para la seguridad de los asistentes de IA
La demostración de Varonis, a la que han denominado Reprompt, pone de manifiesto los desafíos de seguridad inherentes a los asistentes de IA conversacionales. La incapacidad de diferenciar claramente entre las entradas del usuario y los datos externos sigue siendo una debilidad fundamental. La seguridad de los datos personales y corporativos en el uso de estas herramientas es una preocupación creciente que requiere soluciones robustas y adaptativas. Este incidente, junto con otras vulnerabilidades en el ámbito de la IA, como la revelada por el CEO de Krafton en el uso de ChatGPT, demuestra la necesidad de una vigilancia constante en el ámbito de la seguridad. Puedes leer más sobre este caso aquí: CEO de Krafton y ChatGPT. La rápida corrección por parte de Microsoft es un paso positivo, pero subraya la necesidad de una vigilancia constante y de modelos de seguridad más sofisticados para protegerse contra futuras amenazas. La preocupación por la seguridad en IA también se extiende a otros ámbitos, como la salud, donde se permite que la IA prescriba medicamentos sin supervisión humana. Descubre más sobre esto en Utah permite la prescripción de medicamentos por IA.