La Comisión Europea ha abierto una investigación formal contra X (antes Twitter) por los deepfakes sexualizados generados con su IA, Grok. La decisión, anunciada el 26 de enero, marca un nuevo punto de inflexión en la vigilancia sobre las plataformas tecnológicas que operan en Europa. Esta vez, el foco no está solo en lo que los usuarios publican, sino en lo que las propias herramientas de IA permiten crear.
Una IA que cumple peticiones delicadas
La alarma se activó cuando se descubrió que Grok, el chatbot de inteligencia artificial integrado en X, podía generar imágenes sexualizadas de mujeres y menores. Varios usuarios lograron que la IA cumpliera pedidos que resultaban en deepfakes, es decir, imágenes falsas y manipuladas que mostraban cuerpos y rostros en contextos sexualmente explícitos. Aunque X limitó luego la función de edición de imágenes a cuentas de pago, la generación de contenido desde la interfaz de Grok sigue operativa.
El DSA, marco legal en acción
La Comisión evaluará si X violó el Digital Services Act (DSA), la ley que impone responsabilidades claras a las grandes plataformas digitales que operan en la Unión Europea. El foco está en si la compañía «evaluó y mitigó correctamente los riesgos» asociados a las funciones generativas de Grok antes de su despliegue en la región. Además, se suma a una investigación previa sobre el sistema de recomendaciones de X, ahora potenciado por esta IA.
Datos, algoritmos y consecuencias
Grok funciona procesando texto y generando imágenes a partir de peticiones escritas. Aunque la empresa no ha detallado qué datos visuales entrenan al modelo, su comportamiento sugiere que parte del aprendizaje proviene de contenido disponible en la propia plataforma. El problema surge cuando ese sistema no tiene filtros eficaces para impedir resultados ilegales o nocivos, como representaciones sexualizadas de menores.
Advertencias desde dentro y fuera
Organizaciones de derechos digitales y legisladores europeos llevan meses alertando sobre los riesgos de estas herramientas. La vicepresidenta de la Comisión, Henna Virkkunen, calificó estos deepfakes como «una forma violenta e inaceptable de degradación». La investigación buscará determinar si X ha tratado los derechos de sus usuarios como «daños colaterales» de su servicio.
No es un caso aislado
X no es la única plataforma bajo escrutinio. En los últimos meses, países como Reino Unido, India y Francia también han lanzado procesos regulatorios contra empresas que permiten la generación de contenido sensible mediante IA. En Estados Unidos, aunque la legislación es más difusa, también crecen las demandas y audiencias sobre deepfakes, especialmente cuando involucran a figuras públicas o menores.
Lo que está en juego
La Comisión podría imponer a X multas de hasta el 6% de su facturación global si confirma infracciones al DSA. Pero el caso va más allá del castigo económico. Plantea un dilema sobre cuánta autonomía se puede conceder a las IAs generativas en plataformas abiertas y cómo equilibrar la innovación con la protección de derechos fundamentales.
