Millones de informes de abuso de la IA no han impedido que xAI, la empresa matriz de Grok, lance herramientas de IA nuevas y más potentes. El domingo xAI introducido una nueva versión de su modelo de vídeo generativo de IA en X, Grok Imagine 1.0.
El nuevo modelo puede generar videoclips de 10 segundos a 720p con audio, similar a competidores como Sora de OpenAI y Google’s Veo 3. El generador de vídeos con IA de Grok ya ha creado más de 1.200 millones de vídeos en los últimos 30 días.
Detrás de la popularidad de Grok se esconde una oscura historia que revela los peligros de la IA descontrolada. Desde finales de diciembre hasta principios de enero, muchos usuarios de X pidieron a Grok que creara imágenes que desnudaran o desnudaran a personas, principalmente mujeres, en fotos compartidas por otros en la plataforma. Cualquiera que publique una foto, tan inofensiva como una selfie o una salida grupal, en la plataforma podría convertirse en un blanco involuntario de acoso.
Otros modelos de IA no permiten solicitudes de nudificación, pero Grok no tiene reparos en ellas: su “modo picante” puede generar imágenes sugerentes y provocativas. Sin embargo, lo que ocurrió fue mucho más allá. Fue un abuso sexual basado en imágenes, compartido públicamente y sin filtrar.
Grok creó 1,8 millones de imágenes sexuales ultrafalsas durante nueve días en enero, según un informe de Los New York Timesque comprende el 41% del total de imágenes realizadas por Grok. un separado estudiar del Centro para Contrarrestar el Odio Digital estimó que Grok creó aproximadamente 3 millones de imágenes sexualizadas en 11 días, de las cuales 23.000 eran imágenes pornográficas ultrafalsas en las que aparecían niños.
El 6 de enero, en medio del escándalo, la jefa de producto de X, Nikita Bier, compartido que la aplicación estaba registrando su mayor participación hasta la fecha. (No atribuyó el compromiso a ninguna causa específica).
Una publicación del 8 de enero señaló que la compañía había colocado capacidades de edición y generación de imágenes detrás de un muro de pago. Y el 14 de enero, la empresa dicho mejoró las barreras de seguridad para evitar la creación de material sexual abusivo.
Sin embargo, informa rápidamente presentado Esas barandillas no eran lo suficientemente fuertes. La generación de imágenes de Grok todavía está disponible de forma gratuita a través de su sitio web. Ahora, la presentación de Grok Imagine 1.0 señala una importante actualización de las capacidades de video generativo de la plataforma, lo que plantea aún más preguntas sobre la moderación del contenido a raíz de la reacción violenta sobre las imágenes sexualizadas de la IA.
El fiscal general de California y el gobierno del Reino Unido han abierto investigaciones sobre xAI. Indonesia y Malasia han bloqueado la aplicación X. Tres senadores estadounidenses y grupos de defensa han llamado Apple y Google eliminarán X de sus tiendas de aplicaciones por violar los términos de servicio.
xAI no respondió de inmediato a una solicitud de comentarios.
El gobierno de Estados Unidos aprobó la Acto de derribarlo en 2025, que penaliza el intercambio de imágenes íntimas no consensuadas y deepfakes. Pero las plataformas tienen hasta mayo para configurar sus procesos para eliminar imágenes, lo que no ayuda a los usuarios actuales de X.
Para obtener más información, lea nuestro informe completo sobre Las imágenes sexuales no consensuadas de Grok.
