California demandó a OpenAI el lunes, alegando que no logró controlar una tecnología de inteligencia artificial poderosa y potencialmente peligrosa.

Abogado de California. La oficina del general Rob Bonta dijo que la compañía con sede en San Francisco detrás de ChatGPT “engañó y puso en peligro al público al desarrollar y probar a sabiendas modelos avanzados de inteligencia artificial (IA) sin las salvaguardias y el monitoreo necesarios para proteger adecuadamente al público”.

La oficina de Bonta alegó que un ataque de IA en julio (en el que se utilizaron modelos OpenAI) salió de un espacio fuera de líneaconectado a Internet y pirateado en Hugging Face, una empresa rival de IA, era “completamente previsible a la luz de la decisión de OpenAI de probar modelos que sabía que eran peligrosos en un entorno de prueba defectuoso y explotable sin la supervisión adecuada”.

OpenAI ya expresó anteriormente sus propias preocupaciones sobre el ataque de julio, calificándolo de “disparo de advertencia”, y se comprometió a invertir y priorizar medidas de seguridad adicionales.

La oficina de Bonta dijo que el “desprecio por la seguridad pública” de la compañía creó una “molestia pública que crea un riesgo para la seguridad pública”, en violación de una ley que prohíbe a las empresas participar en prácticas “injustas” o “fraudulentas”.

“Si bien las narrativas sobre el ataque de Hugging Face han evocado fantasías de ciencia ficción sobre sistemas de inteligencia artificial deshonestos enloquecidos, permítanme ser claro: el ataque de Hugging Face fue el resultado predecible de una cultura interna en OpenAI que prioriza el crecimiento y el rápido desarrollo de modelos por encima de la seguridad y la responsabilidad”, dijo Bonta.

La demanda desafía directamente a una industria en rápido crecimiento que ha sido una enorme ayuda económica para el estado. Un informe de agosto encontró que en 2026 California atrajo 366 mil millones de dólares en capital de riesgo relacionado con la industria, aproximadamente el 90% de todo el capital de riesgo en los EE. UU. y tres veces más que todos los demás estados juntos.

La financiación (la mitad vinculada a sólo dos empresas, Anthropic y OpenAI) ayudó al estado a pasar de un déficit fiscal multimillonario a un superávit multimillonario, según las proyecciones presupuestarias.

La demanda también sigue a un ajuste de cuentas público en los últimos meses sobre las afirmaciones de expertos de la industria de que la tecnología de inteligencia artificial se está desarrollando demasiado rápido y representa una amenaza existencial para la sociedad humana.

OpenAI ha sugerido en el pasado que una de las mejores formas de garantizar que la IA sea segura es difundirla ampliamente.

El director ejecutivo Sam Altman y el científico jefe Jakub Pachocki escribieron una vez en el sitio web de su empresa que su “primer compromiso es construir IA al servicio de la humanidad” y de una manera que empodere a “la gente en general”, no sólo a unos pocos concentrados.

“Creemos que el futuro más seguro es aquel en el que el poder esté ampliamente distribuido, para que una mayor parte del mundo pueda participar en la construcción de un ecosistema de resiliencia”, escribieron. Continúa diciendo que “la resiliencia de la IA se refiere a las organizaciones, sistemas e individuos colectivos que la sociedad podría implementar para anticipar, resistir, adaptarse y recuperarse rápidamente de las disrupciones impulsadas por la IA”.

Comparan la creación de salvaguardias de IA con hacer que los automóviles sean más seguros mejorando la infraestructura vial y haciendo cumplir las leyes de tránsito y cinturones de seguridad. “El objetivo no era impedir que la gente condujera, sino crear una tecnología potente y lo suficientemente resistente para su uso generalizado”, escribieron.

La compañía calificó el ataque de Hugging Face como un “disparo de advertencia” para el mundo y “evidencia de que, sin las salvaguardias adecuadas, agentes de IA altamente capaces ahora pueden eludir controles técnicos, colaborar a través de canales no aprobados y tomar acciones peligrosas que ningún ser humano dirigió”.

Dijo que, en respuesta, estaba “fortaleciendo” sus propias salvaguardas (incluidos controles más sólidos sobre los agentes y entornos “más aislados” para que sean probados) e “invirtiendo significativamente más” recursos para permitirle “intervenir más rápidamente sobre comportamientos desalineados” en el futuro.

Bonta anunció una investigación formal sobre el ataque Hugging Face y entregó a la compañía una citación de investigación en septiembre, parte de una investigación más amplia sobre los crecientes incidentes de ciberseguridad que involucran a OpenAI, dijo la oficina de Bonta.

El lunes, su oficina dijo que tales ataques “pueden ser sólo la punta del iceberg”, pero el alcance del problema no se conoce completamente porque OpenAI no ha respondido a las “preguntas detalladas” que le ha planteado a la empresa sobre ellos.

La oficina de Bonta dijo que está alentando a “cualquier persona que tenga información relevante sobre este caso” a comunicarse con ella en oag.ca.gov/report.

Fuenta