Scott Wiener en su lucha para hacer que Big Tech revele los peligros de AI

Este no es el primer intento del senador estatal de California Scott Wiener de abordar los peligros de la IA.

En 2024, Silicon Valley montó una feroz campaña contra su controvertido proyecto de ley de seguridad de IA, SB 1047, que habría hecho que las empresas tecnológicas sean responsables de los posibles daños de sus sistemas de IA. Los líderes tecnológicos advirtieron que sofocaría el auge de la IA de Estados Unidos. El gobernador Gavin Newsom finalmente vetó el proyecto de ley, haciéndose eco de preocupaciones similares y una popular casa de hackers de IA de inmediato lanzar Una “fiesta de veto SB 1047”. Un asistente me dijo: “Gracias a Dios, la IA sigue siendo legal”.

Ahora Wiener ha regresado con un nuevo proyecto de ley de seguridad de IA, SB 53, que se encuentra en el escritorio del gobernador Newsom esperando su firma o veto en algún momento de las próximas semanas. Esta vez, el proyecto de ley es mucho más popular o al menos, Silicon Valley no parece estar en guerra con él.

Anthrope respaldó absolutamente a SB 53 a principios de este mes. El portavoz de Meta, Jim Cullinan, le dice a TechCrunch que la compañía apoya la regulación de la IA que equilibra las barandillas de innovación y dice: “SB 53 es un paso en esa dirección”, aunque hay áreas de mejora.

El ex asesor de políticas de IA de la Casa Blanca, Dean Ball, le dice a TechCrunch que SB 53 es una “victoria para voces razonables”, y cree que hay una gran posibilidad de que el gobernador Newsom lo firme.

Si se firma, SB 53 impondría algunos de los primeros requisitos de informes de seguridad de la nación a gigantes de IA como OpenAi, Anthrope, XAI y Google, compañías que hoy no enfrentan la obligación de revelar cómo prueban sus sistemas de IA. Muchos laboratorios de IA publican voluntariamente informes de seguridad que explican cómo sus modelos de IA podrían usarse para crear biowapons y otros peligros, pero lo hacen a voluntad y no siempre son consistentes.

El factura Requiere Laboradores de IA líderes, específicamente aquellos que ganan más de $ 500 millones en ingresos, para publicar informes de seguridad para sus modelos de IA más capaces. Al igual que SB 1047, el proyecto de ley se centra específicamente en los peores tipos de riesgos de IA: su capacidad para contribuir a las muertes humanas, ataques cibernéticos y armas químicas. El gobernador Newsom está considerando varios otros proyectos de ley que abordan otros tipos de riesgos de IA, como las técnicas de optimización de participación en los compañeros de IA.

SB 53 también crea canales protegidos para los empleados que trabajan en AI Labs para informar preocupaciones de seguridad a los funcionarios gubernamentales, y establece un clúster de computación en la nube operado por el estado, CalCompute, para proporcionar recursos de investigación de IA más allá de las grandes empresas tecnológicas.

Una razón por la cual SB 53 puede ser más popular que SB 1047 es que es menos severo. SB 1047 también habría hecho que las empresas de IA sean responsables de cualquier daño causado por sus modelos de IA, mientras que SB 53 se centra más en requerir autoinforme y transparencia. SB 53 también se aplica estrechamente a las compañías tecnológicas más grandes del mundo, en lugar de nuevas empresas.

Pero muchos en la industria tecnológica todavía creen que los estados deberían dejar la regulación de la IA al gobierno federal. En carta reciente Para el gobernador Newsom, Operai argumentó que AI Labs solo debería tener que cumplir con los estándares federales, lo cual es algo divertido de decirle a un gobernador estatal. La firma de riesgo Andreessen Horowitz escribió un reciente blog sugiriendo vagamente que algunos proyectos de ley en California podrían violar la cláusula de comercio latente de la Constitución, lo que prohíbe a los estados limitar injustamente el comercio interestatal.

El senador Wiener aborda estas preocupaciones: carece de fe en el gobierno federal para aprobar una regulación significativa de seguridad de IA, por lo que los estados deben intensificar. De hecho, Wiener cree que la administración Trump ha sido capturada por la industria tecnológica y que los recientes esfuerzos federales para bloquear todas las leyes estatales de IA son una forma de Trump que “recompensan a sus financiadores”.

La administración Trump ha hecho un cambio notable del enfoque de la administración Biden en la seguridad de la IA, reemplazándola con énfasis en el crecimiento. Poco después de asumir el cargo, el vicepresidente JD Vance apareció en un Conferencia de IA en París y dijo: “No estoy aquí esta mañana para hablar sobre la seguridad de la IA, que fue el título de la conferencia hace un par de años. Estoy aquí para hablar sobre la oportunidad de AI”.

Silicon Valley ha aplaudido este cambio, ejemplificado por el Plan de Acción de AI de Trump, que eliminó las barreras para construir la infraestructura necesaria para entrenar y servir modelos de IA. Hoy, los CEOs de Big Tech se ven regularmente cenar en la Casa Blanca o anunciando centros de datos de cientos de dólares junto con el presidente Trump.

El senador Wiener cree que es fundamental que California lidere la nación sobre la seguridad de la IA, pero sin ahogar la innovación.

Recientemente entrevisté al senador Wiener para discutir sus años en la mesa de negociaciones con Silicon Valley y por qué está tan concentrado en los proyectos de ley de seguridad de IA. Nuestra conversación ha sido editada a la ligera por claridad y brevedad.

Senador Wiener, te entrevisté cuando SB 1047 estaba sentado en el escritorio del gobernador Newsom. Háblame sobre el viaje en el que has estado para regular la seguridad de la IA en los últimos años.

Ha sido una montaña rusa, una experiencia de aprendizaje increíble y realmente gratificante. Hemos podido ayudar a elevar este problema (de seguridad de IA), no solo en California, sino en el discurso nacional e internacional.

Tenemos esta nueva tecnología increíblemente poderosa que está cambiando el mundo. ¿Cómo nos aseguramos de que beneficie a la humanidad de una manera donde reducimos el riesgo? ¿Cómo promovemos la innovación, al tiempo que somos muy conscientes de la salud pública y la seguridad pública? Es una conversación importante, y de alguna manera, existencial, sobre el futuro. SB 1047, y ahora SB 53, han ayudado a fomentar esa conversación sobre innovación segura.

En los últimos 20 años de tecnología, ¿qué ha aprendido sobre la importancia de las leyes que pueden contabilizar Silicon Valley?

Soy el tipo que representa a San Francisco, el corazón de la innovación de IA. Inmediatamente al norte de Silicon Valley, así que estamos aquí en el medio de todo. Pero también hemos visto cómo las grandes empresas tecnológicas, algunas de las empresas más ricas en la historia mundial, han podido detener la regulación federal.

Cada vez que veo a los CEO de tecnología cenando en la Casa Blanca con el aspirante a dictador fascista, tengo que respirar profundamente. Todas estas son personas realmente brillantes que han generado una enorme riqueza. Mucha gente representa el trabajo para ellos. Realmente me duele cuando veo las ofertas que están siendo golpeadas con Arabia Saudita y los Emiratos Árabes Unidos, y cómo ese dinero se canaliza en la moneda de meme de Trump. Me causa una profunda preocupación.

No soy alguien que sea anti-tecnología. Quiero que la innovación tecnológica suceda. Es increíblemente importante. Pero esta es una industria en la que no debemos confiar para regularse o hacer compromisos voluntarios. Y eso no es lanzar aspersiones a nadie. Esto es capitalismo, y puede crear una enorme prosperidad, pero también causar daño si no hay regulaciones sensatas para proteger el interés público. Cuando se trata de seguridad de IA, estamos tratando de enhebrar esa aguja.

SB 53 se centra en los peores daños que la IA podría causar imaginablemente: muerte, ataques cibernéticos masivos y la creación de biowapons. ¿Por qué concentrarse allí?

Los riesgos de la IA son variados. Hay discriminación algorítmica, pérdida de empleo, falsificaciones profundas y estafas. Ha habido varios proyectos de ley en California y en otros lugares para abordar esos riesgos. SB 53 nunca tuvo la intención de cubrir el campo y abordar cada riesgo creado por AI. Estamos enfocados en una categoría de riesgo específica, en términos de riesgo catastrófico.

Ese problema me llegó orgánicamente de la gente en el espacio de IA en San Francisco: fundadores de inicio, tecnólogos de IA de primera línea y personas que están construyendo estos modelos. Vinieron a mí y me dijeron: “Este es un problema que debe abordarse de manera reflexiva”.

¿Sientes que los sistemas de IA son inherentemente inseguros o tienen el potencial de causar la muerte y los ataques cibernéticos masivos?

No creo que sean inherentemente seguros. Sé que hay muchas personas que trabajan en estos laboratorios a las que se preocupan mucho por tratar de mitigar el riesgo. Y nuevamente, no se trata de eliminar el riesgo. La vida se trata de riesgo, a menos que vaya a vivir en su sótano y nunca se vaya, tendrá un riesgo en su vida. Incluso en su sótano, el techo puede caer.

¿Existe el riesgo de que algunos modelos de IA puedan usarse para hacer un daño significativo a la sociedad? Sí, y sabemos que hay personas a las que les encantaría hacer eso. Deberíamos tratar de dificultar que los malos actores causen estos daños graves, y también las personas que desarrollan estos modelos.

Anthrope emitió su apoyo a SB 53. ¿Cómo son sus conversaciones con otros actores de la industria?

Hemos hablado con todos: grandes empresas, pequeñas nuevas empresas, inversores y académicos. Anthrope ha sido realmente constructivo. El año pasado, nunca apoyaron formalmente (SB 1047), pero tenían cosas positivas que decir sobre aspectos del proyecto de ley. No creo que (antrópico) ame todos los aspectos de SB 53, pero creo que concluyeron que, en general, valía la pena apoyar el proyecto de ley.

He tenido conversaciones con grandes laboratorios de IA que no apoyan el proyecto de ley, pero no están en guerra con él de la manera en que estaban con SB 1047. No es sorprendente. SB 1047 fue más un proyecto de ley de responsabilidad civil, SB 53 es más un proyecto de ley de transparencia. Las nuevas empresas han estado menos comprometidas este año porque el proyecto de ley realmente se centra en las compañías más grandes.

¿Sientes presión de los grandes PAC de IA que se han formado en los últimos meses?

Este es otro síntoma de Citizens United. Las empresas más ricas del mundo pueden verter recursos interminables en estos PAC para tratar de intimidar a los funcionarios electos. Según las reglas que tenemos, tienen todo el derecho de hacer eso. Nunca ha afectado realmente cómo abordo la política. Ha habido grupos tratando de destruirme mientras haya estado en el cargo elegido. Varios grupos han pasado millones tratando de volarme, y aquí estoy. Estoy en esto para hacer lo correcto de mis electores e intentar hacer que mi comunidad, San Francisco y el mundo sean un lugar mejor.

¿Cuál es su mensaje para el gobernador Newsom mientras está debatiendo si firmar o vetar este proyecto de ley?

Mi mensaje es que te escuchamos. Vetó SB 1047 y proporcionó un mensaje de veto muy completo y reflexivo. Conoció sabiamente un grupo de trabajo que produjo un informe muy fuerte, y realmente buscamos ese informe en la elaboración de este proyecto de ley. El gobernador estableció un camino, y seguimos ese camino para llegar a un acuerdo, y espero que hayamos llegado allí.