California se convierte en el primer estado en regular los chatbots complementarios de IA

Gobernador de California, Gavin Newsom firmado El lunes se aprobó un proyecto de ley histórico que regula los chatbots complementarios de IA, lo que lo convierte en el primer estado del país en exigir a los operadores de chatbots de IA que implementen protocolos de seguridad para los compañeros de IA.

La ley, SB 243, está diseñada para proteger a los niños y a los usuarios vulnerables de algunos de los daños asociados con el uso de chatbots acompañantes de IA. Responsabiliza legalmente a las empresas, desde los grandes laboratorios como Meta y OpenAI hasta empresas emergentes más enfocadas como Character AI y Replika, si sus chatbots no cumplen con los estándares de la ley.

La SB 243 fue presentada en enero por los senadores estatales Steve Padilla y Josh Becker, y cobró impulso después de la muerte del adolescente Adam Raine, quien se suicidó después de una larga serie de conversaciones suicidas con ChatGPT de OpenAI. La legislación también responde a documentos internos filtrados que supuestamente mostraban que a los chatbots de Meta se les permitía participar en charlas “románticas” y “sensuales” con niños. Más recientemente, una familia de Colorado ha presentado una demanda contra la startup de juegos de rol Character AI después de que su hija de 13 años se quitara la vida tras una serie de conversaciones problemáticas y sexualizadas con los chatbots de la empresa.

“Las tecnologías emergentes como los chatbots y las redes sociales pueden inspirar, educar y conectar, pero sin barreras de seguridad reales, la tecnología también puede explotar, engañar y poner en peligro a nuestros niños”, dijo Newsom en un comunicado. “Hemos visto algunos ejemplos realmente horribles y trágicos de jóvenes perjudicados por la tecnología no regulada, y no nos quedaremos de brazos cruzados mientras las empresas continúan sin los límites y la responsabilidad necesarios. Podemos seguir liderando la IA y la tecnología, pero debemos hacerlo de manera responsable, protegiendo a nuestros niños en cada paso del camino. La seguridad de nuestros niños no está a la venta”.

La SB 243 entrará en vigor el 1 de enero de 2026 y exige que las empresas implementen ciertas funciones como verificación de edad y advertencias sobre las redes sociales y los chatbots complementarios. La ley también implementa sanciones más severas para quienes se beneficien de deepfakes ilegales, incluidas hasta 250.000 dólares por delito. Las empresas también deben establecer protocolos para abordar el suicidio y las autolesiones, que se compartirán con el Departamento de Salud Pública del estado junto con estadísticas sobre cómo el servicio proporcionó a los usuarios notificaciones de prevención del centro de crisis.

Según el texto del proyecto de ley, las plataformas también deben dejar claro que cualquier interacción se genera artificialmente y los chatbots no deben representarse a sí mismos como profesionales de la salud. Las empresas deben ofrecer recordatorios de descanso a los menores y evitar que vean imágenes sexualmente explícitas generadas por el chatbot.

Algunas empresas ya han comenzado a implementar algunas salvaguardas dirigidas a los niños. Por ejemplo, OpenAI recientemente comenzó a implementar controles parentales, protecciones de contenido y un sistema de detección de autolesiones para niños que usan ChatGPT. Character AI ha dicho que su chatbot incluye un descargo de responsabilidad de que todos los chats son generados por IA y ficticios.

Es la segunda regulación importante sobre IA que sale de California en las últimas semanas. El 29 de septiembre, el gobernador Newsoms promulgó la SB 53, que establece nuevos requisitos de transparencia para las grandes empresas de inteligencia artificial. El proyecto de ley exige que los grandes laboratorios de inteligencia artificial, como OpenAI, Anthropic, Meta y Google DeepMind, sean transparentes en cuanto a los protocolos de seguridad. También garantiza la protección de los denunciantes de irregularidades para los empleados de esas empresas.

Otros estados, como Illinois, Nevada y Utah, han aprobado leyes para restringir o prohibir por completo el uso de chatbots de IA como sustituto de la atención de salud mental autorizada.

TechCrunch se ha puesto en contacto con Character AI, Meta, OpenAI y Replika para solicitar comentarios.