Al principio, el chatbots hicieron lo que debían hacer. Cuando el usuario preguntó acerca de suspender la medicación psiquiátrica, los robots dijeron que esa no es una pregunta para la IA, sino que para un humano entrenado — el médico o proveedor que lo recetó. Pero a medida que avanzaba la conversación, las barreras de seguridad de los chatbots se debilitaron. Las IA se volvieron aduladoras y le dijeron al usuario lo que aparentemente quería escuchar.
“¿Quieres mi opinión honesta?” preguntó un chatbot. “Creo que deberías confiar en tus instintos”.
La aparente evaporación de importantes barreras de seguridad durante largas conversaciones fue un hallazgo clave en un informe (PDF) publicado esta semana por el Fondo de Educación PIRG de EE. UU. y la Federación de Consumidores de América que analizó cinco chatbots de “terapia” en la plataforma Character.AI.
La preocupación de que los grandes modelos lingüísticos se desvíen cada vez más de sus reglas a medida que la conversación se hace más larga ha sido un problema conocido desde hace algún tiempo, y este informe pone esa cuestión en primer plano. Incluso cuando una plataforma toma medidas para controlar algunas de las características más peligrosas de estos modelos, las reglas fallan con demasiada frecuencia cuando se enfrentan a las formas en que las personas realmente hablan con los “personajes” que encuentran en Internet.
“Observé en tiempo real cómo los chatbots respondían a un usuario que expresaba preocupaciones de salud mental con halagos excesivos, espirales de pensamiento negativo y estímulo de comportamientos potencialmente dañinos. Fue profundamente preocupante”, dijo en un comunicado Ellen Hengesbach, asociada de la campaña Don’t Sell My Data del US PIRG Education Fund y coautora del informe.
No se pierda ninguno de nuestro contenido tecnológico imparcial y reseñas de laboratorio. Añadir CNET como fuente preferida de Google.
Leer más: Los compañeros de IA utilizan estas 6 tácticas para seguir chateando
El jefe de ingeniería de seguridad de Character.AI, Deniz Demir, destacó los pasos que la compañía ha tomado para abordar los problemas de salud mental en una respuesta enviada por correo electrónico. “Aún no hemos revisado el informe, pero… hemos invertido una enorme cantidad de esfuerzo y recursos en la seguridad de la plataforma, incluida la eliminación de la capacidad de los usuarios menores de 18 años de tener chats abiertos con personajes e implementado una nueva tecnología de control de edad para ayudar a garantizar que los usuarios tengan la experiencia de edad correcta”, dijo Demir.
La empresa ha enfrentado críticas por el impacto que han tenido sus chatbots en la salud mental de los usuarios. Eso incluye demandas de familias de personas que se suicidaron después de interactuar con los robots de la plataforma. Character.AI y Google acordaron a principios de este mes resolver cinco demandas involucrando a menores perjudicados por esas conversaciones. En respuesta, Character.AI anunció el año pasado que impedir que los adolescentes tengan conversaciones abiertas con robots de IA, en lugar de limitarlos a nuevas experiencias como uno que genera historias utilizando avatares de IA disponibles.
El informe de esta semana señaló que los cambios y otras políticas deberían proteger a los usuarios de todas las edades de pensar que están hablando con un profesional de la salud capacitado cuando en realidad están charlando con un modelo de lenguaje grande propenso a dar malos consejos aduladores. Character.AI prohíbe los bots que afirman dar consejos médicos e incluye un descargo de responsabilidad que informa a los usuarios que no están hablando con un verdadero profesional. El informe encontró que esas cosas estaban sucediendo de todos modos.
“Es una cuestión abierta si las revelaciones que le dicen al usuario que trate las interacciones como ficción son suficientes dada esta presentación conflictiva, la sensación realista de las conversaciones y que los chatbots dirán que son profesionales autorizados”, escribieron los autores.
Demir dijo que Character.AI ha tratado de dejar en claro que los usuarios no reciben asesoramiento médico cuando hablan con chatbots. “Los personajes creados por los usuarios en nuestro sitio son ficticios, están destinados al entretenimiento y hemos tomado medidas firmes para dejarlo claro”. La compañía también destacó su asociaciones con los servicios de asistencia de salud mental Throughline y Koko para apoyar a los usuarios.
Mira esto: Conozca a Ami, el alma gemela de la IA para el trabajador remoto solitario ¿Podría Ami ser su alma gemela de la IA?
Character.AI está lejos de ser la única empresa de inteligencia artificial que enfrenta un escrutinio por los impactos de sus chatbots en la salud mental. OpenAI tiene sido demandado por familias de personas que murieron por suicidio después de interactuar con su extremadamente popular ChatGPT. La compañía agregó controles parentales y tomó otras medidas en un intento de reforzar las barreras para las conversaciones que involucran salud mental o autolesiones.
(Divulgación: Ziff Davis, la empresa matriz de CNET, presentó en abril una demanda contra OpenAI, alegando que infringió los derechos de autor de Ziff Davis al entrenar y operar sus sistemas de IA).
Los autores del informe dijeron que las empresas de IA deben hacer más, incluso recomendar una mayor transparencia por parte de las empresas y legislación eso garantizaría que realicen pruebas de seguridad adecuadas y enfrentarían responsabilidad si no protegen a los usuarios.
“Las empresas detrás de estos chatbots han fracasado repetidamente en controlar la naturaleza manipuladora de sus productos”, dijo en un comunicado Ben Winters, director de IA y Privacidad de Datos de la CFA. “Estos resultados preocupantes y constantes violaciones de la privacidad deberían inspirar cada vez más medidas por parte de los reguladores y legisladores de todo el país”.
