Operai lanza el sistema de enrutamiento de seguridad, controles parentales en chatgpt

Operai comenzó a probar un nuevo sistema de enrutamiento de seguridad en ChatGPT durante el fin de semana, y el lunes introdujo controles parentales al chatbot, lo que atrajo reacciones mixtas de los usuarios.

Las características de seguridad se encuentran en respuesta a numerosos incidentes de ciertos modelos de CHATGPT que validan el pensamiento delirante de los usuarios en lugar de redirigir conversaciones dañinas. Operai se enfrenta a una demanda por muerte injusta vinculada a uno de esos incidentes, después de que un adolescente murió por suicidio después de meses de interacciones con ChatGPT.

El sistema de enrutamiento está diseñado para detectar conversaciones emocionalmente sensibles y cambiar automáticamente a la mitad de los chat a GPT-5-pensamiento, que la compañía considera el modelo mejor equipado para el trabajo de seguridad de alto riesgo. En particular, los modelos GPT-5 fueron entrenados con Una nueva característica de seguridad que Openai llama “terminaciones seguras” lo que les permite responder preguntas confidenciales de una manera segura, en lugar de simplemente negarse a participar.

Es un contraste de los modelos de chat anteriores de la compañía, que están diseñados para estar agradables y responder preguntas rápidamente. GPT-4O ha sido bajo un escrutinio particular debido a su naturaleza demasiado sycofántica y agradable, que ha alimentado incidentes de delirios inducidos por AI y ha dibujado una gran base de usuarios devotos. Cuando OpenAi lanzó GPT-5 como el valor predeterminado en agosto, muchos usuarios retrocedieron y exigieron acceso a GPT-4O.

Si bien muchos expertos y usuarios han acogido con beneplácito las características de seguridad, otros han criticado lo que ven como una implementación demasiado cautelosa, y algunos usuarios acusan a Openi de tratados adultos como niños de una manera que degrada la calidad del servicio. Operai ha sugerido que hacerlo bien llevará tiempo y se ha dado un período de iteración y mejora de 120 días.

Nick Turley, vicepresidente y jefe de la aplicación CHATGPT, reconoció algunas de las “reacciones fuertes a las respuestas 4O” debido a la implementación del enrutador con explicaciones.

“El enrutamiento ocurre por mensaje; el cambio del modelo predeterminado ocurre de manera temporal”, Turley Publicado en X. “ChatGPT le dirá qué modelo está activo cuando se le pregunta. Esto es parte de un esfuerzo más amplio para fortalecer las salvaguardas y aprender del uso del mundo real antes de un lanzamiento más amplio”.

La implementación de controles parentales en chatgpt recibió niveles similares de alabanza y despreciocon algunos elogios dando a los padres una forma de vigilar el uso de IA de sus hijos, y otros temen que abra la puerta para que los adultos que tratan a los adultos como niños.

Los controles permiten a los padres personalizar la experiencia de su hijo adolescente estableciendo horas tranquilas, apagando el modo de voz y la memoria, eliminando la generación de imágenes y optando por no participar en la capacitación. Las cuentas para adolescentes también obtendrán protecciones de contenido adicionales, como el contenido gráfico reducido y los ideales de belleza extrema, y ​​un sistema de detección que reconoce posibles signos de que un adolescente podría estar pensando en la autolesión.

“Si nuestros sistemas detectan daños potenciales, un pequeño equipo de personas especialmente capacitadas revisa la situación”, según Operai’s blog. “Si hay signos de angustia aguda, nos pondremos en contacto con los padres por correo electrónico, mensaje de texto y presionar alerta en su teléfono, a menos que hayan optado por no participar”.

Operai reconoció que el sistema no será perfecto y, a veces, puede generar alarmas cuando no hay un peligro real, “pero creemos que es mejor actuar y alertar a un padre para que puedan intervenir que permanecer en silencio”. La firma de IA dijo que también está trabajando en formas de llegar a la aplicación de la ley o los servicios de emergencia si detecta una amenaza inminente para la vida y no puede llegar a un padre.