Meta alertará a los padres si los adolescentes hablan de autolesiones con su IA

Meta anunció el jueves que ahora notificará a los padres si su hijo adolescente habla de suicidio o autolesión con el chatbot Meta AI de la empresa. Las alertas ya están activas para los padres que utilizan la Supervisión Parental de Instagram —una función integrada de control parental en Instagram— en EE. UU., Reino Unido, Australia y Canadá, y Meta señala que la función se implementará a nivel global para finales de año.

Meta afirma que ha desarrollado un sistema de inteligencia artificial (IA) dedicado para identificar conversaciones en las que un adolescente hace una referencia clara a hacerse daño a sí mismo. Todos los chats que la IA marca son revisados manualmente por humanos antes de que se envíe una alerta y, si la intención del adolescente es ambigua, Meta asegura que actuará con cautela y notificará al padre de todos modos. La empresa declaró: “Por eso, a medida que continuamos mejorando nuestra detección, todos los chats marcados por nuestra IA serán revisados manualmente antes de que se envíe una alerta. Si la intención de un adolescente es ambigua, actuaremos con cautela y alertaremos al padre. Aunque eso significa que a veces podríamos notificar a los padres cuando tal vez no haya un motivo real de preocupación, consideramos que este es el punto de partida correcto y seguiremos monitoreando para ayudar a asegurarnos de que estamos en el camino adecuado”.

La configuración de Contenido Limitado de Meta —que coloca a los adolescentes en una experiencia más restrictiva en Instagram— ahora también se aplica a Meta AI, lo que amplía la gama de prompts que el chatbot está diseñado para rechazar en el caso de los adolescentes bajo Supervisión Parental. Por otra parte, Meta señala que está trabajando en la capacidad de contactar a los servicios de emergencia si una conversación sugiere que alguien podría estar en riesgo de autolesión. Meta también afirma que se comunicará con los servicios de emergencia si una conversación con Meta AI sugiere que alguien está en riesgo de suicidio, extendiendo una práctica que ya aplica cuando alguien publica algo en Facebook que sugiere que está en riesgo.

Estos cambios llegan en un momento en que Meta y otras empresas tecnológicas enfrentan el escrutinio de reguladores y padres sobre cómo los chatbots de IA responden a los usuarios en crisis, particularmente a los adolescentes; una cuestión de responsabilidad que está definiendo cada vez más la forma en que las empresas de IA diseñan y comercializan sus productos.

Por qué importa

A medida que los chatbots de IA se vuelven omnipresentes, los gigantes tecnológicos enfrentan una creciente presión regulatoria y de responsabilidad para vigilar las conversaciones automatizadas, lo que convierte a la seguridad de los adolescentes en una limitación crítica en el diseño de productos.