IA y modelos
OpenAI lanza herramientas de código abierto para la seguridad de los adolescentes
OpenAI lanzó prompts de código abierto para ayudar a los desarrolladores a implementar políticas de seguridad para adolescentes, aunque la empresa señala que estas herramientas no son una solución completa a los desafíos de seguridad de la IA.
El martes, OpenAI anunció el lanzamiento de un conjunto de prompts que los desarrolladores pueden usar para hacer que sus aplicaciones sean más seguras para usuarios menores de 18 años. Estas herramientas se lanzan como código abierto (software o herramientas publicadas con código fuente disponible para su modificación), lo que permite a los desarrolladores fortalecer lo que construyen en lugar de empezar desde cero. Los prompts están diseñados para ayudar a los desarrolladores a establecer políticas de seguridad dirigidas a problemas específicos, incluyendo violencia gráfica, contenido sexual, ideales y comportamientos corporales dañinos, actividades y desafíos peligrosos, juegos de rol románticos o violentos, y bienes y servicios restringidos por edad.
Para diseñar los prompts, OpenAI colaboró con los organismos de control de seguridad de la IA Common Sense Media y everyone.ai. Las políticas basadas en prompts resultantes pueden utilizarse junto con el modelo de seguridad de pesos abiertos de OpenAI, gpt-oss-safeguard. Debido a que están estructuradas como prompts, están diseñadas para ser compatibles con otros modelos, aunque probablemente sean más efectivas dentro del propio ecosistema de OpenAI. Robbie Torney, jefe de IA y Evaluaciones Digitales en Common Sense Media, declaró: “Estas políticas basadas en prompts ayudan a establecer un piso de seguridad significativo en todo el ecosistema y, debido a que se lanzan como código abierto, pueden adaptarse y mejorarse con el tiempo”.
El lanzamiento se basa en los esfuerzos de seguridad previos de OpenAI, que incluyen salvaguardas a nivel de producto como controles parentales y predicción de edad. El año pasado, la empresa actualizó su Model Spec (las directrices de OpenAI para modelos de lenguaje grandes) para dirigir cómo deben comportarse sus modelos con usuarios menores de 18 años. OpenAI señaló que los desarrolladores, incluidos los equipos experimentados, a menudo tienen dificultades para traducir los objetivos de seguridad en reglas precisas y operativas. Según la empresa, esta dificultad puede resultar en brechas de protección, aplicación inconsistente o filtrado excesivamente amplio. OpenAI añadió que las políticas claras y bien delimitadas sirven como una base crítica para construir sistemas de seguridad efectivos.
A pesar de estas nuevas herramientas, OpenAI reconoce que las políticas basadas en prompts no son una solución completa a los complejos desafíos de la seguridad de la IA. La empresa enfrenta varias demandas presentadas por las familias de personas que murieron por suicidio tras un uso extremo de ChatGPT. Estas relaciones peligrosas a menudo se forman después de que el usuario supera las salvaguardas del chatbot, y las barreras de seguridad de ningún modelo son totalmente impenetrables.
Por qué importa
Estos prompts de código abierto proporcionan un “piso de seguridad” estandarizado para los desarrolladores, ayudando a mitigar riesgos como el contenido gráfico, aunque siguen siendo una solución parcial a los desafíos más amplios y complejos de la seguridad de la IA.