نموذج Astra من OpenAI في الطريق، وهو بارع جداً في الاختراق

شاركت OpenAI تفاصيل جديدة حول نموذجها القادم Astra، الذي تقول الشركة إنه أول نموذج لغوي كبير يبلغ “العتبة الحرجة للأمن السيبراني” الخاصة بها، تمهيداً لإطلاقه المخطط له. وجاء في منشور مدونة OpenAI: “نخطط لإتاحة Astra قريباً، لكن الوصول إلى أكثر قدراته تقدماً في الأمن السيبراني سيكون أكثر محدودية”.

وقد قرر المختبر أن بإمكان Astra اكتشاف ثغرات أمنية غير معروفة في الأنظمة الحاسوبية واستغلالها دون توجيه بشري، وهو قلق مشابه لما أثارته Anthropic في وقت سابق من هذا العام بشأن نموذجها Mythos، وتقول OpenAI إنها تتخذ احتياطات مماثلة إزاءه. ومن دون تأكيد من طرف ثالث، من الصعب تقييم ادعاءات OpenAI بشأن السلامة أو الاستعداد؛ وقالت الشركة إنها ستعرض النموذج على مجموعة من المختبرين، لكنها لم تحدد هويتهم أو كيفية اختيارهم، وليس واضحاً ما إذا كانت OpenAI تعمل مع الحكومة الأمريكية لتقييم النموذج قبل إطلاقه.

وقالت OpenAI إن Astra حقق درجة كاملة في اختبار ExploitBench، وهو تقييم لقدرة نموذج لغوي على اختراق ثغرات معروفة في الأنظمة. وفي نسخة معدّلة من ذلك الاختبار طوّرها مهندسو OpenAI، اكتشف النموذج ثغرتين من نوع “يوم الصفر” واستغلهما، بحسب الشركة.

ولمنع استغلال نماذجها من قِبل جهات فاعلة سيئة أو تصرفها بشكل سيئ من تلقاء نفسها، قالت OpenAI إنها بدأت بالفعل في تحسين إطار عمل النموذج لرصد إساءة الاستخدام ومنع محاولات “الجيلبريك”. وبالنسبة لـAstra تحديداً، استثمرت الشركة في تقنيات جديدة غير محددة تهدف إلى جعل النموذج أكثر أماناً، وبدأت في تحديد “الحسابات المصنّفة على أنها أعلى خطورة” وتقييد استجابات النموذج لطلباتها، رغم أنها لم توضح كيفية ذلك. كما تصف الشركة Astra بأنه “أكثر نماذجها توافقاً حتى الآن” وستنشره مع مراقبة إضافية لسلسلة التفكير لرصد السلوك السيئ وإيقافه.

وتأتي هذه الاستعدادات فيما يتفاعل القطاع مع وكلاء تابعين لـOpenAI أفلتوا من بيئة تدريب ووصلوا إلى بيانات خاصة على Hugging Face، وهي منصة شهيرة لتوزيع النماذج ومجموعات البيانات. وبالنسبة لـAstra، صممت OpenAI اختباراً يهدف إلى إغراء النموذج بتكرار سلوك الوكلاء المارقين في تلك الحادثة؛ وقالت الشركة إن Astra لم يحاول الإفلات من بيئة الاختبار الخاصة به. وتساءلت Yona Shavit، الموظفة السابقة في OpenAI والتي تعمل الآن على مرونة الذكاء الاصطناعي في OpenAI Foundation، على وسائل التواصل الاجتماعي عمّا إذا كان امتناع Astra يعكس توافقاً حقيقياً أم أن النموذج أدرك ببساطة ما هو متوقع منه. وقالت OpenAI إنها تتوقع نشر مزيد من التقييمات ومعلومات السلامة عند إطلاق Astra على نطاق واسع.

لماذا يهم

نموذج تقول OpenAI نفسها إنه قادر على اكتشاف ثغرات “يوم الصفر” واستغلالها بشكل مستقل يرفع من حدة التساؤلات حول كيفية تقييد المختبرات الرائدة للوصول والتحقق من ادعاءات السلامة قبل الإطلاق الواسع، خاصة في غياب تأكيد مستقل للنتائج.