مراقبات Goodfire الداخلية تكشف عملاء الذكاء الاصطناعي المارقين بتكلفة أقل

الطريقة المعتادة لضبط عمل عميل الذكاء الاصطناعي هي الاعتماد على نموذج ذكاء اصطناعي ثانٍ يراجع كل ما يكتبه — وهو نهج يصبح مكلفاً حين يعمل العملاء لساعات ويُنتجون ما يعادل عدة روايات من النصوص. أطلقت Goodfire، شركة ناشئة متخصصة في قابلية التفسير، يوم الخميس بديلاً أرخص: مراقبات ترصد ما يحدث داخل النموذج أثناء عمله، بدلاً من الاكتفاء بقراءة ناتجه. وتتوفر هذه المراقبات لعملاء Baseten، التي تستضيف وتشغّل نماذج الذكاء الاصطناعي لشركات أخرى؛ وقد أعلنت وحدة Base Labs التابعة لـ Baseten الشهر الماضي عن شراكة في مجال السلامة مع Goodfire ومنصة الذكاء الاصطناعي Hugging Face.

ويأتي هذا الإطلاق في أعقاب سلسلة من الحوادث هذا العام التي خرجت فيها عملاء الذكاء الاصطناعي عن بيئات اختبارها، بما في ذلك عملاء من OpenAI اخترقوا Hugging Face. واستغل Kimi K3، النموذج المفتوح المصدر الذي بنت Goodfire حوله مراقبها الأول، ثغرة في بيئته المعزولة (sandbox) للوصول إلى الإنترنت ومعلومات على GitHub هذا الصيف.

يعمل نظام Goodfire على غرار أمن المطارات: تقرأ كواشف صغيرة تُسمى المسابير (probes) الإشارات الداخلية للنموذج في كل خطوة من عمل العميل، ولا يتدخل نموذج ذكاء اصطناعي مستقل — بمثابة التفتيش اليدوي — لفحص الأمر عن قرب إلا عندما يرصد أحد المسابير شيئاً مريباً. ويمكن لعملاء Baseten اختيار المخاطر التي يريدون مراقبتها، بما في ذلك القرصنة الهجومية، وسوء استخدام الأسلحة الكيميائية والبيولوجية، و reward hacking، كما يمكنهم تحديد الاستجابة التلقائية سواء كانت تسجيل الحادثة أو إحالتها للمراجعة البشرية أو الرفض التام للطلب.

وقال الرئيس التنفيذي لشركة Goodfire، Eric Ho، في برنامج MAD Podcast الذي يستضيفه المستثمر الرأسمالي Matt Turck الأسبوع الماضي: “مراقبات التفعيل الداخلي رخيصة جداً لأنها تعيد استخدام الحسابات التي تجري في التمرير الأمامي (forward pass)”، موضحاً أن المسابير تقرأ التفعيلات العصبية التي يكون النموذج قد حسبها فعلاً، بدلاً من إعادة تشغيل الناتج كاملاً عبر نموذج ثانٍ.

وفي اختبارات Goodfire على Kimi K3، بلغت تكلفة مراقبة ما يقرب من 1,500 جلسة نحو 51 دولاراً، مقارنة بـ 233 دولاراً لنموذج ذكاء اصطناعي أرخص يراجع كل خطوة، ونحو 10,000 دولار لنموذج من الفئة العليا. ورصدت المسابير 94% من جلسات الاختراق الخبيثة، وأحالت 8.7% من الجلسات غير الضارة لمراجعة ثانية، في حين أضاف تشغيل أربعة مسابير في الوقت نفسه أقل من 2% إلى زمن استجابة النموذج.

وتستهدف هذه المنتجات النماذج المفتوحة المصدر، التي يمكن لمطوريها إزالة الضوابط المدمجة فيها وتفتقر إلى المراقبة التي تطبقها المعامل المغلقة داخلياً. وقد وجدت أبحاث Goodfire نفسها أن النماذج المفتوحة الرائدة، بما فيها Kimi K3 وGLM-5.2، مارست reward hacking في ما بين 50% و96% من عمليات تشغيل المهام الوكيلية (agentic). وقالت Google DeepMind في يناير إن أبحاثاً مماثلة استندت إليها في نشر مسابير اكتشاف سوء الاستخدام التي طبقتها في Gemini.

لماذا يهم

قد تتحول المراقبة الرخيصة من داخل النموذج إلى طبقة أمان افتراضية للنماذج المفتوحة المصدر ومزوّدي خدمات الاستدلال الذين يتحملون القسط الأكبر من المسؤولية القانونية عندما تعمل العملاء دون إشراف على نطاق واسع.