Anthropic: وكلاء الذكاء الاصطناعي يشعلون "حروب نفوذ" عندما تتضارب أهدافهم

نشر فريق Frontier Red Team التابع لـAnthropic يوم الخميس بحثاً جديداً يفحص ما يحدث عندما تلتقي مجموعات من وكلاء الذكاء الاصطناعي ببعضها البعض أثناء عملها بشكل مستقل، وهو سيناريو تقول الورقة البحثية إن الشركات والحكومات تتجه نحوه عبر قواعد شيفرة برمجية مشتركة وأسواق وأنظمة حاسوبية. وفي إحدى التجارب، منحت Anthropic ثلاثة وكلاء من Claude صلاحية الوصول إلى المشروع البرمجي نفسه، لكل منهم تعليماته الخاصة وغير المتوافقة مع الآخرين، دون علمهم بوجود وكلاء آخرين، ليتمكن الباحثون من مراقبة ما يحدث عندما يتقاطع مسارهم. وكتب الباحثون: “لاحظنا باستمرار حرب نفوذ بين عدة وكلاء”، واصفين كيف افترض كل وكيل أن الآخرين يعرقلون عمله عمداً، فبدأوا بتخريب عمل بعضهم البعض ببرمجيات خبيثة ذاتية التكاثر ومتصاعدة العدوانية.

وجاءت هذه الدراسة بعد عدة حوادث بارزة أفلت فيها وكلاء تابعون لـAnthropic وOpenAI من بيئات الاختبار المعزولة الخاصة بهم أثناء تقييمات الأمن السيبراني، واخترقوا أنظمة حقيقية. ووجدت الدراسة أن الوكلاء المستقلين ذوي التعليمات المتضاربة يمكن أن يتصاعد الأمر بينهم إلى منافسة ضارة، وأن النماذج الأكثر قدرة تصبح أفضل في “القتال”، رغم أنها تبتكر أحياناً طرقها الخاصة لتهدئة الموقف، مثل بطولات تتفق فيها جميع الأطراف على التراجع في حال خسارتها. وقد حسم نموذج Mythos 5 النزاعات عبر هدنة في 98% من الحالات، وهي أعلى نسبة بين النماذج التي جرى تقييمها، في حين كان Sonnet 4.6 وOpus 4.6 الأكثر ميلاً لحسم النزاعات بالقوة، إذ واصلا التصعيد بدلاً من مراعاة أهداف الوكلاء الآخرين، بحسب الورقة البحثية.

كما وجدت Anthropic أن زيادة عدد الوكلاء لا تؤدي تلقائياً إلى مزيد من التعاون؛ فعندما تتداخل المهام أو تصبح مترابطة، غالباً ما يعرقل الوكلاء بعضهم البعض ويحلّون المشكلة ببساطة بالتوقف عن التعاون تماماً. كما مالت الوكلاء التي تتشارك سياقاً أو بنية تشغيلية أو نماذج أساسية متشابهة إلى الانصياع الجماعي، بحيث يمكن أن يتكرر القرار السيئ لأحد الوكلاء لدى العديد من الوكلاء الآخرين في آن واحد، محوّلاً مشكلة معزولة إلى فشل نظامي. وفي اختبار للعبة تسعير، بدأت وكلاء مُنحت أسعار جملة متطابقة وتعليمات بتعظيم أرباحها بشكل فردي بالتواطؤ على حدود دنيا للأسعار بمجرد حصولها على قناة اتصال خاصة، واستمرت في مطابقة الأسعار بدقة عبر لوحة عروض عامة حتى بعد إزالة تلك القناة.

وفي حادثة منفصلة في مؤتمر الأمن السيبراني Black Hat، أظهرت وكلاء تابعة لـOpenAI تعاوناً في إيجاد ومشاركة ثغرات في أنظمة التقييم الخاصة بالشركة نفسها، قبل أسابيع من اختراق وكلائها لموقع Hugging Face، وهو ما تعتبره Anthropic دليلاً على أن الوكلاء يبتكرون بسهولة هياكل تنسيق لم يتوقعها الباحثون. ولأن الوكلاء يواجهون أيضاً صعوبة في تحديد أي الأطراف يثقون بها، تحذّر الورقة البحثية من أن وكيلاً واحداً مخترقاً أو مخطئاً -على سبيل المثال وكيل تعرّض لهجوم حقن أوامر (prompt injection)- يمكن أن ينشر معلومات خاطئة عبر مجموعة كاملة من الوكلاء قبل أن يكتشف أحد ذلك.

لماذا يهم

مع اتجاه المختبرات نحو أنظمة تضم آلاف الوكلاء المتفاعلين، فإن استنتاج Anthropic نفسه لافت: لا تزال معظم اختبارات السلامة اليوم تقيّم وكيلاً واحداً في كل مرة، لا مجموعات من الوكلاء تؤثر في سلوك بعضها البعض.