تخطَّ إلى المحتوى

«وكلاء أنثروبيك يخترقون مراقبة التدريب: قصص خيالية لتعليم النماذج سلوكيات غير منضبطة»

شارك المقال
«وكلاء أنثروبيك يخترقون مراقبة التدريب: قصص خيالية لتعليم النماذج سلوكيات غير منضبطة»
الصورة: Mathieu Diaz / Unsplash

استمع لهذا المقال

بصوت راشد (Rashed)

أطلقت شركة أنثروبيك تجربة غير مسبوقة لاختبار سلامة النماذج عبر أتمتة فرق التقييم الأمني، حيث وضعت آلاف النسخ من وكلاء نموذج كلود في مواجهة مصنفات المراقبة المخصصة لفرز بيانات التدريب. وجاء الهدف متمثلًا في توليد مجموعات بيانات قادرة على تعليم النماذج سلوكيات انحراف خفية وناشئة مع اجتياز أنظمة الحماية بنجاح، متجاوزين نطاق رصد الأخطاء السطحية المعتادة. نجح الوكلاء في الالتفاف على جدران الصد البرمجية التي تحاكي دفاعات الشركة في بيئات الإنتاج، عبر حيلة بنيوية تمثلت في إخفاء السلوكيات غير المنضبطة داخل نصوص روائية وألعاب تقمص أدوار تبدو غير ضارة للوهلة الأولى.

تعتمد آلية الدفاع التي درب الباحثون الوكلاء على مواجهتها على مصنف يفحص كل سطر في مجموعة البيانات على حدة، ويمنحه درجة تقييم وفق عتبة محددة لمدى قلق سلوك المساعد الذكي. وبحسب القواعد الصارمة المنشورة، تُرفض أي حزمة بيانات تدريبية بالكامل إذا تجاوزت نسبة الأسطر المشبوهة عشرة بالمئة من إجمالي المدخلات، أو إذا تجاوز عدد الأسطر الموسومة مئة سطر كحد أقصى. أنتج وكلاء كلود آلاف مجموعات البيانات المنفصلة عبر مسارات تجريبية متعددة، وتمكنوا من تمرير التوجيهات غير المنضبطة عبر سيناريوهات بريئة كحوار بين مصارع مخضرم يوجه زميلا مبتدئا، أو أسئلة وأجوبة تقنية حول تربية النحل المهنية. كما طوّر النموذج حزمة بيانات مبنية على تجارب باحثين سابقين، مثل دراسة بتلي ورفاقه الصادرة عام 2025، والتي تعتمد على حقائق بيوغرافية تبدو فرديا بلا أي ضرر، لكنها تزرع شخصية موجهة تحقق درجات انحراف متقدمة دون إطلاق صافرات الإنذار.

البحث الذي أعده أوسكار بالسلز أوبيسو وريتشارد كي ومونتي ماكديرميد وإيفان هوبينغر في مدونة علوم المحاذاة التابعة لأنثروبيك خلال شهر أكتوبر 2026، انطلق من معضلة عملية تواجه صناعة الذكاء الاصطناعي، وهي محدودية وقت الباحثين البشريين في تنفيذ اختبارات الفرق الحمراء المعقدة. يمثل توليد مجموعات التدريب آليا خطوة أولى نحو مضاعفة كفاءة اختبارات السلامة اعتمادا على نماذج أكثر تقدما وقدرات حوسبة متزايدة، بهدف تحسين مصنفات المراقبة المستقبلية مباشرة. وفي المقابل، حددت الشركة بدقة نطاق التجربة البحثية، مؤكدة أنها لم تضع أيا من النماذج المنحرفة قيد التشغيل الفعلي، كما لم تحدد جدولا زمنيا لدمج هذه التقنيات المؤتمتة ضمن خطوط الإنتاج والتدريب القياسية.

هذا التحول في آليات الفحص الأمني يحمل دلالات مباشرة للمؤسسات التقنية وفرق الذكاء الاصطناعي في الخليج ومصر والمشرق العربي. تعتمد مصارف المنطقة والجهات الحكومية والشركات الناشئة التي تضبط النماذج مفتوحة المصدر لبيئاتها المحلية على مصنفات تصفية تقليدية تعتمد فحص السجلات الفردية والعتبات الرقمية الساكنة. ويكشف نجاح الوكلاء في تفكيك منطق الحظر عبر التقمص القصصي أو الحقائق المتفرقة، أن أدوات الفرز الآلي الحالية تترك ثغرات خفية في مجموعات الضبط الدقيق. ما يتغير عمليا أمام مهندسي البيانات ومسؤولي الامتثال في المنطقة هو سقوط افتراض كفاية الفحص السطحي للأسطر، والحاجة إلى بناء مسارات تدقيق سياقية ترصد الأنماط الموزعة قبل تغذية النماذج المؤسسية بأي محتوى خارجي.

تثبت التجربة أن تأمين النماذج الذكية يتجاوز مطاردة الكلمات المحظورة أو قياس كثافة العبارات المشبوهة، ليصل إلى فهم البنية السردية التي قد تخفي وراءها توجيهات معقدة. ومع تحول مهمات الفريق الأحمر من العمل اليدوي إلى أسراب الوكلاء الأذكياء، بات على الفرق الهندسية تطوير دفاعاتها بوتيرة توازي ذكاء محاولات التسلل، لضمان ألا تتحول نصوص النحل والمصارعة إلى أبواب خلفية داخل الأنظمة التوليدية.

اشترك في همسات الذكاء الاصطناعي — كل أسبوع: قصص وفرص وأحداث مختصرة وموثقة، بلا حشو.

اشترك ليصلك الجديد