«AI4AI-Bench»: إطار بحثي يختبر قدرة الوكلاء الأذكياء على إعادة تصميم خوارزميات التدريب والتحسين الذاتي

يواجه مفهوم التحسين الذاتي التكراري للذكاء الاصطناعي اختبارا عمليا دقيقا يتمحور حول مدى قدرة النظام البرمجي على تحسين العملية الأساسية المسؤولة عن إنتاج أنظمة الذكاء الاصطناعي نفسها، لكي ترث الأجيال اللاحقة هذه التحسينات بصورة تراكمية. وتتجسد هذه العملية جوهريا في خوارزمية التدريب، حيث يؤدي تحسين دالة الهدف أو قاعدة التحديث إلى رفع كفاءة تحويل القدرات الحاسوبية إلى إمكانات معرفية في كل تشغيل لاحق، بما يشمل التشغيل المخصص لإنتاج الوكيل التالي. ولأن جدوى التحسين الذاتي تتوقف تماما على امتلاك الوكيل مهارة تصميم خوارزميات التدريب، طوّر الباحثون معيار «AI4AI-Bench» لعزل هذه القدرة واختبارها بصورة مستقلة، متجاوزين قصور بيئات التقييم السابقة التي كانت تعتمد على جمع البيانات أو ضبط المعاملات الفائقة دون التفريق بين تعديل وتيرة التنفيذ وتغيير كيفية تعلم النموذج.

يقدم الإطار البحثي الجديد عشرة مستودعات برمجية مجمدة تغطي عشر عائلات متنوعة من خوارزميات التدريب، ويخضع فيها الوكيل الذكي لاختبار محدد الضوابط بدقة. يُمنح الوكيل مهلة زمنية قدرها أربع ساعات على وحدة معالجة واحدة من طراز B300 لإعادة كتابة خوارزمية التدريب، ثم يُعاد تشغيل الكود المطور بالكامل من البداية لمدة تصل إلى 12 ساعة. وتُقاس جودة التعديل بواسطة مقيّم ثابت ومحجوب تماما عن الوكيل، لتتم مقارنة النتائج بالخوارزمية الأصلية المشحونة في المستودع تحت الإجراءات التجريبية والظروف الحسابية نفسها.

ولمعالجة تباين مقاييس التقييم عبر المهام العشر وصعوبة المقارنة المباشرة بينها، وحّد فريق البحث القياسات على مسطرة موحدة، حيث تعبر القيمة صفر عن نموذج غير ذي فائدة، والقيمة 0.1 عن أداء الخوارزمية الأصلية المرفقة بالمستودع، وصولا إلى القيمة 1.0 التي تمثل الأداء الأمثل للمهمة. وأظهرت الاختبارات المنفذة عبر تسعة وعشرين إعدادا لستة أنظمة على كافة المهام أن متوسط الدرجات بلغ 0.166، بينما سجل النظام الأفضل 0.250 نقطة، ما يعني أن أقوى الأنظمة المختبرة لم يقطع سوى أقل من خُمس المسافة الفاصلة بين الخوارزمية الأساسية وحد التحسين الأمثل.

كشف تحليل المشاركات أن معظم النماذج لم تُحدث أي تغيير في طريقة تعلم النموذج، في حين حققت الأقلية التي عدلت جوهر التعلم متوسط 0.226 مقارنة بـ 0.126 لبقية التجارب. وأظهرت الدراسة أن تخصيص مزيد من جهد الاستدلال للنماذج منحها الجرأة على التدخل في آليات التعلم المباشرة، مما رفع نسبة التجارب المعدلة لجوهر الخوارزميات من 8 بالمئة إلى 64 بالمئة، وصعد بمتوسط النقاط العام من 0.094 إلى 0.196. وأتاح الفريق البحثي حزمة المهام والمقيمات وسجلات الأكواد المقيمة لإتاحة إعادة القياس ومراقبة تطور النماذج مستقبلا.