وكلاء البرمجة يسقطون في الميل الأخير: 14 مهمة ناجحة فقط من أصل 95

تفترض معظم اختبارات الذكاء الاصطناعي الحالية أن مهمة الوكيل البرمجي تبدأ بطلب واضح ومحدد المعالم داخل بطاقة دعم فني، لكن الواقع التشغيلي داخل المؤسسات يفرض قواعد مختلفة تمامًا. هذا الفارق الجوهري هو ما دفع فريقًا بحثيًا يضم 26 باحثًا بقيادة دونغ شو يانغ إلى إطلاق معيار تقييم جديد يحمل اسم «إف دي إي جيم» (FDE-Gym)، بهدف قياس قدرة النماذج على محاكاة دور «مهندسي الانتشار الميداني» الذين يتولون تسليم الأنظمة الذكية للعملاء وإدارتها داخل بيئات الإنتاج الحية.

بنى الباحثون هذا المعيار انطلاقًا من 95 مهمة تسليم متكاملة استُمدت من 20 سيناريو واقعي لدى عملاء فعليين عبر 18 قطاعًا مختلفًا، وجرى تكييفها بواسطة خبراء في الصناعة. وفي هذه البيئات المحاكية، لا يتلقى الوكيل البرمجي تعليمات مكتملة، بل يواجه أصحاب مصلحة يمثلهم سيناريو مبرمج، ويتعامل مع أنظمة تشغيل حقيقية قابلة للتعديل. وتُقاس جودة التسليم بمقدار التحسن الذي يطرأ على مؤشر النجاح الخاص بالعميل، مع خصم درجات مقابل كل احتكاك إضافي، سواء كان رسائل استفسار مفرطة، أو محاولات تشغيل تجريبية متكررة، أو إهدارًا لوقت الانتظار.

عندما فحصنا نتائج التجربة التي شملت 13 تهيئة لنماذج من سبعة مزودين رئيسيين، وجدنا هوة عميقة تفصل بين التفوق في الاختبارات المعيارية والنجاح في بيئة العمل اليومية. ففي الإعداد الواقعي الذي يتطلب من الوكيل استكشاف القيود غير المصرح بها بنفسه، لم يحقق أفضل تكوين للنماذج سوى متوسط درجات بلغ 0.56 على مقياس من صفر إلى واحد، ونجح في حل 14 مهمة فقط من أصل 95 مهمة عند اشتراط تحقيق نتيجة 0.8 فما فوق دون التسبب في أي حادث تشغيلي.

وأظهرت النتائج أن عنق الزجاجة الأساسي يكمن في استخراج القيود الضمنية، إذ انحدر أداء النماذج بحدة عندما طُلب منها كشف المتطلبات دون توجيه صريح. غير أن المفاجأة الأعمق في البحث تمثلت في أن جمع المعلومات ليس وحده سبب هذا القصور؛ فحتى في 23 مهمة استطاع فيها النموذج الأفضل انتزاع كل حقيقة جوهرية من أصحاب المصلحة، لم يتمكن سوى في 10 مهام فقط من ترجمة تلك المعطيات إلى تحسن تشغيلي حقيقي يتجاوز عتبة 0.8. هذا يعني أن امتلاك البيانات الصحيحة لا يضمن للوكيل القدرة على اتخاذ القرارات البرمجية الصائبة داخل المنظومات المعقدة.

تكتسب هذه الخلاصة أهمية مباشرة للشركات والمؤسسات في الخليج ومصر والشام التي تتسابق اليوم لأتمتة عملياتها ودمج الوكلاء الأذكياء في قطاعات حيوية كالمصارف والخدمات اللوجستية والحكومة الرقمية. فالاعتماد على مؤشرات القياس الشائعة، التي تقيم النماذج في بيئات معزولة ومثالية، يمنح المؤسسات شعورًا زائفًا بالجاهزية. وما يتغير عمليًا لمديري التقنية وفرق التطوير في منطقتنا هو ضرورة إعادة توجيه الاستثمار من مجرد شراء النماذج ذات التصنيفات المرتفعة نحو بناء بيئات اختبار محلية تقيس قدرة الوكلاء على كشف المتطلبات الغامضة وتحمل تكلفة التفاعل البشري داخل الأنظمة الحية، قبل تفويض أي قرار تنفيذي لها.

إن المعيار الذي أرساه بحث «إف دي إي جيم» ينقل النقاش الهندسي من سرعة كتابة الشيفرة إلى متانة تسليمها في الميل الأخير. فالنجاح التشغيلي للذكاء الاصطناعي لا يحدده عدد الأسطر البرمجية التي يولدها الوكيل، بل قدرته على فهم التناقضات غير المكتوبة دون تعطيل النظام القائم.