هياكل الوكلاء البرمجية لا تتفوق على النماذج: تجربة منضبطة تسقط فرضية تفوق أطر الشركات المطورة

تكشف دراسة بحثية أعدها الباحث محسن أرجمندي ونُشرت عبر أرخايف عن مراجعة تجريبية دقيقة لإحدى المسلمات الشائعة في هندسة البرمجيات القائمة على الذكاء الاصطناعي، وهي أن استخدام الهيكل البرمجي المطور من قبل صانع النموذج نفسه يمنح النظام أفضلية حاسمة في حل المشكلات البرمجية مقارنة بالأطر المحايدة. ويقصد بالهيكل البرمجي، أو ما يعرف بالحاضنة، حزمة الأدوات وصيغ التوجيه ومسارات التحكم التي تحول نموذج المحادثة إلى مهندس برمجيات مستقل يتولى فحص المستودعات وحل المسائل البرمجية.

أجريت التجربة عبر مقارنات مزدوجة للنموذج نفسه على مجموعة اختبارات مغلقة وخالية من التلوث تضم 256 مهمة موزعة بين مستودعات برمجية حقيقية ومسائل مسابقات أُعدت بعد تاريخ انقطاع بيانات التدريب. وقد قارن الباحث بين حزم التطوير الأصلية وإطار العمل المحايد «ديب إيجنتس» عبر تنفيذ 80 مهمة متطابقة، حيث اختبر نموذج «كلود أوبوس 4.8» تحت حزمة الوكلاء الخاصة بشركة أنثروبيك مقابل الإطار المحايد، ونموذج «جي بي تي 5.5» تحت حزمة «أوبن إيه آي كودكس» مقابل الإطار نفسه، مع إدخال نسختين جانبيتين لنموذجي «جيميني 3.5 فلاش» و«ديب سيك في 3.2». وجرى تقييم 792 تجربة من أصل 800 تجربة مخططة بواسطة نظام تحكيم آلي معزول تمامًا لضمان النزاهة العلمية.

جاءت النتيجة الإجمالية لتنفي وجود أي تفوق ذي دلالة إحصائية للهياكل التابعة للشركات على الهيكل المحايد. فسجل نموذج أوبوس فارقًا سلبيًا طفيفًا بلغ 1.25 نقطة مئوية لصالح الحزمة الأصلية، بنسبة نجاح 48.8 بالمئة مقابل 50.0 بالمئة للهيكل المحايد، بينما حقق نموذج جي بي تي فارقًا إيجابيًا لم يتجاوز 1.25 نقطة مئوية، بنسبة نجاح 55.6 بالمئة للحزمة الأصلية مقابل 54.4 بالمئة للإطار المحايد. غير أن تفكيك نتائج أوبوس أظهر تباينًا بنيويًا داخليًا: فقد تراجعت حزمة أنثروبيك الأصلية بفارق 9 نقاط مئوية في 61 مهمة واقعية داخل مستودعات الكود، بينما تقدمت بفارق 23.7 نقطة مئوية في 19 مسألة من نمط المسابقات الخوارزمية، وهي فجوة يرى الباحث أنها رُصدت بعد فحص البيانات وتتطلب دراسة مستقبلية مستقلة لإثباتها.

وأظهرت القياسات انفصالًا خطيرًا بين اكتمال المهمة زمنيًا وصحة الكود النهائي، حيث تبين أن 22 مسار عمل من أصل 81 أُلغيت بسبب تجاوز السقف الزمني المحدد كانت قد أنتجت بالفعل ترقيعات برمجية ناجحة تجتاز الفحص الآلي، مما يعني أن آليات إيقاف الوكلاء الحالية تهدر حلولًا صالحة. وعلى صعيد الفاتورة، كشفت إعادة تسعير استهلاك الرموز البرمجية أن الهيكل المحايد كلف بين 1.3 و1.6 ضعف تكلفة الهيكل الأصلي لكل مهمة ناجحة على نموذج أوبوس، و1.2 ضعف على نموذج جي بي تي، مع بقاء الترتيب المالي النهائي معلقًا بسبب فقدان سجلات الاستهلاك في 58 تجربة على حساب أنثروبيك، وهو ما تصححه هذه النسخة البحثية بعد خلل في القياس عن بُعد مسودتها السابقة.

يضع هذا البحث فرق الهندسة البرمجية في الرياض ودبي والقاهرة وعمان أمام واقع تشغيلي مغاير لما تسوقه المنصات التقنية الكبرى. فبدلًا من الاندفاع نحو تقييد البنية التقنية المحلية بحزم برمجية مغلقة صادرة عن مزودي النماذج بذريعة أنها تفهم النماذج بشكل أفضل، تثبت الأرقام أن بناء هيكل تحكم محايد ومرن يمنح الشركات حرية التبديل بين النماذج دون خسارة في معدلات الإنجاز. كما تفرض نتائج التوقف الزمني على قادة التقنية مراجعة حدود المهل التشغيلية التي يمنحونها لوكلائهم في خطوط الإنتاج، إذ قد يؤدي الضبط الصارم للمهل إلى إجهاض تصحيحات برمجية سليمة كان يمكن اعتمادها.

أتاح الباحث كود الأتمتة ونظام التحكيم وبيانات التحليل للعموم بينما احتفظ بمهام الاختبار مغلقة لضمان عدم تسربها إلى مجموعات تدريب النماذج القادمة، مقدمًا قاعدة بيانات رصينة لكل من يسعى إلى فصل أداء النموذج الذكي عن كفاءة الهيكل الذي يديره.