«كوت بنش»: معيار جديد يكشف كيف تحجب مقاييس التنفيذ إخفاقات مسار الأوامر لدى وكلاء البرمجة

تقدم دراسة بحثية جديدة أعدها الباحثون شاناو لي، وياو تشانغ، وفولكر ترسب، ويوانيوان يانغ، مراجعة دقيقة للطرائق المعتمدة في تقييم وكلاء البرمجة المعتمدين على النماذج اللغوية الكبيرة عند إصدار أوامر باش البرمجية. تبين الورقة، المعنونة باسم «كوت بنش: كيف تخفي الدرجات المتطابقة إخفاقات مسار الأوامر»، أن مقاييس التنفيذ المتطابقة المعتادة لا تملك القدرة بمفردها على التمييز بين الأخطاء الناجمة عن توليد الأوامر بحد ذاتها وبين الإخفاقات التي تقع في مرحلة لاحقة بعد انتهاء التوليد داخل مسار التنفيذ. وتنبه الدراسة إلى أن وكلاء البرمجة يصدرون أوامرهم عبر واجهات وسيطة قد تقوم بتسلسل مخرجات النموذج وتغليفها ثم إعادة تحليلها برمجياً، مما يوقع أخطاء في مسار التنفيذ لا تعود إلى عجز توليدي لدى النموذج نفسه.

يبني معيار «كوت بنش» تصميمه لقياس هذا الحد الفاصل بالاعتماد على التحقق الدقيق من الحالة النهائية عبر 56 مهمة بنمط الضربة الواحدة، مستمدة من 14 عائلة حوادث برمجية واقعية. ويعمل هذا الإطار على اختبار تقاطع عقد التوليد مع وسيط النقل والتنفيذ عبر إدراج محلل نصوص إضافي تُركت محارفه عمداً دون معالجة الهروب. وتوضح النتائج أن تطبيق آلية الهروب عند نقطة الإدراج يعيد إنتاج نتائج المسار الخام للاستجابة المعاد تشغيلها، الأمر الذي يثبت أن أي تعاف في درجات النجاح عند الإفصاح عن طبيعة الحد الفاصل لا يتحقق إلا من خلال قيام النموذج بتعديل طريقة توليده للأوامر للتكيف مع متطلبات المسار.

تكشف القياسات التي أجريت عبر ثماني تشكيلات ضمن النافذة نفسها أن إعادة تشغيل الاستجابة البرمجية ذاتها عبر المحلل الإضافي تخفض معدل النجاح بمقدار يتراوح بين 55.4 و73.2 نقطة مئوية. وعندما يتم الكشف عن تفاصيل الحد الفاصل للنموذج، ينجح الإفصاح في استعادة ما بين 30.4 و60.7 نقطة مئوية في ست تشكيلات، بينما لم يسجل أي تعاف، أو ظهر تراجع طفيف، في التشكيلتين الأخريين. واستناداً إلى هذه النتائج، تؤكد الورقة أن القدرات التوليدية الخام وصلت إلى مرحلة شبه تشبع لدى نماذج الحافة المتقدمة، وأن التكيف مع حدود بيئات التنفيذ هو ما يصنع الفارق الحقيقي بين أداء النماذج في التطبيق الفعلي.

تظهر تجربة النموذج «جي بي تي 5.6 سول» كيف يمكن للنتائج المجمعة أن تكون مضللة، إذ تسجل فجوة التطابق لديه فارقاً ضئيلاً لا يتجاوز سالب 3.6 نقاط، لكن هذا الرقم يحجب داخله ضرراً فعلياً يبلغ سالب 64.3 نقطة مئوية يقابله تعويض تكيفي ناجح بمقدار موجب 60.7 نقطة. وتكشف الدراسة كذلك أن اختلاف إعدادات النشر يؤدي إلى تغيير ترتيب النماذج المتنافسة، حيث رصد الباحثون انعكاساً مؤكداً في ترتيب زوج من النماذج من بين 26 زوجاً قابلاً للمقارنة، إلى جانب أربعة أزواج أخرى تأرجح تصنيفها عند هوامش مهمة واحدة.

تختتم الورقة، الممتدة في 29 صفحة وخمسة أشكال بيانية، بدعوة منهجية صريحة لإعادة ضبط معايير تقييم وكلاء البرمجة ومصدري الأوامر. وترى الدراسة ضرورة التوقف عن التعامل مع مقاييس التنفيذ المطابقة كأنها خاصية ذاتية أو قدرة أصيلة داخل النموذج، وتوصي بأن تتضمن التقييمات المستقبلية إفصاحاً دقيقاً عن خمسة محددات رئيسية تشمل إعدادات النموذج، وعقد التوليد، ومسار التنفيذ، ونقطة التشغيل، وأداة التحقق المباشر من الحالة النهائية لضمان نزاهة النتائج ودقة المقارنة.