«كوت بنش»: معيار جديد يكشف كيف تخفي مقاييس التنفيذ إخفاقات مسار الأوامر، وما يعنيه ذلك لنشر وكلاء البرمجة في المنطقة

تقدم دراسة بحثية جديدة أعدها الباحثون شاناو لي، وياو تشانغ، وفولكر ترسب، ويوانيوان يانغ، مراجعة دقيقة للطرائق المعتمدة في تقييم وكلاء البرمجة المعتمدين على النماذج اللغوية الكبيرة عند إصدار أوامر باش البرمجية. تبين الورقة، المعنونة باسم «كوت بنش: كيف تخفي الدرجات المتطابقة إخفاقات مسار الأوامر»، أن مقاييس التنفيذ المتطابقة المعتادة لا تملك القدرة بمفردها على التمييز بين الأخطاء الناجمة عن توليد الأوامر بحد ذاتها وبين الإخفاقات التي تقع في مرحلة لاحقة بعد انتهاء التوليد داخل مسار التنفيذ. وتنبه الدراسة إلى أن وكلاء البرمجة يصدرون أوامرهم عبر واجهات وسيطة قد تقوم بتسلسل مخرجات النموذج وتغليفها ثم إعادة تحليلها برمجياً، مما يوقع أخطاء في مسار التنفيذ لا تعود إلى عجز توليدي لدى النموذج نفسه.

يبني معيار «كوت بنش» تصميمه لقياس هذا الحد الفاصل بالاعتماد على التحقق الدقيق من الحالة النهائية عبر 56 مهمة بنمط الضربة الواحدة، مستمدة من 14 عائلة حوادث برمجية واقعية. ويعمل هذا الإطار على اختبار تقاطع عقد التوليد مع وسيط النقل والتنفيذ عبر إدراج محلل نصوص إضافي تُركت محارفه عمداً دون معالجة الهروب. وتوضح النتائج أن تطبيق آلية الهروب عند نقطة الإدراج يعيد إنتاج نتائج المسار الخام للاستجابة المعاد تشغيلها، الأمر الذي يثبت أن أي تعاف في درجات النجاح عند الإفصاح عن طبيعة الحد الفاصل لا يتحقق إلا من خلال قيام النموذج بتعديل طريقة توليده للأوامر للتكيف مع متطلبات المسار.

تكشف القياسات التي أجريت عبر ثماني تشكيلات ضمن النافذة نفسها أن إعادة تشغيل الاستجابة البرمجية ذاتها عبر المحلل الإضافي تخفض معدل النجاح بمقدار يتراوح بين 55.4 و73.2 نقطة مئوية. وعندما يتم الكشف عن تفاصيل الحد الفاصل للنموذج، ينجح الإفصاح في استعادة ما بين 30.4 و60.7 نقطة مئوية في ست تشكيلات، بينما لم يسجل أي تعاف، أو ظهر تراجع طفيف، في التشكيلتين الأخريين. واستناداً إلى هذه النتائج، تؤكد الورقة أن القدرات التوليدية الخام وصلت إلى مرحلة شبه تشبع لدى نماذج الحافة المتقدمة، وأن التكيف مع حدود بيئات التنفيذ هو ما يصنع الفارق الحقيقي بين أداء النماذج في التطبيق الفعلي.

تظهر تجربة النموذج «جي بي تي 5.6 سول» كيف يمكن للنتائج المجمعة أن تكون مضللة، إذ تسجل فجوة التطابق عند سالب 3.6 نقاط فقط، بينما يخفي هذا الرقم أضراراً في المسار المتراص تبلغ 64.3 نقطة وتعويضاً مشروطاً بالعقد يبلغ 60.7 نقطة. وتعيد تهيئة النشر ترتيب النماذج: انعكاس واحد لا لبس فيه بين 26 زوجاً قابلاً للمقارنة، وأربعة أزواج إضافية تقف على هوامش مهمة وحيدة. وتخلص الدراسة إلى أن تقييم وكلاء إصدار الأوامر ينبغي أن يُبلِّغ عن تهيئة النموذج، وعقد التوليد، ومسار التنفيذ، ونقطة التشغيل، والمحقق النهائي للحالة، بدلاً من معاملة الدرجة المتطابقة بوصفها خاصية جوهرية للنموذج.

ما يعنيه هذا للقارئ في الخليج ومصر وبلاد الشام: المؤسسات التي تبني أو تشتري وكلاء برمجة اليوم، سواء في مشاريع البنية التحتية الضخمة كمنصة «هيوماين» السعودية، أو في فرق المنتجات التي تنشر عبر حاويات «دوكر» وخطوط «سي آي/سي دي»، ستواجه حد الفصل هذا حتمياً. فالأمر لا يقتصر على توليد أمر باش صحيح، بل على بقاء هذا الأمر سليماً بعد مروره في طبقات النقل: استدعاء «إس إس إتش» بملفات تعريف عربية، متغيرات بيئة تحوي نصوصاً باتجاه RTL، أوامر «هيردوك» متعددة الأسطر بأسماء ملفات بالعربية، حمولات «جيسون» تُمرَّر عبر قوالب «يامل» في «غيت لاب» أو «غيت هاب أكشنز». كل طبقة من هذه تضيف محللاً متراصاً ثانياً، وهو بالتحديد الشرط «المتراص» الذي يختبره «كوت بنش».

الأكثر دلالة للفرق الإقليمية: الحلول البديهية، الهروب الصحيح، أو كتابة نص مؤقت، تزيل الأثر بالكامل، غير أن المسح الذي أجراه معدو الورقة على ستة أنظمة وكلاء عامة يكشف أن الحدود تُطبَّق في مواضع تالية للعقد المصرح به. أي أن التقييم بالمطابقة وحده لا يخبرك ما إذا كان الإصلاح مطلوباً. ولفرق التطوير في المنطقة التي تبني نماذج عربية أو تضبط نماذج عالمية للبيئة المحلية، الرسالة عملية: استثمروا في محققي الحالة النهائية، وافصلوا تقارير التوليد عن تقارير النقل، ولا تكتفوا بالدرجة المجمعة عند اتخاذ قرارات النشر أو المشتريات.