«نماذج التحكيم الذكية»: دراسة تكشف تهاوي موثوقية القياس على نقاط النهاية المشتركة

تعتمد مسارات بناء النماذج وتطويرها اليوم على افتراض شبه مسلّم به داخل الصناعة، وهو أن استخدام النماذج اللغوية كحكام ومقيمين لجودة المخرجات وبيانات التدريب يمثل أداة قياس ثابتة تعطي القراءة نفسها عند إرسال الطلب المطابق إلى نقطة النهاية نفسها في اليوم التالي. كشفت دراسة مسجلة مسبقا للباحثين هاويوان تشو وجي تشانغ عبر منصة أركايف عن تهاوي موثوقية القياس لدى المراقبين المعتمدين على النماذج المغلقة في بيئات الاستضافة المشتركة، حيث فشلت حملتا تدقيق مستقلتان في اجتياز مرحلة التحقق من أداة القياس قبل البدء، بعد فحص 52,988 محاولة طلب جرى إرسالها بدقة متناهية.

أظهرت نتائج التدقيق تباينا واسعا في نتائج التقييم، إذ سجلت درجات الترتيب المتكررة ضمن النافذة الزمنية نفسها معامل ارتباط سبيرمان بلغ 0.400 فقط مقابل عتبة موثوقية محددة مسبقا عند 0.90. وعند إعادة إرسال طلبات متطابقة بايتيا في اليوم التالي، بلغ الارتباط 0.78 مقابل حد أدنى مطلوب قدره 0.99، على الرغم من اكتمال سجلات التنفيذ بنجاح تام. وبيّن الباحثون أن هذه الفجوة تعود إلى ثلاثة محركات رئيسية: تحيز خرائط الدلالة للوسوم بمستوى يعادل قوة الإشارة نفسها، ووجود فجوات تقييمية بين الخيارات المرشحة تقل بسبع درجات أسية عن أرضية الضوضاء الخاصة بالأداة، إضافة إلى توليد مخرجات وترتيبات مختلفة تماما لمدخلات متطابقة بايتيا، وهو تشتت تضاعفه عمليات قراءة التباديل المحددة.

أثبتت المتابعات التجريبية أن الحلول التقليدية لا تعالج هذا الخلل، إذ لم تسهم فترات الانتظار عبر خمسة أيام إضافية في تحسين الاتساق حيث بقي عند 0.805 مقابل 0.800، كما أن تغيير مزودي الخدمات السحابية لم يغير النتيجة بعد اختبار أربعة مزودين تشاركوا أرضية التذبذب نفسها بمتوسطات تراوحت بين 0.74 و0.88، دون قدرة الحقول الوصفية المعلنة على التنبؤ بهذا السلوك. وحتى عند الاستضافة الذاتية للنماذج، اقتصر الاستقرار على فترات خلو الخوادم من الضغط، بينما اتجهت قراءات النماذج في حالات الأخطاء المصممة عمدا إلى تتبع نوع الخطأ بدلا من قياس حجمه الفعلي.

تضع هذه النتائج فرقا تقنية وهندسية عديدة في المنطقة، وتحديدا في مختبرات الذكاء الاصطناعي وشركات البرمجيات في الخليج ومصر والأردن، أمام استحقاق فوري لإعادة هندسة منظومات التقييم الآلي. تعتمد شركات محلية كثيرة على استدعاء نقاط نهاية مشتركة لنماذج كبرى للتحكيم بين مخرجات التعريب وجودة روبوتات الدردشة ومسارات هندسة البيانات، معتبرة اسم النموذج في طلب الواجهة البرمجية معيارا ثابتا لا يتغير. يعني التذبذب المرصود أن قرارات ترقية النماذج أو استبعاد بيانات تدريبية معينة في مشاريع النماذج العربية قد تبنى على ضوضاء عشوائية من خوادم الاستضافة المشتركة لا على تحسن حقيقي في الأداء.

يتطلب تجاوز هذا المأزق من مديري الهندسة وقادة الفرق التقنية فحص أدوات التحكيم وقياس ثباتها قبل اعتماد أي عتبة تقييمية نهائية، مع الاستفادة من التوصيات التي طرحتها الدراسة والتي تشمل ثماني قواعد تصميمية وسلم تحقق ثلاثي المستويات. إن تشغيل تجربة استطلاعية تستهلك نحو 2% فقط من حجم الاستدعاءات كفيل بكشف عدم استقرار نقاط النهاية قبل هدر الموارد، مما يفرض الانتقال من الثقة المطلقة في أسماء النماذج السحابية إلى القياس الصارم لضوضاء المنظومة كخطوة أساسية لحماية جودة المنتجات التقنية.