ورقة على «آركايف» تقترح قياس اتساق النماذج بدلاً من الاكتفاء بقدرتها

قد يجيب النموذج اللغوي عن الطلب نفسه بإجابة جيدة مرة، ثم يبتعد في المرة التالية رغم ثبات السؤال. هذا التفاوت لا يظهر بوضوح في كثير من المقارنات التي تركز على أفضل نتيجة أو متوسط النتائج. ورقة جديدة أودعت على منصة «آركايف» تقترح أن يكون اتساق المخرجات، لا القدرة العامة وحدها، مقياساً مستقلاً في تقييم الأنظمة.

تحمل الورقة عنوان «Grouping the Stochastic Machine»، وقدمها جورج أندريكوبولوس في 19 أغسطس ضمن تصنيف الذكاء الاصطناعي. ويستعير الكاتب تشبيه الرماية: القدرة تتعلق بالمكان الذي يصل إليه متوسط الطلقات، أما الاعتمادية فتتعلق بمدى تقارب الطلقات من بعضها. في تطبيقه على النماذج، يسمي هذا التقارب «الدقة» أو precision.

الفرق بين إصابة جيدة وتكرار موثوق يجادل الباحث بأن الثقافة المعيارية تقيس غالباً النزعة المركزية للنتائج، أي ما يمكن أن تحققه الاستجابة الأفضل أو المتوسط. أما الفارق العملي بين الأنظمة المتقدمة، بحسب طرحه، فقد يكمن في تشتت المخرجات عند تكرار الطلبات المتطابقة. الورقة لا تقدم هذا بوصفه حقيقة مستقرة عن كل النماذج، بل كفرضية قياس ينبغي اختبارها.

يقترح المؤلف إجراء مجموعة ثابتة من المهام القابلة للتقييم الحتمي مرات عدة، عند درجة حرارة ثابتة، ثم حساب اتساق نتيجة كل مهمة. ويشدد على أن المنهج لا يحتاج إلى نموذج آخر لتقييم الإجابات، لأن وجود نموذج داخل عملية التحكيم قد يضيف طبقة جديدة من التفاوت أو الاستدلال الدائري.

نوع الخطأ يغير قرار التشغيل تميز الورقة بين إخفاقات متسقة، حيث تتجمع النتائج بعيداً عن الهدف نفسه، وإخفاقات متفرقة واسعة التشتت. في الحالة الأولى، يرى الباحث أن المشكلة قد تستجيب لتعديل قواعد التشغيل أو التوجيه. وفي الثانية، قد يحتاج الفريق إلى تغيير النموذج أو أسلوب أخذ العينات. إنها قسمة عملية: لا يكفي أن تقول إن النظام أخطأ، بل تحتاج إلى معرفة إن كان يخطئ بالطريقة نفسها كل مرة.

تصف الورقة مقياساً أطلقت عليه grouping، وتسخيراً لقياسه، كما تعرض تجربة أولية تقول إنها تكررت لاحقاً. ووفق الملخص، أغلق إجراء واحد فجوة مقاسة من صفر من خمس إلى خمس من خمس، بينما لم تجد مجموعة مهام صممت من القواعد ذاتها قيمة إضافية لأن نموذجاً متقدماً كان يجسد ممارسات صريحة جيدة بالفعل. هذه نتيجة يوردها صاحب الورقة عن تجربته، لا معياراً مستقلاً تم التحقق منه خارجها.

ما الذي يهم الفرق التي تستخدم النماذج؟ الاقتراح لا يمنح حكماً جاهزاً على أي منتج، لكنه يدفع إلى اختبار يتصل بالعمل اليومي: كرر المهمة ذاتها، واجعل التقييم قابلاً للحسم، وانظر إلى تباين النتيجة قبل أن تنسب المشكلة إلى المستخدم أو إلى الأداة. بالنسبة للفرق التي تبني سير عمل يعتمد على نموذج لغوي، قد تكون هذه الطبقة من القياس أكثر فائدة من مقارنة لقطة واحدة ناجحة. أما صلاحية المقياس واتساع تطبيقه، فهما مما ستحتاجه الورقة إلى اختبار أوسع لإثباته.