«بنش ميرت» يخترق اختبارات النماذج التوليدية: القياس النفسي يكشف تداخل الأمان بالاستدلال

تكشف الأرقام الإجمالية التي تتصدر لوحات تقييم النماذج اللغوية عن تناقضات متكررة، إذ تفشل أحيانًا في شرح سبب تفوق نموذج في بيئة عمل حقيقية وسقوطه في أخرى. طرح معهد ألين للذكاء الاصطناعي أداة جديدة بعنوان «بنش ميرت» (BenchMIRT)، مستعيرة مناهج القياس النفسي لتحليل اختبارات الذكاء الاصطناعي على مستوى السؤال الفردي والمهمة الواحدة، بدل الاكتفاء بالدرجات الإجمالية التي تخلط بين قدرات متباينة داخل الاختبار نفسه.

تعتمد الأداة على «نظرية الاستجابة للمفردة متعددة الأبعاد» (MIRT)، وهي منهجية إحصائية نشأت في علم النفس القياسي لتحديد السمات والقدرات الذهنية عبر أنماط الإجابة، حيث لا يمنح كل سؤال القدر ذاته من المعلومات حول قدرة المختبَر. طبّق الباحثون هذا المنهج على نتائج مئة نموذج لغوي مفتوح الأوزان عبر ستة عشر اختبارًا قياسيًا وأكثر من 34 ألف سؤال، دون توجيه مسبق للأداة حول طبيعة ما يقيسه كل اختبار. أسفر التحليل الرياضي عن بعدين رئيسيين مستقلين حكما الأداء عبر كافة الأسئلة: بعد الاستدلال العام، وبعد الأمان.

أظهر تفكيك الاختبارات الشائعة أن الأهداف المعلنة للتقييم لا تتطابق دائمًا مع ما يقيسه السؤال فعليًا. اختبار «بي بي كيو»، المصنف عادة ضمن اختبارات التحيز والأمان الاجتماعي، ارتبط في التحليل بالاستدلال العام أكثر من ارتباطه بالأمان؛ إذ يتطلب السؤال، كالمفاضلة في طلب سيارة أجرة بين حفيد وجد، تتبع الأدلة المنطقية وتسلسل الوقائع أكثر من مجرد إظهار حساسية تجاه العمر. وفي اختبار «دبليو إم دي بي» المخصص لقياس حجب المعارف المزدوجة الخطيرة في مجالات الكيمياء والبيولوجيا والأمن السيبراني، ظهر ارتباط عكسي بين ارتفاع قدرة النموذج على الاستدلال وانخفاض درجاته، لأن النجاح في الاختبار يتطلب الامتناع عن تقديم المعلومة، وهو ما يعاقب عليه النموذج الذي يملك قدرة أعلى على تقديم إجابات مكتملة.

تفكيك الأسئلة الفردية يوضح أن تقييم الأمان قد يقيس فهم المسألة بدلاً من نزعة الامتثال للضوابط، مما يغير قراءة نتائج اللوحات المرجعية.

يمتد هذا التباين إلى اختبارات كسر الحماية مثل «هارم بنش»؛ فبينما تعكس أسئلة استخراج البرمجيات الخبيثة والاحتيال بعد الأمان الفعلي، ارتبطت أسئلة حقوق الملكية الفكرية، مثل طلب كلمات أغنية شهيرة، ببعد الاستدلال العام. وتتيح الأداة إعادة ترتيب بنوك الأسئلة بحسب قدرتها التمييزية، حيث أثبتت التجارب أن الاحتفاظ بنسبة 10 في المئة فقط من أسئلة الاختبارات كان كافيًا للحصول على القياس ذاته لقدرات النموذج في الأمان والاستدلال، مع قدرة على التنبؤ بإجابات النماذج على الأسئلة المحجوبة بدقة بلغت 79 في المئة مقارنة بنحو 70 في المئة للاعتماد التقليدي على متوسط درجات الاختبار.

يحمل هذا التحول بعدًا عمليًا مباشرًا لفرق هندسة الذكاء الاصطناعي ومديري التقنية في المؤسسات المصرفية والحكومية في الخليج ومصر والشام؛ إذ ينهي الاعتماد الساذج على المتوسطات الرقمية في اختيار النماذج مفتوحة المصدر أو تقييمها قبل الدمج التشغيلي. فضلًا عن ذلك، يتيح اختزال مجموعات الاختبار إلى عُشر حجمها تقليص تكاليف الحوسبة وزمن الاستدلال المطلوب لتقييم النماذج محليًا، مما يخفض ميزانيات التحقق التشغيلي لدى الشركات الناشئة ومختبرات البحث الإقليمية. غير أن هذه الشفافية تحمل أيضًا محاذير تقنية، حيث يمكن استخدام المقاييس التفصيلية لحذف الأسئلة الأكثر صرامة وهندسة اختبارات منقوصة تجتازها نماذج غير محصنة.

تظل نتائج «بنش ميرت» محكومة بالنماذج التي تدربت عليها والأطر الزمنية الممتدة حتى مطلع عام 2025، غير أنها تضع معيارًا جديدًا لتصميم أدوات التقييم القادمة، وتؤكد ضرورة فحص الأسئلة بذاتها لمعرفة ما تقيسه حقيقة قبل اتخاذ قرارات النشر البرمجي.