«مكاسب وهمية»: دراسة ترصد سبعة تشوهات قياس تختلق تطور النماذج اللغوية في التدريب الذاتي

تكشف ورقة بحثية جديدة نشرت على منصة «آركايف» للباحثين تشنغ شو ونان يان وليمنغ تشن ومحمد طاهر كشادي، أن تقييم قدرة النماذج اللغوية على تحسين نفسها بات يعتمد على تتبع المسائل الفردية التي يكتسبها النموذج أو يخسرها بدلاً من الاكتفاء بمعدل الدقة العام. وترى الباحثة في هذا المسار أن رصد هذه التحولات ينطوي على حساب الفارق بين تقديرين مشوبين بالتشويش الإحصائي، وهو ما يجعل النتائج عرضة لتشوهات قياس حادة تقود إلى استنتاجات مضللة حول كفاءة التعلم الذاتي.

أجرى الباحثون تدقيقاً شمل ثلاث جولات من التدريب الذاتي بتقنية تعديل المعاملات منخفضة الرتبة من الرتبة 32 على نموذج «Qwen3-8B»، وقارنوا النتائج بمسار تحكم مجمد خضع للخطوات نفسها تماماً. وأسفر التدقيق عن تحديد سبعة إخفاقات قياس جوهرية يؤدي كل منها إلى عكس النتيجة المعلنة تماماً في حال غياب عينة التحكم المقاسة. وبيّنت الدراسة أن بعض هذه الممارسات الخاطئة تعد أعرافاً متبعة في أبحاث الذكاء الاصطناعي، حيث يؤدي الاعتماد على سجل تقييم مبني على فك تشفير جشع أحادي إلى اختلاق تغيرات في قدرات نموذج غير مدرب على الإطلاق، نتيجة تشوهات ناجمة عن تجميع الاستدلال في دفعات، كما تمنح إحصائية التوسع الفاصلة بين اكتساب المهارة وصقلها النموذج غير المدرب معدلاً يبلغ 0.280.

وتوضح الورقة أن محاولات المعالجة القائمة على وضع عتبات حدية تقليدية تفشل عند إعادة التطبيق، إذ يظل الفرض الصفري المقدر عبر المقارنات المجمدة أعلى من الصفر. ولتجاوز هذه العقبة، استبدل الفريق تلك المقاييس باختبار إحصائي دقيق لكل مسألة على حدة مقابل خط أساس مجمع مع ضبط معدل الاكتشاف الخاطئ، وهو اختبار لم يرصد أي مكاسب وهمية على عينات التكرار المحجوبة، وحافظ على دقته عبر مختلف قواعد الاختبارات المتعددة ومعدلات الخطأ وأحجام التجميع.

أظهر تطبيق التدقيق عبر مسارات متكافئة أن التقطير الخارجي ينجح في حل مسائل نادراً ما يصل إليها النموذج الأساسي، بينما تعجز ثلاثة أشكال مختلفة من التدريب الذاتي عن تحقيق ذلك. واستبعد التحليل الإحصائي أن يكون هذا التباين مجرد أثر جانبي للمكاسب الكلية الأكبر للتقطير، إذ بلغت القيمة الاحتمالية دلالة قاطعة دون عشرة أس سالب ثمانية. وفي حين ظلت الأدلة غير حاسمة بشأن المسائل التي يعجز النموذج الأساسي عن الوصول إليها نهائياً، تبيّن أن التدريب الذاتي يتسبب في إفساد مسائل كان النموذج يحلها بنجاح عند خط الأساس، وذلك بمعدلات تتجاوز الحد الأدنى المقاس بكثير.

تخلص الدراسة إلى أن تدقيق الانتقالات في قدرات النماذج يتطلب قياس فرضية صفرية مستقلة لكل إحصائية يجرى الإبلاغ عنها، مؤكدة أن هذه الفرضيات الصفرية لا تتطلب إجراء تجارب جديدة ومكلفة، بل يمكن بناؤها مباشرة من تكرارات خط الأساس المتوفرة بالفعل في الدراسات متعددة المسارات التجريبية.