16 استعلاما تكفي لمطابقة التدريب الكامل: دراسة تعيد صياغة تقطير النماذج وتكشف فجوة الكفاءة الخوارزمية

كشفت ورقة بحثية جديدة نشرت عبر منصة «أركايف» بعنوان «إعادة التفكير في التقطير التفاعلي للنماذج اللغوية الكبيرة: مثال تدريبي واحد» للباحث زيكسوان فو وزملائه، أن عمليات تدريب النماذج الصغيرة عبر تقنية التقطير التفاعلي للسياسات (On-Policy Distillation) لا تتطلب مجموعات بيانات ضخمة كما ساد الاعتقاد في الأوساط التقنية، بل يمكنها تحقيق معظم مكاسب الأداء انطلاقا من استعلام تدريبي واحد، ومطابقة التدريب الكامل بنحو 16 استعلاما فقط.

تعتمد تقنية التقطير التفاعلي على توليد النموذج الطالب لمخرجات واستجابات ذاتية مع تلقي إشراف لحظي ومكثف على مستوى الرموز من نموذج معلم متقدم. واختبر الفريق البحثي الحد الأدنى لبيانات التدريب من خلال حصر العملية في استعلام واحد، ليتبيّن أن هذا التدريب الأحادي يستمر في تحسين أداء النموذج عبر مئات الخطوات التدريبية، ويستعيد القسم الأكبر من المكاسب التي يحققها التدريب على مجموعات البيانات الكاملة عبر مختلف المجالات وعائلات النماذج اللغوية.

استعلام تدريبي واحد يغطي 71.5 بالمئة من الحالات المعرفية، بينما تكفي 16 مسألة للوصول إلى 98.9 بالمئة ومطابقة التدريب الكامل. فسر الباحثون هذه النتيجة عبر قياس «تغطية الحالات»، وهي نسبة الحالات التوليدية التي يصل إليها الاستعلام مقارنة بما يزوره التدريب الشامل. وأظهرت القياسات أن الاستعلام الواحد يبلغ 71.5 بالمئة من الحالات خلال أول 100 خطوة تدريبية، ومع إضافة استعلامات متباينة دلاليا ترتفع التغطية ودقة التحقق طرديا حتى تصل 16 مسألة إلى تغطية 98.9 بالمئة، وهي نسبة توازي مخرجات التدريب على كامل البيانات.

تقطير النماذج يعاني من تخمة في البيانات وفقر في كفاءة الخوارزمية الاستيعابية. أوضحت النتائج أن وتيرة مواءمة النموذج الطالب مع المعلم تتباطأ بالمعدل ذاته سواء جرى التدريب على استعلام واحد أو على قاعدة بيانات كاملة، إذ يتطلب استيعاب الحالات الثابتة مئات الخطوات الخوارزمية. وامتدت هذه الظاهرة إلى التقطير متعدد المعلمين، حيث حققت 16 مسألة متنوعة لكل مجال نتائج مطابقة للتدريب الموسع. كما أظهرت اختبارات الإجهاد أن القوالب النصية الخفيفة والاستعلامات الخارجة عن النطاق من منصة «وايلد تشات» قاربت أداء الاستعلامات الحقيقية، ما يثبت انفصال محتوى المهمة عن تغطية الحالات التوليدية.

ينعكس هذا الكشف بشكل مباشر على المختبرات وفرق هندسة الذكاء الاصطناعي في السعودية والإمارات ومصر، لا سيما الفرق التي تعمل على بناء نماذج تخصصية أصغر حجما أو توطين النماذج المفتوحة محليا عبر تقطير المعرفة من النماذج العالمية العملاقة. فالنتيجة ترفع عبء جمع وتنقية وتوليد ملايين العينات الاصطناعية المكلفة، وتخفض متطلبات خطوط معالجة البيانات إلى الحد الأدنى، محولة التركيز الهندسي والإنفاق التشغيلي نحو تحسين كفاءة خطوات الخوارزمية داخل البنى التحتية ومجموعات الحوسبة المحلية.

تضع هذه النتائج أولوية تطوير خوارزميات التدريب اللاحق فوق تكديس البيانات، مؤكدة أن الاختناق الحقيقي يكمن في سرعة امتصاص النموذج للإشراف المعرفي وليس في شح الأمثلة المدخلة. وتمنح هذه الرؤية المطورين في المنطقة ميزة واضحة لإعادة تصميم مسارات التقطير، بالاعتماد على عينات محدودة وعالية التباين الدلالي، وتوجيه الجهد التقني نحو هندسة كفاءة الخطوات والضبط التمثيلي داخل النماذج المستهدفة.