تخفيف قيود الأوزان في تدريب النماذج يسرع إنجاز الحوسبة بنسبة 15 بالمئة

تخوض مختبرات تدريب النماذج اللغوية الكبيرة معركة خفية مع خوارزميات التحسين الرياضية، حيث يقف مهندسو الذكاء الاصطناعي أمام معادلة شائكة: كبح جماح معيار أوزان الشبكة لمنع الانفجار العددي، أو منح المعاملات حرية كافية لاستكشاف فضاء الحلول. فحصنا تفاصيل الورقة البحثية الجديدة التي أودعها الباحثون أثاناسيوس جلينتيس وداوي لي ومينغ يي هونغ عبر أرخايف، والتي تكشف أن القيود الصارمة المفروضة على خوارزمية «ميون» ليست قدرًا محتومًا لضمان الاستقرار. فبدل حصر الأوزان داخل حدود هندسية مغلقة، قدم الفريق خوارزمية «ميون جي إس» التي تتيح ترويض نمو الأوزان تدريجيًا بدل تجميدها، محققة قفزة في سرعة التعلم وكفاءة استهلاك البيانات الحسابية.

تنطلق الدراسة من تفكيك مسار التدريب بأكمله عبر قياس ما يُعرف بمعدل التعلم الفعلي المتراكم، وهو حاصل جمع معدلات التعلم الاسمية مقسومة على معيار فروبينيوس للأوزان عبر خطوات المعالجة. وأثبت الباحثون رياضيًا أن النسخة الأصلية من خوارزمية «ميون» تعاني اختناقًا حقيقيًا، إذ يتراكم معدل تعلمها الفعلي بمعدل لوغاريتمي بطيء يحد من قدرة النموذج على الإزاحة النسبية للأوزان في المراحل المتقدمة، ما يفسر تباطؤ تقدمها الميداني. وفي المقابل، ورغم أن النسخ المعدلة السابقة مثل «ميون دابليو» و«ميون إتش» ضمنت تراكمًا خطيًا عبر فرض قيود صارمة على معيار الأوزان، إلا أن هذا الإلزام الصارم قيد حرية استكشاف الشبكة العصبية بلا ضرورة رياضية ملحة.

الحل الهندسي لم يتطلب تثبيت الأوزان، بل تحييد اتجاه التمدد الشعاعي عبر إسقاط غرام-شميت المتعامد. هذا الابتكار الذي تقوم عليه خوارزمية «ميون جي إس» يقوم على حذف المكون القطري الموازي للمصفوفة في كل تحديث حسابي دون تقييد قسري للمعيار الكلي. وبرهن الفريق أنه مع ثبات معدل التعلم الاسمي وتطابق اتجاهات التحديث المحدودة، ينمو معيار الأوزان بمعدل تحت خطي لا يتجاوز الجذر التربيعي لعدد الخطوات الحسابية. هذه النتيجة النظرية ضمنت استمرار تراكم معدل التعلم الفعلي حتى في نهايات مسار التدريب الطويل، كما منحت الخوارزمية ضمانة استقرار تقاربي بمعدل مقلوب الجذر التربيعي للزمن في دوال الهدف الملساء غير المتأثرة بتغير المقياس.

المكاسب النظرية ترجمت مباشرة إلى أرقام عملية في بيئات التدريب المسبق، حيث اختبر الباحثون الخوارزمية على نماذج كثيفة بحجم 160 مليون و400 مليون معامل، إلى جانب نموذج يعتمد بنية خليط الخبراء بحجم إجمالي يبلغ مليار معامل و135 مليون معامل نشط. وأظهرت النتائج تفوق «ميون جي إس» في خفض مقياس الحيرة في اختبارات التحقق مقارنة بخوارزمية «ميون إتش» عند التدريب على آماد زمنية طويلة. والأهم من ذلك أن النماذج الكثيفة حققت تسارعًا مكافئًا في استهلاك الرموز بنسبة تصل إلى قرابة 15 بالمئة للوصول إلى مستوى الفقد نفسه، وهو ما يعني اختصار خمسة عشر رمزًا من كل مئة رمز تدريبي مع الاحتفاظ بالجودة الرياضية ذاتها.

هذا التحول في خوارزميات التحسين يمس جوهر القرارات التشغيلية لفرق هندسة النماذج في مراكز الحوسبة بالخليج ومصر، حيث تمثل ميزانيات التدريب المسبق للنماذج السيادية وبنوك المعرفة المتخصصة الكلفة الرأسمالية الكبرى. فحين تخفض خوارزمية جديدة الحاجة إلى 15 بالمئة من الرموز للوصول إلى مستوى الدقة المطلوب، فإن ذلك ينعكس فورًا على خفض ساعات تشغيل مصفوفات المعالجات الفائقة وتقليص استهلاك الطاقة وتبريد مراكز البيانات. كما يفرض على مسؤولي البنية التقنية مراجعة افتراضاتهم، فالقفزات النوعية في كفاءة النماذج لم تعد مرهونة بضخ المزيد من عتاد المعالجة فقط، بل بإعادة ضبط المعايير الرياضية الدقيقة التي تتحكم في تدفق الأوزان عبر رقائق التدريب.

إعادة التفكير في هندسة التحديث تعيد صياغة اقتصاديات التدريب المسبق للجيل القادم من النماذج. فبدل الانصياع لمعادلة كبح الأوزان الصارمة التي ورثتها المنظومة التقنية، تثبت التجربة أن النمو المنضبط للأوزان يمنح الشبكات العصبية مساحة أوسع لاستيعاب العلاقات اللغوية المعقدة دون الانزلاق إلى عدم الاستقرار. ومع تزايد التوجه الإقليمي نحو بناء نماذج متخصصة تعتمد بنية خليط الخبراء والنماذج المتوسطة، تصبح معادلات التحسين الذكية هي الفارق الحقيقي بين مشروعات تبتلع الميزانيات وأخرى تنجز أهدافها بأقل حوسبة ممكنة.