«تحسين ناش المباشر» يرفع نموذج ثمانية مليارات ليتجاوز أوزان السبعين: محاذاة التفضيلات بلا واجهات مغلقة

أظهرت دراسة تجريبية مستقلة أجراها فريق من الباحثين ونُشرت حديثا عبر مستودع «أركايف» أن تطبيق خوارزمية «تحسين ناش المباشر» بنسختها العملية على نماذج مفتوحة المصدر، يتيح لنموذج بحجم ثمانية مليارات معلمة التفوق على نموذج بحجم سبعين مليار معلمة في معدلات الفوز المعيارية. ركزت الورقة البحثية على إعادة بناء الخوارزمية وفحص قدرتها على محاذاة النماذج اللغوية مع دوال التفضيل العامة عبر تقريب توازن ناش في لعبة تفضيل ثنائية اللاعبين، مستخدمة نموذجي «لاما 3.1» بقدرة ثمانية مليارات معلمة و«ميسترال» بقدرة سبعة مليارات معلمة.

تقوم النسخة العملية من الخوارزمية، المعروفة باسم «دي إن أو براكت»، على حلقة تدريبية متكررة تبدأ بتوليد عينات استجابة مباشرة من سياسة النموذج الحالية، ثم تقييم تلك العينات بواسطة نموذج لغوي معتمد إلى جانب إجابة ذهبية مرجعية يقدمها نموذج معلّم. بعد ذلك، تختار الخوارزمية أزواج التفضيل التي تفصل بينها هوامش واسعة، لتخضعها لتحديث تبايني مستوحى من أسلوب التحسين المباشر للتفضيل. ووفق نتائج التقييم على معيار «ألبكا إيفال 2.0» مع اعتماد «جي بي تي 4 أو» حكما، قادت ثلاث جولات من هذا الإجراء إلى رفع معدل الفوز المضبوط حسب الطول لنموذج لاما من 31.7 في المئة إلى 45.3 في المئة، بينما قفز معدل الفوز لنموذج ميسترال من 6.8 في المئة إلى 18.4 في المئة، متجاوزا في حالة لاما أداء نموذج لاما 3.1 بحجم سبعين مليار معلمة عبر كافة معدلات الفوز المسجلة.

كشفت دراسات الاستئصال التجريبية أن الحفاظ على الإجابات المرجعية الذهبية واسترجاع البيانات السابقة يمثلان الركيزة الأساسية للتحسن المكتسب. فعندما اختبر الباحثون مسارات تحذف الإجابات المرجعية، أو تلغي مراجعة البيانات التاريخية، أو تكتفي بقبول الأزواج التي يفضلها النموذج المعلّم فقط، هبط معدل الفوز المضبوط حسب الطول بمقدار يتراوح بين ست وعشر نقاط مقارنة بالإجراء الكامل. وفي المقابل، أظهرت التجربة أن زيادة عدد العينات المولدة لكل أمر مدخل بين عينة واحدة وسبع عينات لم تحرك معدل الفوز سوى بفارق 2.1 نقطة كحد أقصى، كما أن توسيع هامش الاختيار بين درجة واحدة وخمس درجات لم يغير النتيجة بأكثر من 2.4 نقطة، ما يبرهن على أن هندسة البيانات المرجعية تفوق في أهميتها مجرد تكثيف العينات العشوائية.

تثبت نتائج الاختبارات أن خطوة تقييم أزواج التفضيل لا تشترط الاعتماد على نماذج تجارية مغلقة المصدر لضمان جودة المحاذاة. فباستخدام نماذج تقييم مفتوحة من العائلة المعمارية نفسها وبحجم أكبر، حافظت عمليات الضبط على 62 في المئة من مكاسب معدل الفوز لنموذج لاما، و82 في المئة لنموذج ميسترال، مقارنة بالنتائج المحققة عند استخدام نموذج تجاري كمعلّم ومقيّم. هذا الاكتشاف يفتح مجالا عمليا لتنفيذ دورة المحاذاة بأكملها داخل بيئات حوسبة معزولة دون الحاجة لتمرير المدخلات الحساسة عبر اشتراكات الشركات المزودة للواجهات المغلقة.

ورغم هذه القفزات في الأرقام، شددت الدراسة على وجوب قراءة النتائج بحذر منهجي، إذ اعتمدت التقييمات على جولات تدريبية منفردة، وشغل النموذج التجاري دور المعلّم الذي يولد الإجابات المرجعية ودور القاضي الذي يمنح درجات الفوز على منصة التقييم في آن واحد. هذه الثنائية تثير تساؤلات حول تحيز المحاذاة نحو تفضيل أسلوب النموذج الحاكم نفسه، كما رصد الباحثون مواضع ابتعاد الصيغة الحسابية العملية عن التأسيس النظري لتوازن ناش الذي تسعى إلى تقريبه، إلى جانب تسجيل التكاليف الحاسوبية التفصيلية لمسار التدريب بالكامل.

تفرض هذه البيانات مراجعة هندسية لفرق البنية التحتية والذكاء الاصطناعي في المصارف ومؤسسات الاتصالات والجهات الحكومية في الخليج ومصر والشام. فحين يثبت أن نموذجا من فئة ثمانية مليارات معلمة يستطيع مضاهاة مخرجات نموذج سبعين مليارا عبر ضبط أزواج التفضيل داخليا، يصبح الإنفاق التأسيسي الضخم على استئجار أو بناء عناقيد حوسبة عملاقة لتشغيل النماذج الكبيرة قرارا تشغيليا قابلا لإعادة النظر. يمكن لمهندسي النظم في المنطقة تشغيل نماذج مدمجة محليا على بطاقات رسومية محدودة التكلفة تلبي اشتراطات سيادة البيانات والسرية المصرفية، مع نقل الميزانيات من استهلاك سعات الحوسبة الفائضة إلى الاستثمار في إعداد الإجابات المرجعية الدقيقة وبناء مقاييس عربية مستقلة تكسر الاعتماد على الحكام التجاريين الخارجيين.