«ضغط الأوزان دون بت واحد: ما الذي تكشفه شفرة سامسونج عن كلفة الاستدلال؟»
استمع لهذا المقال
بصوت راشد (Rashed)
ظل الاعتقاد السائد في أوساط هندسة النماذج اللغوية أن حافة البت الواحد تمثل الحد الأدنى الذي لا يمكن تجاوزه دون انهيار المنطق الرياضي للأوزان وضياع دقة المعالجة. غير أن الشفرة المصدرية التي نشرتها مختبرات «سامسونج» عبر مستودع مشروع «ليتل بت» تدفع بنية النماذج إلى منطقة حسابية غير مألوفة، محققة معدلات ضغط تنحدر في النطاق بين بت كامل وعُشر بت فقط لكل وزن، دون فرض أي تغيير على المعمار البرمجي الأصلي للنموذج عند الاستدلال.
تقوم الفكرة الأساسية التي وثقها الباحثون في مؤتمر «نوريبس 2025» على تفكيك كل مصفوفة أوزان كثيفة إلى عوامل كامنة منخفضة الرتبة عبر تفكيك القيم المفردة، ثم تحويل تلك العوامل إلى صيغة ثنائية صارمة، مع استعادة سعة الإشارة عبر مقاييس عددية خفيفة يتم تعلمها أثناء التدريب. وعندما فحصنا المعمار المحدث، وجدنا أن الإصدار الثاني المقبول في مؤتمر «آي سي إم إل 2026» للباحثين بان سيوك لي ويونغ مين كيم يعالج انحراف المحاذاة الهندسية في مرحلة التهيئة، حيث أضاف الباحثون آلية تدوير كامن داخلي مدعومة بتكميم تكراري مشترك، لضبط ومحاذاة العوامل الكامنة المستخرجة مع المكعب الفائق الثنائي قبل انطلاق تدريب التكميم.
المكسب الهندسي يتركز في غياب أي تكلفة إضافية عند التشغيل، إذ تُفعل طبقة «ليتل بت لينير» في التهيئة فقط، ويبقى تدفق البيانات أثناء الاستدلال متطابقًا مع الطبقات المعتادة. لكن الوصول إلى هذا الضغط المتطرف لا يتحقق كعملية تحويل سريعة بعد التدريب، بل يتطلب تدريبًا كاملًا واعيًا بالتكميم يعتمد دالة «سموث ساين» ودعم التفكيك المتبقي، ويحتاج إلى توزيع الحوسبة عبر مكتبة «ديب سبيد» بصيغة «زيرو 3» على بطاقات رسومية متعددة. وتظهر التجارب المعلنة في المستودع اختبار مصفوفة عريضة من النماذج، تشمل عائلات «لاما» و«فينكس 4» و«كيوين 2.5» ونماذج «كيو دبليو كيو» و«جيما» وصولًا إلى «كيوين 3»، مع تقييم دقتها على مهام الحيرة في «ويكي تكست 2» واختبارات الاستدلال المباشر مثل «هيلاسواغ» و«أرك» و«بول كيو».
الجدوى الميدانية لفرق التقنية الإقليمية محكومة بحدين متناقضين. فمن زاوية البنية التحتية، يمثل تقليص الذاكرة إلى ما يقارب عُشر بت تحولًا اقتصاديًا بالغ الأهمية لمراكز البيانات والشركات في الخليج ومصر والشام، حيث يتيح خفض متطلبات ذاكرة النطاق الترددي واستضافة نماذج ضخمة داخل خوادم محلية أقل تكلفة، مما يعزز سيادة معالجة البيانات دون الاعتماد الحصري على السحب الخارجية. غير أن العقبة الأولى تنبع من الترخيص الممنوح للمشروع، وهو ترخيص «المشاع الإبداعي غير التجاري 4.0»، ما يمنع المؤسسات المالية والجهات الخدمية من استخدام هذه الشفرة في التطبيقات الربحية والتجارية دون تراخيص مباشرة. أما العقبة الثانية، فتتمثل في كلفة الكفاءة الهندسية؛ فالنظام لا يتيح تكميمًا جاهزًا بضغطة زر، بل يفرض على الفرق المحلية امتلاك خبرات متقدمة في إدارة التدريب الموزع ومحاذاة الأوزان الرياضية.
تكشف هذه التجربة أن معضلة الذاكرة في خوادم الذكاء الاصطناعي قابلة للكسر الحسابي إلى ما دون البت، لكن فاتورة التوفير لا تختفي من الميزانية، بل تنتقل من تكلفة عتاد الاستدلال إلى حوسبة التدريب والالتزام بقيود التراخيص.