«TinyCeNN-LM» يقيد استبدال طبقات الانتباه: بوابات الجودة تحمي تمثيلات النماذج وتخفض الذاكرة المؤقتة

يواجه مهندسو الذكاء الاصطناعي معضلة تقنية متكررة عند محاولة تقليص متطلبات تشغيل النماذج اللغوية الكبيرة بعد تدريبها، وتتمثل في صعوبة استبدال طبقات الانتباه ببدائل أخف وزناً دون التضحية بجودة الأداء. تكمن المشكلة الجوهرية في التوافق البنيوي بين الطبقات، حيث يؤدي إدخال بديل حسابي في موقع ما إلى تغيير طبيعة التمثيلات الرياضية التي تعتمد عليها الطبقات اللاحقة لمعالجة النصوص. وفي هذا السياق، كشفت ورقة بحثية نشرت عبر منصة «أركايف» للباحثين كابه محسن زادكان ووحيد توكلي وكياندوغيري كاياماكيا عن إطار عمل تجريبي باسم «TinyCeNN-LM»، يقدم مساراً هندسياً يستند إلى التحويل بعد التدريب المقيد ببوابات الجودة الصارمة.

طبقات خلوية تكرارية تتحكم في تدفق الذاكرة

يقوم الإطار المقترح على توظيف طبقات خلوية تكرارية مستوحاة من الشبكات العصبية الخلوية المعروفة باسم «CeNN»، وتجمع هذه الوحدات بين معالجة موضعية مقيدة وذاكرة تكرارية مدمجة، مدعومة بآليات للتوجيه ودمج الإشارات، إلى جانب نظام تحقق يعمل بمبدأ القبول أو التراجع التلقائي عند رصد أي تدهور غير مقبول. واختبر الفريق البحثي ثلاثة تطبيقات معمارية مختلفة داخل هذا الإطار، شملت الذاكرة المدمجة «Integrated Memory»، ودمج الذاكرة «MemoryFusion»، والبنية المركبة «PDelta3-GDN2-CLVR+Local32». ويفرض بروتوكول التحويل الصارم في صيغة «PDelta3» معايير محددة سلفاً، حيث يرفض قبول استبدال أي طبقة في النموذج إلا إذا اجتازت دقة التمثيل الداخلي ومقياس الاحتمال اللوغاريتمي السلبي عتبات رقمية ثابتة لا تقبل التجاوز.

اختبارات دقيقة تفصل بين استقرار الأرقام ودقة التمثيل

أبرزت التجارب العملية أهمية الفرز الانتقائي للطبقات بدلاً من التعميم الشامل؛ فعند تطبيق النظام على نموذج «SmolLM2-135M»، وافقت بوابات الجودة على تحويل الطبقات الابتدائية من صفر إلى اثنتين، مع تسجيل فارق تراكمي طفيف في الاحتمال اللوغاريتمي السلبي بلغ إيجاب 0.01209، في حين رفضت المنظومة تحويل الطبقة الثالثة وقامت بالتراجع عنها تلقائياً، والسبب في ذلك لم يكن تراجعاً في مقياس الاحتمال اللوغاريتمي بل فشل الطبقة في الحفاظ على أمانة التمثيل الداخلي الذي تتطلبه باقي أجزاء النموذج. وفي المقابل، أثبتت التجربة على نموذج «Qwen3.5-0.8B» جدوى استبدال طبقات محددة للانتباه الكامل، حيث تم قبول استبدال الطبقات الثالثة والسابعة والحادية عشرة، بفارق إجمالي في مقياس الاحتمال اللوغاريتمي السلبي استقر عند إيجاب 0.02073.

وعلى مستوى كفاءة العتاد، أظهر تطبيق الذاكرة المدمجة قدرة واضحة على خفض ذاكرة التخزين المؤقت الكلية بنسبة تصل إلى 6.01 بالمئة، مع الحفاظ على معدل الحيرة ضمن نطاق شديد الدقة تراوح بين انخفاض قدره سالب 0.07 بالمئة وزيادة طفيفة بلغت موجب 0.93 بالمئة. وأجرى الباحثون فحصاً عملياً مجتزأً شمل عينة من مئتي عنصر لاختبار المهام اللاحقة، حيث حققت الإصدارات المحولة من نموذج «Qwen» دقة إجمالية تراوحت بين 28.5 بالمئة و32.0 بالمئة. وتقود هذه النتائج إلى خلاصات مؤكدة تدعم تبني التحويل الهيكلي المحافظ والمقيد بضوابط التحقق خطوة بخطوة، بدلاً من التسرع في الاستبدال الشامل لآليات الانتباه أو مطاردة تسريع الأداء على حساب تماسك التمثيل الرياضي داخل الشبكة.

ما الذي يتغير عملياً لفرق الحوسبة والاستدلال في المنطقة؟

يحمل هذا التحول في هندسة النماذج وزناً تشغيلياً مباشراً للمطورين والمؤسسات التي تدير أعباء الاستدلال في الخليج ومصر والشام، وتحديداً الجهات التي تعمل على نشر نماذج مفتوحة المصدر مثل «Qwen» محلياً داخل مراكز بيانات سيادية أو بيئات عمل خاصة. المشكلة الدائمة التي تواجه المصارف وشركات التقنية والجهات الحكومية في المنطقة لا تنحصر في حجم معلمات النموذج، بل في استهلاك ذاكرة التخزين المؤقت أثناء التشغيل اللحظي، مما يرفع تكلفة خوادم الاستدلال ويحد من التوسع. التحويل الجزئي الخاضع لبوابات الجودة يثبت أن تقليص الذاكرة المؤقتة بنسبة ستة بالمئة لا يحتاج إلى إعادة تدريب كاملة أو التضحية بجودة الإجابات، بل يمكن تحقيقه عبر فحص انتقائي لكل طبقة والتراجع عن الطبقات التي تفسد التمثيل الداخلي. هذا المسار يمنح فرق الهندسة في المنطقة معياراً واضحاً: الأولوية ليست لمعدلات الضغط العشوائية، بل للتحقق الدقيق من سلامة كل طبقة قبل اعتمادها في البيئات الإنتاجية.