ربط التوجيه بأوزان الانتباه في نماذج الخبراء: تدريب الموجهات وحدها يرفع كفاءة الاستدلال الرياضي

يكشف بحث علمي أعدته الباحثة دسبوينا كوزموبولو مع فريق من الباحثين عن آلية جديدة لتطوير نماذج الذكاء الاصطناعي المبنية على معمارية «خليط الخبراء» (MoE)، تستهدف معالجة القصور التقليدي في توجيه الرموز. في المعماريات المعتادة، يختار موجه الرموز الخبير المناسب ويحدد وزنه بالاعتماد حصرًا على الحالة الخفية للرمز، وهو ما يحصر القرار في سياق ضيق ومحدود. تقدم الورقة تقنية «التوجيه الواعي بالانتباه» (Attention-Aware Routing)، التي تدمج في الموجه ميزات زمنية وطيفية مستخلصة من نافذة منزلقة لأوزان الانتباه، لتمثيل حالة السياق بصورة مفصولة تمامًا عن الحالة الخفية.

اعتمد المنهج التجريبي للبحث على تجميد نموذج المحول الأساسي بالكامل وحصر التدريب في معلمات التوجيه فقط، بغرض عزل التوجيه كمتغير مستقل وحيد في التجربة. وفي تقييمي للنتائج المنشورة، أظهر تطبيق التقنية على نموذج «أولمو إي» (OLMoE) تحقيق تقدم في اختبار الاستدلال الرياضي «جي إس إم 8 كيه» (GSM8K) بواقع 3.37 نقطة مئوية مقارنة بالنموذج المرجعي المضبوط بالإشراف على التوجيه فقط، ما يؤكد أن ترقية مسار اتخاذ القرار بين الخبراء كفيلة برفع الكفاءة الحسابية دون المساس بأوزان النموذج الأساسية.

توجيه الرموز وآليات الانتباه يشكلان دارة مقترنة تعيد تنظيم تدفق المعلومات ذاتيًا. أثبتت الاختبارات أن تعديل معلمات التوجيه في طبقة محددة ينتقل عبر المسار المتبقي ليضخم بؤر الانتباه في الطبقة اللاحقة مباشرة، مما يعيد تشكيل توزيع الانتباه في الشبكة بالكامل دون الحاجة إلى إدخال أي تعديل مباشر على آلية الانتباه ذاتها. تكشف هذه النتيجة عن ترابط بنيوي عميق بين قرار توجيه الخبير وطريقة انتشار الانتباه عبر الطبقات المتعاقبة.

امتدت مكاسب هذه المعمارية إلى ضبط سلوك التوليد اللغوي، إذ نجحت في تقليص التوليد المتباعد الطويل عند تعثر النموذج. وأظهرت القياسات أن الإجابات غير الصحيحة أصبحت أقصر طولًا، بينما حافظت الإجابات الصحيحة على طولها الكامل دون نقصان، وهو سلوك يحد من استرسال النموذج في مسارات استدلال خاطئة ومهدرة للموارد الحسابية عند عجزه عن حل المسألة المطروحة.

فاعلية التقنية ترتبط بعمق الطبقات، وتفرض موازنة دقيقة بين الاستدلال الرياضي واسترجاع الحقائق. كشفت الدراسة أن تطبيق التوجيه الواعي بالانتباه بصورة شاملة أو عشوائية عبر كافة الطبقات يؤدي إلى تدهور قدرة النموذج على استرجاع المعلومات الواقعية، في حين تظل مكاسب الاستدلال الرياضي مستقرة ومحققة عند حصر تطبيق التقنية في الطبقات العميقة من الشبكة. يجعل هذا التباين الحساس من التطبيق الانتقائي للتقنية أداة فحص دقيقة لرصد نوعية البيانات التي تحملها أوزان الانتباه عند كل مستوى عمق.

يحمل هذا الكشف أثرًا عمليًا مباشرًا لفرق هندسة النماذج والمؤسسات العاملة في تطوير الذكاء الاصطناعي في الخليج ومصر والشام التي تعمل على تطويع نماذج خليط الخبراء أو ضبطها محليًا. القدرة على تعزيز مهارات الحساب والاستدلال المعقد عبر تدريب طبقة التوجيه وحدها مع إبقاء النموذج الأساسي مجمدًا تمنح المطورين ميزة خفض تكاليف الحوسبة وساعات تشغيل المعالجات. وفي الوقت نفسه، يفرض توتر العمق موازنة تشغيلية واضحة: إذا كنت تبني محركًا لاسترجاع الوثائق والمعارف المؤسسية، فإن تغيير توجيه الطبقات العليا قد يضر بدقة استحضار الحقائق، بينما يتطلب بناء أدوات التحليل المالي والعمليات الحسابية استهداف الطبقات العميقة على وجه التحديد.

تقدم الورقة بذلك مسارًا عمليًا يبرهن على أن تحسين أداء النماذج المتخصصة لا يتطلب دومًا إعادة تدريب شاملة أو توسيعًا عشوائيًا لحجم المعلمات، بل يكمن في الضبط الدقيق لكيفية تفاعل المكونات الداخلية وتوزيع المهام بينها.