«هشاشة مسارات الانتباه»: مقياس جديد يكشف عدم يقين النماذج اللغوية في الإجابات الموجهة بالسياق

قدم فريق من الباحثين يضم مينسو كيم وسونغيونغ جي وكيسونغ مون وإيليونغ يون دراسة بحثية جديدة تهدف إلى كشف عدم اليقين في نماذج اللغات الكبيرة من خلال مراقبة هشاشة مسارات الانتباه الداخلية. وتركز الورقة المعنونة هشاشة مسار الانتباه كإشارة لعدم اليقين في نماذج اللغات الكبيرة والمودعة ضمن أرشيف أركايف تحت التخصصات الحوسبية للغة والذكاء الاصطناعي في الحادي عشر من أغسطس ألفين وستة وعشرين على فرضية مفادها أن عدم يقين النموذج حول الرموز لا يقتصر على اتساع توزيع المخرجات النهائية وإنما يمتد إلى مدى استقرار التنبؤات الواثقة أو هشاشتها عند إدخال اضطرابات على مسارات الانتباه.

ولقياس هذه الظاهرة طوّر الباحثون أداة تقدير لا تتطلب إعادة تدريب تُعرف باسم قياس المعلومات المتبادلة لشبكات الانتباه الفرعية، حيث تقوم هذه الأداة بحجب رؤوس الانتباه وقياس المعلومات المتبادلة وفق معيار بالد بين الشبكات الفرعية الناتجة. كما تعتمد الأداة على نواة للتوافق الدلالي تهدف إلى استبعاد الاختلافات في الصياغة السطحية للنصوص. وأثبتت الاختبارات المستقلة في مهمات الإجابة عن الأسئلة القائمة على سياق محدد أن هذه الإشارة توفر معلومات تنبؤية بالأخطاء تتجاوز الثقة الحاصلة من المرور الواحد والانتروبيا، وتتركز هذه الفاعلية في التنبؤات التي تكون واثقة في الظاهر لكنها هشّة في هيكلها الداخلي، حيث أدى اعتماد هذه الإشارة إلى خفض الخطأ المتبقي لمرشح الثقة إلى النصف تقريبًا.

وتُظهر الدراسة أن تميز هذه الإشارة يتدرج بحسب نمط العمل، مما يجعل الأداة قادرة على التنبؤ بنطاق تطبيقها الخاص، حيث تعمل بقوة عندما تعتمد الإجابات على التوجيه من خلال السياق المرفق، بينما تتراجع حدود فاعليتها بحكم التصميم عندما تُسترجع الإجابات من المعرفة المعاملية المخزنة داخل النموذج. واستطاع النسق الدلالي للأداة قراءة الإشارة انطلاقًا من استجابة جشعة واحدة ودون الحاجة للتوليدات العشوائية المتكررة التي تتطلبها الطرق المرجعية القوية، محققًا التعادل أو التفوق على طريقة الانتروبيا الدلالية في عشرة إعدادات من أصل اثني عشر إعدادًا مرجعيًا قائماً على السياق.

وعلى امتداد الإعدادات الاثنتي عشرة نفسها نجح النمط التكيفي الأفضل من الأداة والذي يعيد استخدام العينات العشر المسحوبة للطرق المرجعية في التعادل مع أقوى طريقة مرجعية أو التقدم عليها في ثمانية إعدادات، بينها ثلاثة إعدادات شهدت تفوقًا دالاً إحصائيًا وفق اختبار زوجي. وعند الانتقال إلى مهمات الإجابة القائمة على المعرفة المعاملية عادت كافة التنويعات إلى مستوى النقطة المرجعية ذات التكلفة الصفرية أو أدنى منها تمامًا كما توقع الباحثون، مع ظهور تقديرات شبه حتمية عبر جولات التشغيل المكررة. وبيّن التحليل الممتد على مستوى رؤوس الانتباه أن الحد الفاصل بين النمطين لا يرتبط بمجرد وجود الهشاشة في الرؤوس وإنما باقتران تلك الهشاشة بالأخطاء الفعلية، وذلك وفق ما جاء في الورقة الواقعة في تسع عشرة صفحة والخاضعة للمراجعة العلمية.