«ترانس غريد» يفضح قصور اختبارات التعميم المنهجي: انهيار دقة أعتى المحولات إلى 15 بالمئة

تعتمد قدرة النماذج الذكية على حل المشكلات المعقدة على ما يُعرف بالتعميم المنهجي، وهو القدرة على تفكيك العناصر الأولية المعروفة وإعادة تركيبها لمعالجة معضلات جديدة بالكامل، غير أن دراسة بحثية أودعها الباحثون تشنغ ون تشي، ودي هنغ يي، وياتاو بيان في أرشيف «arXiv» كشفت أن تقييمات الذكاء الاصطناعي السائدة تمنحنا انطباعاً خادعاً حول هذه الكفاءة عبر الاعتماد على اختبارات مبسطة تخفي العجز الحقيقي للبنى الحاسوبية.

توضح الورقة أن أطر الاختبار الحالية تلجأ إلى ثلاثة تبسيطات رئيسية لتسهيل دراسة التعميم: تركيب الإجراءات بصورة شبه خطية، والاعتماد على اختبارات الإنتاجية القائمة على زيادة الأطوال، وتقديم أهداف صريحة للإجراءات المطلوبة. هذه التبسيطات، وإن كانت تجعل الاختبارات أيسر تنفيذاً، إلا أنها تُسقط جوانب جوهرية من القدرة الإدراكية، حيث تلغي عملياً الحاجة إلى الاستدلال الاستقرائي والاستدلال التفسيري، وتكتفي باختبار مسارات استنباطية مباشرة لا تعكس متطلبات التفكير الحقيقي.

لتشخيص ما تغفله تلك المعايير، قدم الفريق بيئة تقييم موحدة تُدعى «ترانس غريد» تجمع بين أنماط الاستدلال الثلاثة معاً: الاستنباطي والاستقرائي والتفسيري. وشملت التجارب تقييم سبعة نماذج قائمة على معمارية المحولات عبر 4800 حالة اختبارية، لتكشف النتائج فجوة واسعة؛ فالنموذج الأكبر حجماً، والذي نجح في حل 79.6 بالمئة من مهام مجموعة الاختبار التقليدية المحجوبة، تراجع أداؤه إلى 55.3 بالمئة فقط عند نقله إلى بيئة «ترانس غريد»، بل هوى إلى 15.8 بالمئة في المجموعة الفرعية الأكثر تعقيداً. وأكدت البيانات أن هذا القصور ظل قائماً حتى ضمن نطاق أطوال التدريب، مما يثبت أن قدرة النموذج على توليد سلاسل أطول لا تعني بالضرورة امتلاكه تعميماً منهجياً حقيقياً.

أثبتت الورقة فرضيتها عبر تجربة عزل دقيقة أعادت خلالها إدخال التبسيطات القديمة إلى البيئة الجديدة؛ فعند تعديل المهام لتتراكب الإجراءات بصورة شبه خطية، انخفض المتطلب الاستقرائي، وعند تحديد الأهداف صراحة، تقلص المتطلب التفسيري. وفي كلتا الحالتين، قفزت معدلات النجاح لتعود إلى مستوياتها السابقة مقتربة من حدود 80 بالمئة، وهو ما يعني أن إدخال أي تبسيط فردي كفيل بمحو صعوبة الاختبار وتحويله إلى مجرد فحص تقليدي يخفي العيوب الهيكلية للنموذج.

يحمل هذا الكشف تأثيراً مباشراً على خطط التقييم التقني في المؤسسات والشركات عبر الخليج ومصر والشام؛ فالفرق الهندسية التي تبني وكلاء مستقلين أو تدمج نماذج المحولات في الأنظمة المصرفية وسلاسل الإمداد تعتمد غالباً على مؤشرات قياس عامة توهم بأن النماذج جاهزة للتعامل مع بيئات الأعمال غير المتوقعة. النماذج التي تحقق نسب نجاح تقارب 80 بالمئة في بيئات الاختبار المغلقة قد تسقط إلى حدود 16 بالمئة بمجرد مواجهة سيناريو مؤسسي حقيقي يتطلب استقراء القواعد الضمنية دون أهداف معلنة مسبقاً. إذا كنت تقود فريقاً تقنياً في المنطقة، فإن مهمتك تتجاوز فحص درجات النماذج في الجداول الترويجية، وتفرض عليك إخضاع الوكلاء لاختبارات داخلية مركبة تجمع بين استقراء السياق وتحديد الأهداف قبل تفويضها بقرارات حيوية.

تثبت هذه النتائج أن سباق تطوير الذكاء الاصطناعي لا يمكن اختزاله في تمديد سياق الرموز أو اجتياز مهام الاستنباط الخطي؛ فالتعميم المنهجي يظل معيار النضج الفاصل بين الحفظ وإدراك العلاقات، وستظل النماذج عاجزة عن العمل بكفاءة ما لم تُصمم أدوات القياس لتختبر تكامل الاستدلال في ظروف غامضة وغير خطية.