اختبار «كارات» يكشف وهم استدلال نماذج المواد: حفظ النصوص يطغى على فهم الهياكل البلورية

تضع ورقة بحثية أعدها الباحث جياجون وو وفريقه من الباحثين، ونشرت عبر منصة «أركايف» برقم 2609.38340، نماذج الذكاء الاصطناعي اللغوية المخصصة لعلوم المواد أمام اختبار منهجي صارم: هل تستدل هذه النماذج حقا انطلاقا من البنية الهندسية والهيكل البلوري، أم تكتفي بنسخ إجابة مطبوعة مسبقا في نص المدخلات؟ تكشف الورقة إشكالية رئيسية مفادها أن مقاييس الدقة المعتادة تعجز عن كشف الحقيقة، نظرا لأن الوصف الهيكلي في التجارب السائدة يطبع في كثير من الأحيان الحقل نفسه الذي يختبر النموذج عليه.

لمعالجة هذا القصور، صمم الباحثون إطار تقييم أطلقوا عليه اسم «كارات» (CARAT)، يعتمد على تثبيت السؤال والإجابة النموذجية عبر ثماني طرق عرض متطابقة، مع تسمية كل علاقة هيكلية بصورة منفصلة داخل تمثيل «غراف سبيس» (GraphSpace)، ودمج تقنيات الضبط الدقيق المتطابق، وحجب الإجابات، وحقن الأدلة، والاستدلال الزوجي، وتطبيق قاعدة تمتلك صلاحية حجب الادعاءات. أظهرت النتائج أن العرض المرتبط بالبنية حقق تفوقا مقداره 17.3 نقطة مقارنة بالمدخلات المقتصرة على الصيغ المجردة في أصعب عائلات الاختبار. لكن الباحثين أخضعوا النتائج لتدقيق ذاتي أثبت أن تفوق مقاييس الدقة لا يعكس جودة الاستدلال، إذ تبين أن تقدم «غراف سبيس» على الرسم الدوري البسيط بفارق 19.3 نقطة ينقسم إلى أثرين متناقضين: الفارق لم يتجاوز 1.96 نقطة عندما احتوى العرض البسيط على كل ما يحتاجه السؤال، بينما قفز إلى 46.7 نقطة حين أسقط العرض البسيط تلك الحقول كليا، ما يؤكد أن الأرقام المرتفعة تقيس في الغالب نواقص خط الأساس وليس كيفية تقديم الأدلة.

تعمق التقييم في مهاجمة الاختبار ذاته، فاكتشف الفريق أن قاعدة برمجية بدائية تتخطى الرابط وتقرأ القائمة مباشرة تمكنت من الإجابة عن أربع عائلات من أصل سبع في الاختبار المحصن، ما استدعى إعادة بناء المنظومة حتى هبطت إحدى عشرة ثغرة التفافية من هذا النوع إلى مستوى الصدفة. وعند اختبار النموذج المجمد دون تدريب لاحق، برز سلوك يثبت أن النموذج يكرر الروابط الهيكلية دون توظيفها، حيث اقتبس الرابط بالحرف لكنه استمر في تقديم الإجابة ذاتها حتى بعد تغيير اتجاهه في 95.6 في المئة من الحالات الزوجية، مكررا العلاقة دون أي تفكير استدلالي. في المقابل، أسهم الإشراف والتدريب المتطابقان في رفع دقة الاستخدام إلى 99.8 في المئة، وحين جرى حذف الرابط هبط الأداء إلى 23.4 في المئة، متراجعا عن نسبة 27.0 في المئة التي حققتها أفضل قاعدة التفافية، مما يبرهن على أن القدرة على الانتقال من الحفظ إلى التوظيف قابلة للاكتساب والتعلم.

يحمل هذا التحليل أهمية بالغة للفرق البحثية ومختبرات الكيمياء الحاسوبية واكتشاف المواد المتقدمة في الخليج ومصر، وتحديدا للجهات التي تعتمد على الذكاء الاصطناعي لتطوير أبحاث الطاقة والبطاريات وتقنيات معالجة المياه. إن شراء اشتراكات الحوسبة أو تدريب النماذج المجمدة دون إخضاعها لاختبارات العرض المتطابق وفحص الثغرات الالتفافية يعني إنفاق الميزانيات على نماذج لغوية توهم مسؤوليها بامتلاك قدرات تفكير متقدمة، بينما هي في الواقع تعيد كتابة ما أدرج في المدخلات. التغيير العملي المطلوب من مسؤولي مراكز الأبحاث في المنطقة هو مراجعة بروتوكولات الاختبار الداخلي وفرض أساليب حجب البيانات للتأكد من أن النماذج المطورة تستوعب الخصائص الفيزيائية للمركبات بدلا من الاكتفاء باسترجاع النصوص.

تثبت تجربة «كارات» أن المعيار الحقيقي لكفاءة نماذج الذكاء الاصطناعي في الأبحاث العلمية هو قدرتها على التحليل لا الحفظ. فإذا كنت تقود فريقا تقنيا أو علميا في مؤسستك، فإن خطوتك الأولى تبدأ من تفكيك اختبارات الدقة العامة وفحص خطوط الأساس بدقة، فالتفوق الرقمي السطحي قد يخفي وراءه استنساخا عاجزا عن تقديم قيمة معرفية حقيقية.