«فاكرا»: معيار جديد يكشف تراجع أداء وكلاء الذكاء الاصطناعي في الاستدلال المركب عبر واجهات البرمجة

نشر فريق بحثي يضم الباحثين أنكيتا راجارام نايك، وأنوباما مورثي، وبنجامين إيلدر، وسيو هوو، ورافي جوبتا، وأبهيناف جاين، وبرافين فينكاتيشواران، وعبد الحميد أديبايو، ودانيش كونتركتور، دراسة علمية عبر منصة أرخايف بتاريخ 12 أغسطس 2026، قدموا فيها معيار تقييم جديداً يُدعى «فاكرا» (VAKRA). صُمم هذا المعيار خصيصاً لقياس واختبار قدرات وكلاء الذكاء الاصطناعي على الاستدلال متعدد الخطوات عبر واجهات برمجة التطبيقات واسترجاع المعرفة تحت قيود سياسات استخدام الأدوات. ويهدف المعيار إلى سد الفجوة القائمة في تقييم وكلاء الذكاء الاصطناعي الموجهين لبيئات المؤسسات والأعمال، حيث تتطلب المهام الواقعية الربط والاستدلال المتزامن بين واجهات البرمجة الهيكلية ومجموعات المستندات والوثائق المتنوعة، بعد أن كانت المعايير السابقة تختبر كل قدرة من هذه القدرات بشكل منفصل ومستقل.

يتضمن معيار «فاكرا» قاعدة بيانات تشغيلية تضم أكثر من 8000 واجهة برمجة تطبيقات قابلة للتنفيذ الفعلي موزعة على 62 مجالاً مختلفاً. وقسم الباحثون المهام الاختبارية داخل المعيار إلى ثلاثة مستويات تتدرج وتتصاعد في درجة الصعوبة لتشمل مختلف حالات التفاعل التشغيلي. يركز المستوى الأول على اختبار أنماط التفاعل المتنوعة مع واجهات البرمجة، بينما ينتقل المستوى الثاني إلى تقييم الاستدلال متعدد الخطوات عبر واجهات برمجة التطبيقات الهيكلية المركبة. أما المستوى الثالث، والذي يمثل الدرجة الأعلى من الصعوبة، فيختبر قدرة الوكلاء على الاستدلال متعدد المصادر الملتزم بقيود سياسات استخدام الأدوات المصاغة باللغة الطبيعية.

ولتحقيق أقصى درجات الدقة والموضوعية في التقييم، يُتحقق من صحة الإجابات عبر إعادة تنفيذ استدعاءات الأدوات التي تتوقعها النماذج مقابل واجهات برمجة تطبيقات حية ومباشرة، مع مراعاة استيعاب وقبول مسارات تنفيذية متعددة صالحة للوصول إلى النتيجة المطلوبة دون فرض مسار برمجي وحيد. كما اعتمدت الدراسة على استخدام إطار تقييم موحد وثابت قائم على بنية «ReAct»، وذلك لعزل القدرات الذاتية للنموذج ورصد طاقته في الاستدلال والتفكير بشكل مجرد، دون التأثر بالتحسينات أو التعديلات الهيكلية الخاصة ببنية الوكيل البرمجية.

شمل التقييم الشامل اختبار أحدث نماذج الطليعة والنماذج مفتوحة الوزن، وكشفت النتائج عن تراجع ملحوظ في كفاءة هذه النماذج عند التعامل مع المهام المركبة. ففي حين سجل أفضل نموذج مختبر نسبة نجاح بلغت 70.4% فقط في المهمات أحادية الخطوة القائمة على نقطة نهاية واحدة، انخفضت هذه النسبة لتتراوح بين 50% و51% عند تقييم الأداء على واجهات البرمجة التجميعية والتركيبية. وأظهرت البيانات التحليلية أن أداء النماذج يتدهور وينخفض بنسبة تتجاوز 50% كلما زاد عمق الاستدلال والتتابع المطلوب لإنجاز المهمة.

تجلت الإخفاقات الأشد خطورة عند مواجهة الأسئلة المقيدة بسياسات الاستخدام، إذ تراجعت نسبة النجاح إلى 2.4% فقط عند التعامل مع الاستعلامات التي لا يمكن إجابتها بالاستناد إلى البيانات والسياسات المحددة. وكشف تحليل تتبعات التنفيذ أن مكامن الخلل لا تعود إلى الميكانيكيات التقنية لاستدعاء الأدوات، بل تتركز بوضوح في مرحلة الاستدلال اللغوي المتمثلة في إزالة الإبهام عن الكيانات والربط الدقيق للمعلومات عبر المصادر المختلفة. وقد أتاح الباحثون الكود المصدري ومجموعة البيانات الخاصة بالمعيار بشكل مفتوح لتعزيز الأبحاث المستقبلية في هذا المجال.