اختبارات الوكلاء البرمجية تمتد إلى ثلاث ساعات: معيار يرصد التقدم المرحلي للنماذج

تعتمد المؤسسات التقنية على تقييم وكلاء الذكاء الاصطناعي باختبار ثنائي حاسم: إما أن تنجح المهمة البرمجية بالكامل أو تسجل الخوارزمية إخفاقا كاملا. هذا المنطق الإقصائي يتجاهل طبيعة الأعمال المعقدة التي تمتد ساعات متواصلة داخل بيئات الأوامر الطرفية. ورقة بحثية جديدة أعدها 17 باحثا عبر منصة «أوركايف» تكشف أن قياس الإنجاز النهائي وحده يهدر جانبا جوهريا من الجهد البرمجي، مقدمة إطارا تجريبيا يختبر قدرة النماذج على الصمود والتقدم التراكمي في مسارات عمل تستغرق ثلاث ساعات كاملة.

الإطار المحدّث، الذي يحمل اسم «Long-Horizon-Terminal-Bench 2.0»، يوسع المعيار السابق من 46 مهمة أصلية إلى 77 مهمة موزعة على 13 مجالا علميا وهندسيا وثمانية أنماط من المهام، بعد معالجة عيوب البنية التحتية للتقييم وتوسيع 31 مهمة. واعتمد الباحثون مسارا منهجيا لإعادة بناء المهام ينطلق من أدوات هندسية وبرمجية عاملة، مع توليد سيناريوهات متعددة يُكشف ستة منها كأدلة سلوكية للنموذج، بينما تُحجب ثلاثة سيناريوهات للاختبار النهائي. هندسة سلالم التقدم المتدرجة منعت النماذج من حفظ المخرجات المعلنة، وركزت على مكافأة الإنجاز الجزئي في كل خطوة.

أبرز ما يقدمه المعيار الجديد هو مضاعفة أفق الاختبار الزمني من 90 دقيقة إلى ثلاث ساعات كاملة، مع تثبيت نقاط تدقيق آلية كل 30 دقيقة ترصد بدقة مسار النموذج وما إذا كان يحافظ على اتجاهه أو ينحرف في منتصف الطريق. وخلال 1,145 جولة اختبار شملت 15 نموذجا من أبرز النماذج المتقدمة، تصدر نموذج «GPT-6-astra» النتائج بمتوسط مكافأة تراكمية بلغ 0.69 وحقق نسبة إنجاز تجاوزت 0.95 في 37 مهمة، وتلاه مباشرة نموذج «GPT-5.6-sol» بمعدل 0.67 وبلوغ العتبة ذاتها في 32 مهمة.

فحصنا في تفاصيل الدراسة الفجوة الرقمية التي سجلتها نتائج الاختبار، فوجدناها تقدم دليلا عمليا على قصور التقييمات التقليدية؛ فعلى مستوى ثلاثين مهمة مخصصة لإعادة البناء، لم يتجاوز متوسط تقييم أدوات التحقق الثنائية التي تقيس النتيجة النهائية حاجز 0.221، في حين قفز متوسط درجات سلم التقدم المتدرج إلى 0.653. النماذج تقطع ثلثي المسار الهندسي بنجاح قبل أن تتعثر في التفاصيل الختامية، مما يجعل الحكم عليها بالفشل المطلق تضليلا لفرق التطوير.

هذا التحول في فلسفة القياس يفرض تغييرا مباشرا على فرق الهندسة وإدارات التحول الرقمي في الخليج ومصر والشام، حيث تتسابق المصارف والمؤسسات اللوجستية إلى توظيف الوكلاء المستقلين لأتمتة الأنظمة المعقدة. الاستمرار في الاعتماد على معايير النجاح الثنائية يعني إما التسرع في استبعاد حلول برمجية واعدة تؤدي معظم العمل ببراعة، أو المخاطرة بنشر وكلاء دون رقابة مرحلية كافية. القرار العملي أمامك اليوم هو بناء منصات تدقيق ومحطات تفتيش برمجية كل نصف ساعة داخل بيئة التشغيل، مما يتيح لفريقك رصد الانحراف مبكرا وخفض تكاليف الحوسبة والاستدلال المهدرة في محاولات فاشلة لا تكتشف خطأها إلا عند خط النهاية.

توضح نتائج التجربة أن نضج وكلاء الذكاء الاصطناعي في المهام الطويلة لن يُقاس بضربات الحظ التي تصيب المخرج الأخير، بل بقدرة النظام على مواصلة البناء المنهجي خطوة بخطوة. ومع انتقال المعايير من مجرد رصد الإجابة النهائية إلى مرافقة الوكيل عبر مسار زمني يمتد لساعات، تتبدل قواعد اللعبة: الميزة التنافسية الحقيقية باتت في هندسة التدقيق المرحلي، لا في انتظار النتيجة العمياء.