مؤشر «Real-SWE» يختبر وكلاء البرمجة في بيئات الإنتاج: نسب النجاح تهبط إلى 38% أمام قواعد الأعمال المعقدة

أطلقت مختبرات «سبيسيفيك لابس» معيار التقييم البرمجي «Real-SWE»، المصمم لقياس كفاءة نماذج الذكاء الاصطناعي الرائدة عند التعامل مع قواعد برمجية إنتاجية خاصة ومغلقة جرى ترخيصها من شركات تقنية فعلية. وتأتي هذه الخطوة لمعالجة فجوة لطالما شابت مؤشرات التقييم التقليدية، إذ تضع النماذج ووكلاء البرمجة أمام مهام عمل حقيقية كان يعالجها مهندسو برمجيات يتقاضون أجورًا عليها، بدلًا من الاعتماد على مشكلات اصطناعية أو مستودعات مفتوحة المصدر يسهل تسربها إلى بيانات التدريب المسبق للنماذج.

كشفت نتائج المؤشر، التي اعتمدت متوسط ثماني محاولات مستقلة لكل مهمة بنمط الدقة من أول محاولة، عن تراجع واضح في قدرة الوكلاء على تنفيذ التغييرات البرمجية بدقة مقارنة بما تسجله الاختبارات الاصطناعية. تصدر نموذج «فيبل 5.1» عبر بيئة تشغيل «كلود كود» قائمة الأداء بنسبة حل بلغت 38.8 في المئة، تلاه «جي بي تي 6 أسترا» عبر واجهة «كودكس» بنسبة 33.8 في المئة. وحل نموذج «جيميني 3.8 فلاش» عبر واجهة «جيميني» ثالثًا بنسبة 31.2 في المئة، متقدمًا على «جي إل إم 5.3» بنسبة 28.8 في المئة، بينما تساوى «غروك 4.6» و«ميوز سبارك 1.3» بنسبة 23.8 في المئة، واستقر «كيمي كيه 3» عند 18.8 في المئة، و«جي بي تي 5.6 سول» عند 16.2 في المئة.

أوضحت بيانات الفحص أن الصعوبة الأساسية تكمن في متطلبات البيئة المشتركة وتشابك الخدمات الخارجية. يبلغ متوسط طول التوجيه في المؤشر 1742 حرفًا، ويتطلب الحل النموذجي تعديل 11 ملفًا في المتوسط عبر مسار العمل الواحد، مقارنة بستة ملفات في مؤشرات مثل «فرونتير كود» و«ديب إس دبليو إي». كما أظهر تحليل المهام أن ستًا من أصل عشر مهام عينة سجلت نسب نجاح إجمالية تقل عن 15 في المئة، وسجلت مهام تقليص تدفقات التحليلات نسبة نجاح صفرية لدى كافة النماذج دون استثناء، بينما هوت مهام حساب الضرائب عبر الولايات إلى 3.1 في المئة ومسح التناسق الخطي للبيانات إلى 4.7 في المئة.

تظهر تصنيفات الإخفاق أن إغفال المتطلبات التفصيلية وبناء القرارات على افتراضات غير متحقق منها يشكلان العائق الأكبر أمام الاعتماد الذاتي على الوكلاء البرمجيين. فقد بلغت نسبة فشل الجولات البرمجية التي استغرقت أقل من عشر دقائق 71.4 في المئة، في حين فشلت 73.4 في المئة من الجولات الأطول زمنًا، ما يثبت أن زيادة وقت التفكير والاستدلال لا تعوض غياب الفهم الدقيق لمعمارية المنظومة وقواعدها المحاسبية أو التشغيلية.

يعيد هذا المعيار صياغة حسابات مديري التقنية وفرق التطوير في المؤسسات المصرفية والمنصات الرقمية داخل الخليج ومصر، حيث يجري التوسع في تفويض الوكلاء البرمجيين لتسريع تطوير الخدمات المصرفية والمدفوعات الإلكترونية. الاعتماد على نسب النجاح المرتفعة في المستودعات المفتوحة يمنح شعورًا زائفًا بالأمان التشغيلي، فكلما كانت الأنظمة المحلية ترتبط بقيود ضريبية أو لوائح تسوية مالية متعددة الأطراف، ارتفعت احتمالات توليد كود مضلل يتجاهل شروط التحقق أو يفترض سلوكًا خاطئًا للخدمات الخارجية، ما يفرض نقل معايير الاختيار من السرعة الخام للنماذج إلى صرامة أدوات التحقق واختبار التكامل قبل دمج أي مخرج في الإنتاج الفعلي.

يثبت مؤشر «Real-SWE» أن الانتقال من مساعدة المبرمج إلى الاستقلالية الذاتية الكاملة في بيئات العمل الخاصة لا يزال يواجه قيودًا هيكلية حقيقية، وأن هندسة البرمجيات المؤسسية تتجاوز صياغة الدوال إلى فهم السياق التاريخي للمنظومة وما يحيط بها من تبعات مالية وتشغيلية مباشرة.