خوارزمية «إس بي أو بلس بلس» تعيد هندسة التعلم التعزيزي للوكلاء: ضبط تدفق الاستدلال غير المتزامن يرفع كفاءة التدريب

تواجه منظومات تدريب وكلاء الذكاء الاصطناعي عبر التعلم التعزيزي معضلة تشغيلية وحسابية معقدة، فبينما تعتمد أساليب التعلم النسبي المجموعي على انتظار مسارات استدلال متعددة ومتزامنة للطلب الواحد لتقييم الأداء، تفرض مسارات استخدام الأدوات المتباينة في الطول والتعقيد هدراً زمنياً وحسابياً كبيراً في انتظار أبطأ المسارات. وفي ورقة بحثية جديدة بعنوان «SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL»، قدم الباحثون كاي روان، وجينغهاو لين، وتشيانشان وي، وزيتشي تشو، وزيهي هوانغ حلاً لتلك المعضلة عبر تطوير خوارزمية ترفع كفاءة تدريب الوكلاء في البيئات غير المتزامنة.

بنت الدراسة الجديدة مقترحها على تجاوز القصور الرياضي في خوارزمية التدفق الفردي السابقة المعروفة باسم «إس بي أو»، والتي حاولت التخلص من قيود التزامن عبر استخدام تقدير قيمة مستمر على مستوى الطلب الواحد. كشف الباحثون عن اختلال جوهري في الخوارزمية السابقة، حيث كان يتم تبييض ميزة واحدة لكل مسار كامل قبل تحسين دالة الخسارة المحسوبة على متوسط الرموز، مما يعني أن مركزة المسارات لم تكن تترجم فعلياً إلى مركزة القيمة المرجحة بالرموز التي يستهلكها نموذج الفاعل، وهو ما أحدث تشوهاً في إشارات التحديث الحسابية.

عالجت معمارية «إس بي أو بلس بلس» هذا التباين من خلال توحيد مقاييس ميزات النتائج النهائية تحت مقياس رموز الإجراء، مما أتاح مواءمة رياضية دقيقة بين مستوى المسار ومستوى الرمز المستهدف. وإلى جانب ذلك، أعادت الخوارزمية تنظيم أدلة الطلبات استناداً إلى حدث السياسة الفعلي الذي أنشأها بدلاً من ترتيب استلامها لدى جهة التعلم، مما يمنع انحرافات التزامن في بيئات التدريب الموزعة. وأظهرت الاختبارات المعيارية على بيئتي «ألف وورلد» عبر مقياسين من النماذج ومهمة «ماث تي آي آر» تفوقاً واضحاً في كفاءة التعلم المباشر عبر الإنترنت مقارنة بالخوارزمية الأصلية، مع تأكيد دراسات الاستئصال أن تطبيع مقياس رموز الإجراء كان العنصر الأقوى تأثيراً في تحسين الأداء.

يحمل هذا التطور أهمية هندسية واضحة للفرق التقنية ومختبرات الذكاء الاصطناعي في الخليج ومصر والشام التي تبني وكلاء مستقلين لتنفيذ مهام مؤسسية أو برمجية معقدة تستدعي واجهات برمجة التطبيقات وقواعد البيانات. فالتخلي عن اشتراط التزامن ومزامنة المسارات يقلل زمن تعطل وحدات المعالجة الرسومية أثناء انتظار أدوات الاستدلال الطويلة، ويخفض تكلفة الحوسبة السحابية اللازمة لتدريب الوكلاء التخصصيين محلياً. كما تمنح المعايرة الرياضية الدقيقة للرموز مهندسي التعلم الآلي القدرة على تدريب نماذج تفكير ووكلاء أدوات دون الوقوع في أخطاء تدرج التحديث التي كانت تستنزف الميزانيات الحسابية في التجارب غير المتزامنة.

تفتح هذه المنهجية مساراً عملياً أمام الشركات الناشئة ومطوري النظم الذكية في المنطقة لبناء خطوط تدريب تعلم تعزيزي مستمرة وأقل تكلفة، دون الحاجة إلى بنى تحتية عملاقة لإدارة طوابير التزامن. إن ضبط الحسابات على مستوى رموز الإجراء وترتيب التحديثات وفق لحظة التوليد ينقلان تدريب الوكلاء من كونه عملية محكومة بأبطأ استجابة إلى تدفق مرن يستغل كل دورة معالجة بأقصى كفاءة ممكنة.