إطار PoEM يتنبأ بسياسات التعلم المعزز دون تدريب: هندسة المواءمة تتجاوز كلفة الحوسبة

تواجه عمليات ما بعد التدريب لنماذج الأساس عبر التعلم المعزز معضلة حسابية وتشغيلية معقدة، إذ تتطلب مواءمة النماذج مع مكافآت محددة، مثل مواءمة السلوك البشري أو الدقة المعرفية أو اتباع التعليمات، كلفة حوسبة ضخمة وعمليات تدريبية تتسم بعدم الاستقرار في كثير من الأحيان. وتزداد هذه المشكلة تعقيدًا مع الحاجة المتكررة لإعادة تدريب السياسات من نقطة الصفر في كل مرة يطرأ فيها تعديل على دالة المكافأة، أو عند محاولة دمج مكافآت متعددة معًا لضبط أداء النموذج في مهام متداخلة.

أمام هذا التحدي التقني، طرح الباحثون كيميا حميديه وجيانيس داراس وأنطونيو تورالبا إطار عمل بحثي يحمل اسم «PoEM»، وهو اختصار للتنبؤ بمخرجات التعلم المعزز استنادًا إلى سياسات قائمة، للإجابة عن تساؤل جوهري مفاده: هل يمكن التنبؤ بنتائج التعلم المعزز لدالة مكافأة جديدة دون الاضطرار إلى تشغيل مسار تدريب التعلم المعزز عليها فعليًا؟ ويعتمد الإطار الجديد على استغلال مجموعة من النماذج المدربة مسبقًا على دوال مكافأة أخرى لاستخراج السياسة المستهدفة بدقة حسابية عالية.

يقوم الأساس الرياضي للبحث على برهان يوضح أنه إذا أمكن التعبير عن دالة المكافأة الجديدة كتركيب خطي لدوال مكافأة موجودة مسبقًا، فإن السياسة الناتجة في الفضاء اللوغاريتمي يمكن كتابتها أيضًا كتركيب خطي للسياسات اللوغاريتمية القائمة. وتوصل الباحثون إلى ملاحظة لافتة تثبت أنه حتى في الحالات التي لا ترتبط فيها المكافآت بعلاقة خطية مباشرة، فإن السياسات اللوغاريتمية الناتجة عن تدريب التعلم المعزز تمتد عبر فضاء فرعي ذي رتبة منخفضة تقريبيًا عبر مختلف دوال المكافأة، كما يمكن تقدير معاملات الأوزان لهذا التركيب بالاعتماد فقط على مخرجات دالة المكافأة أو مخرجات السياسات الأساسية على عينات البيانات.

التحول من إعادة التدريب الشامل إلى التقدير الخوارزمي المباشر يلغي الحاجة إلى حوسبة باهظة وغير مستقرة. حوّل الفريق البحثي هذه الملاحظات الرياضية إلى خوارزمية عملية تأخذ النماذج المدربة بالفعل ودالة المكافأة الجديدة، وتقوم بتقدير سياسة التعلم المعزز المستهدفة دون تشغيل أي تدريب إضافي بالتعلم المعزز. وجرى التحقق من فعالية هذا النهج تجريبيًا عبر مكافآت اصطناعية وأخرى حقيقية، وشملت التجارب وسائط معالجة النصوص والصور على حد سواء، مما يؤكد قابلية تعميم الإطار عبر أنماط بيانات متنوعة.

يحمل هذا التطور أهمية مباشرة للمهندسين وفرق التقنية في الخليج ومصر والمنطقة العربية عمومًا، لا سيما مع تركيز المؤسسات المحلية على مواءمة نماذج الأساس مفتوحة المصدر مع سياقات تنظيمية وثقافية ومعرفية متخصصة. إن التكلفة المرتفعة لمزارع المعالجات الرسومية وعدم استقرار مسارات التعلم المعزز شكلا عائقًا أمام الفرق التي تسعى إلى ضبط سلوك النماذج أو دمج معايير دقة وسلامة متعددة. وعندما يصبح بالإمكان توليف سياسات جديدة من سياسات مدربة مسبقًا بأسلوب رياضي لا يتطلب إعادة التدريب من الصفر، ينتقل تركيز المهندس العربي من استنزاف ميزانيات الحوسبة إلى هندسة دوال المكافأة واختبار اتساق النماذج بأقل استهلاك ممكن للموارد.