إطار عمل جديد يمكّن وكلاء الواجهات الرسومية من التطور ذاتياً بعد النشر دون بيانات مصنفة

نشر باحثان من جامعة نانجينغ (Nanjing University)، شيو شيو (Shiyu Xuan) ولي تشاوتشاو (Zechao Li)، ورقة بحثية على أرشيف «آركايف» (arXiv) في الحادي عشر من أغسطس 2026، تقدم إطار عمل «التطور الذاتي في وقت الاختبار» (Test-Time Self-Evolving) لوكلاء الواجهات الرسومية (GUI agents)، وهو الأول من نوعه الذي ينجح في تكييف نماذج التأريض البصري (Visual Grounding) بعد النشر دون الحاجة إلى بيانات مصنفة بشرية (Human-annotated ground truth).

المشكلة: نماذج التأريض البصري للواجهات الرسومية عادة ما تُجمَّد أوزانها بعد النشر، مما يحد من قدرتها على التعامل مع واجهات لم ترها أثناء التدريب. المحاولات الحديثة للتعلم التعزيزي في وقت الاختبار (Test-time RL) تعثرت لأنها تفتقر إلى آلية للتفكير في محاولات الاستكشاف الفاشلة واستخلاص الدروس منها.

الحل المقترح: يبني الإطار حلقة مغلقة من أربع مراحل: الاستكشاف (Exploration)، التقييم (Evaluation)، التفكير (Reflection)، والاستيعاب (Internalization). يتنبأ الوكيل بإحداثيات التأريض لتعليمات معينة، ثم يقيِّم نموذج لغوي متعدد الوسائط (MLLM-based Reflector) النتائج ويولِّد استدلالاً تفكيرياً (Reasoning reflections). لتحويل هذا الاستدلال عالي المستوى إلى إشراف دقيق على مستوى التوكنات (Token-level supervision)، يقدم الباحثون «التقطير الذاتي الموجه بالتفكير داخل السياسة» (Reflection-Guided On-Policy Self-Distillation)، معلم ذاتي مشروط يترجم التفكير إلى إشارات تدريب كثيفة. وللحيلولة دون إفساد الإشارات الإشرافية من محاولات فاشلة، صمم الباحثون «معايرة تباينية» (Contrastive Calibration) تمنع البادئات التوليدية الخاطئة من تلويث عملية التعلم.

النتائج: عبر ستة معايير مرجعية (Benchmarks)، حقق الإطار تحسناً متوسطاً في الدقة قدره 7.4% فوق النموذج الأساسي. وإلى علم الباحثين، هذا أول عمل ينجح في توظيف التقطير الذاتي داخل السياسة (On-policy Self-Distillation) للتكيف في وقت الاختبار في مهمة التأريض البصري للواجهات الرسومية. يعتزم المؤلفان إتاحة الكود للمجتمع البحثي.

لماذا يهم القارئ الخليجي: وكلاء الواجهات الرسومية هم العمود الفقري لأتمتة المهام المعرفية في المؤسسات، من اختبارات البرمجيات إلى التشغيل الآلي للعمليات المكتبية. القدرة على النشر مرة واحدة ثم التحسن المستمر في بيئات حقيقية غير متوقعة، دون دوائر مكلفة لإعادة التصنيف البشري، تخفض عتبة التبني وتجعل الحلول أكثر جدوى للشركات في المنطقة التي تفتقر إلى فرق بيانات كبيرة. توفر الكود المزمع إصداره سيسرع التجارب المحلية والبناء عليها.