تدريب الوكلاء بالصوت والصورة على تشغيل الحواسيب: تحول يختبر مشاريع الأتمتة بالمنطقة
استمع لهذا المقال
بصوت ليلى (Layla)
طرح فريق بحثي يضم قوانغتشي سون، وتشونغهاو تشاي، وييشوان لي، وتشاو تشانغ، إطاراً برمجياً جديداً يحمل اسم «VEX»، يعيد صياغة كيفية تدريب وكلاء الذكاء الاصطناعي على استخدام واجهات الحواسيب ونظم التشغيل عبر الفهم السمعي البصري المباشر. رصدنا في هذا التحول التقني انعكاساً مباشراً على فرق هندسة الأتمتة وتطوير النظم البرمجية في الخليج ومصر والمنطقة، إذ يختصر الفجوة التاريخية بين مشاهدة الشروحات المسجلة والتنفيذ الدقيق للمهام دون الحاجة إلى تفكيك مقاطع الفيديو يدوياً إلى لقطات ثابتة.
تعتمد الأنظمة السائدة لنماذج اللغات الكبيرة متعددة الوسائط على تمكين الوكلاء من إدراك واجهات المستخدم الرسومية، وتفسير الأوامر، وتنفيذ الإجراءات الرقمية. غير أن الأساليب المتبعة حالياً لتدريب الوكلاء على العروض التوضيحية المسجلة بالفيديو تقتصر على تحويل المقاطع إلى مسارات إجراءات مبنية على لقطات شاشة مجتزأة، مما يؤدي إلى إهدار المعلومات السمعية والبصرية الغنية المرافقة للشرح، كالشروحات الصوتية والتسلسل الزمني الحي للحركات على الشاشة.
يقدم إطار «VEX» نمط عمل ثلاثي المراحل أطلق عليه الباحثون اسم «المشاهدة والتنفيذ ثم إعادة المشاهدة». في المرحلة الأولى، يستخلص الوكيل الذكي إرشادات إجرائية دقيقة من مقاطع الفيديو التعليمية التي تجمع بين الإيضاح البصري والتفسير الصوتي البشري. وفي المرحلة الثانية، ينفذ الوكيل المهام البرمجية المطلوبة منه على واجهة الحاسوب. أما في المرحلة الثالثة، فيتحقق النظام من سلامة أدائه وتقدمه عن طريق إعادة مشاهدة مقطع الفيديو الخاص بعملية تنفيذه الفعلية لتقييم سلوكه ذاتياً ومراجعة مساره.
دمج الصوت مع حركة الواجهات يلغي وسائط التفكيك اليدوي ويمنح الوكلاء قدرة التحقق الذاتي من شاشاتهم. ولتطبيق هذا الإطار عملياً، بنى الفريق وكيلاً حوسبياً متعدداً للوسائط أطلق عليه اسم «video-SALMONN-VEX»، وهو نموذج بحجم تسعة مليارات معلمة يستند إلى معمارية «video-SALMONN 2» ومدعوم بالنموذج الأساسي «Qwen3.5-9B». كما ابتكر الفريق خوارزمية للتعلم التعزيزي باسم «AGGO» لتحسين التوجيهات المستخلصة من مقاطع الفيديو وربطها بالتنبؤ بالإجراءات التنفيذية التالية.
ولدعم هذا التدريب الموسع، عزز الباحثون منصات القياس المعيارية «AgentNet» و«OSWorld» و«CUA-Gym» بأكثر من 24 ألف مقطع فيديو تعليمي من العالم الحقيقي. وأظهرت الاختبارات العملية تفوقاً ملموساً ومطرداً، إذ حقق النموذج «video-SALMONN-VEX» زيادة نسبية بنسبة 22 في المئة في معدل نجاح إنجاز المهام على منصة «OSWorld» مقارنة بنموذجه الأساسي «Qwen3.5-9B». وفحصنا في نتائج التجربة كفاءة الإرشادات التوجيهية التي يولدها الإطار، حيث أسهمت تلك الإرشادات في رفع نسبة نجاح النموذج التجاري «Gemini-3.5-flash» بنسبة 10 في المئة على نفس المنصة المعيارية.
ماذا يعني هذا للمنطقة
يضع هذا البحث فرق التحول الرقمي ومطوري الأتمتة في المؤسسات الإقليمية أمام تغيير عملي في آلية رقمنة الإجراءات التشغيلية. فبدلاً من استنزاف ميزانيتك في كتابة تعليمات نصية معقدة لكل نظام داخلي أو تفكيك تسجيلات الموظفين إلى آلاف الصور الثابتة، يمكنك استثمار مقاطع التدريب المصورة والمرفقة بتعليق صوتي كما هي، لتمكين الوكلاء من استيعاب المهام المعقدة ذاتياً.
كما أن تحقيق نموذج بحجم تسعة مليارات معلمة مبني على معمارية مفتوحة لقفزة نجاح بلغت 22 في المئة، يفتح خياراً اقتصادياً حاسماً للشركات في الخليج والشام ومصر. هذا الإنجاز يسمح بنشر وكلاء تشغيل حواسيب ذوي كفاءة عالية على خوادم محلية محدودة التكلفة، دون الحاجة إلى الاعتماد الحصري على النماذج المغلقة باهظة الاستدعاء السحابي، مما يحمي خصوصية البيانات التشغيلية ويعزز السيادة التقنية لبيئات العمل الحساسة.