تجميل سجلات الوكلاء يخفض نجاح المهام: دراسة تكشف فخ إخفاء الأخطاء البرمجية
استمع لهذا المقال
بصوت راشد (Rashed)
يبدو تنظيف سياق الوكلاء البرمجية وتجريد سجلاتها من خطوات التعثر قرارا هندسيا بديهيا لتقليص استهلاك الرموز، غير أن ورقة بحثية جديدة لستة باحثين في علوم الحاسوب والذكاء الاصطناعي تكشف أن هذا الإجراء يقود إلى نتائج عكسية تماما. السجل الذي يبدو منقحا بينما يحتفظ الواقع الخارجي بآثار الخطأ لا يربك الوكيل فحسب، بل يدفعه إلى ارتكاب أخطاء مركبة تفوق ما يسببه ترك السجل خاما دون مساس.
طرح الفريق المكون من إيغور باخوموف وأنوراغ كول وهونغجون ليو وبو بانغ وشفيق جوتي وإريك نايكامب سؤالا جوهريا: هل يساعد المحتوى المصحح نفسه الوكيل أم يضره تبعا لكيفية صياغته في السجل وتطابقه مع ما يحمله العالم الخارجي؟ وللإجابة عن ذلك، عمد الباحثون إلى تجميد الوكيل في منتصف مهمته مع ضبط حالته الواقعية بدقة، ثم أجروا تعديلات تجريبية على السجل أو على البيئة الخارجية قبل تمرير المهمة إلى نموذج مستلم لإكمالها، وذلك عبر بيئتي اختبار متخصصتين هما AgentCE-Bench وAppWorld.
أظهرت النتائج على منصة AgentCE-Bench تباينا حادا بين طريقتين لتصحيح خطأ الوكيل؛ فعندما ارتكب الوكيل خطأ في إدخال قيمة معينة مع بقاء بيئة التشغيل ثابتة، أدى وضع ملاحظة تصحيحية صادقة إلى جانب الخطأ المحفوظ إلى رفع معدل تعافي المهمة ووصول النموذج المستلم إلى إنجاز بقية الأهداف بنجاح من 51 بالمئة إلى 66 بالمئة. في المقابل، حين جرى تنظيف السجل عبر استبدال الخطأ بإجراء مكتمل يوحي بأن الوكيل أنجز الفعل بنجاح، تراجع معدل التعافي إلى 44 بالمئة، وهي نسبة تقل عن ترك السجل الخاطئ على حاله دون تعديل، والذي حقق 50 بالمئة، مما يثبت أن وجود القيمة الصحيحة في السياق لا يضمن النتيجة إذا كذب السجل بشأن حالة التنفيذ الفعلية.
اتسع هذا الفارق بصورة أوضح في اختبارات بيئة AppWorld، حيث تتبعت التجارب عمليات الكتابة في قواعد البيانات وتأثير إشعارات النجاح والفشل الواردة للوكيل مقارنة بما طرأ بالفعل على البيانات. فعندما أظهر السجل إشعار نجاح لعملية كتابة لم تتحقق في الواقع، تراجعت نسبة نجاح المهمة بأكملها من 45 بالمئة إلى 28 بالمئة. وعلى العكس من ذلك، رفع إشعار النجاح الصادق نسبة الإنجاز من 38 بالمئة إلى 49 بالمئة عند حدوث التغيير فعليا في قاعدة البيانات. وبلغت فجوة الأداء بين الحالتين 27 نقطة مئوية عند تجميع النتائج عبر نموذجي استقبال، مع ثبوت هذا التباين لدى سبعة نماذج استقبال من أصل ثمانية اختبرها الباحثون بمستوى ثقة إحصائية بلغ 95 بالمئة.
تضع هذه الأرقام معمارية النظم أمام واقع عملي يمس الفرق التقنية التي تبني منصات الوكلاء المستقلة في المصارف والشركات اللوجستية في الخليج ومصر؛ إذ تدفع تكلفة استدعاء النماذج بالمهندسين إلى الاعتماد على آليات ضغط الذاكرة وإسقاط السجلات المتعثرة لتوفير النفقات التشغيلية. وتكشف بيانات البحث أن إخفاء فشل المعاملات يضلل النماذج اللاحقة ويجعلها تبني قراراتها على افتراض اكتمال التحديث، ما يتسبب في انهيار العمليات المتتابعة وتكرار الاستعلامات الخاطئة. تصبح المهارة الهندسية المطلوبة الانتقال من ثقافة التنظيف السطحي للسياق إلى هندسة الملاحظات الصريحة التي تعترف بالخطأ وتوثق الفشل بدقة، بدلا من محوه برمجيا.
تكشف التجربة أن النماذج في بيئات العمل الحقيقية تتطلب تطابقا تاما بين لغة السجل وواقع البيانات المادية المحيطة بها. محاولة تجميل السجل لتقليل الرموز أو الادعاء باكتمال المهام تأتي بنتائج عكسية ومكلفة، فالوكيل يتعلم التعامل مع أخطائه وتصحيحها حين يراها مدونة بوضوح، بينما ينهار أداؤه تماما حين يُقال له إن العملية نجحت بينما الواقع لا يزال يحتفظ بآثار الفشل.