إطار TWIST يكشف فجوة الذاكرة في وكلاء الذكاء الاصطناعي: المقايضة الصعبة بين رصد التناقض والتدخل الخاطئ

تعتمد معايير قياس الذاكرة طويلة المدى في نماذج ووكلاء الذكاء الاصطناعي على اختبار دقة الاسترجاع وتحديث المعرفة عبر التوجيه المباشر، متجاهلة خاصية أساسية في النظم التشغيلية: جودة التدخل، أي قدرة النظام على اتخاذ القرار الصحيح عند نقاط تغير معتقدات وسياق المستخدم عبر أسطح الإدخال والاسترجاع والتدقيق. وفي ورقة بحثية أُودعت منصة أركايف برقم 2609.28575، اقترح الباحث سوبرات باندا إطار اختبار جديدا باسم TWIST، مخصصا لقياس هذه الخاصية غير المرصودة في ذاكرة الوكلاء الحوارية.

جودة التدخل لا تقاس بكمية المعلومات المسترجعة وحدها، بل بقدرة النظام على الامتناع عن التدخل حين لا يستدعي السياق ذلك. يغطي الإطار الجديد أربعة مسارات اختبارية رئيسية: رصد التناقض غير الموجه، وتدقيق المسودات الصادرة ومطابقتها بسجل الذاكرة، وتقديم الإجابات وفق المعتقدات الحالية مع الحفاظ على تاريخ التعديل والاستبدال، إلى جانب حوكمة استرجاع المعلومات الحساسة. وقد طوّر الباحث هذه الحزمة اعتمادا على قواعد بيانات وبيئة عمل لوكومو، مع مواءمة كل مقياس كشف أو حظر بعنصر تحكم يمنع الإفراط في التدخل، وذلك عبر استخدام عناصر سلبية صعبة متطابقة مع السطح اللغوي، مما يحرم النماذج من التلاعب بنتائج التقييم عبر وسم كل مخرج باعتباره خطأ.

جرى التحقق من موثوقية المعيار باختبارات بشرية مزدوجة ومستقلة دون اطلاع مسبق، وحقق المسار الثاني المخصص لتدقيق المسودات معامل توافق كابا بلغ 0.85 عبر 161 عنصرا اختباريا. وكشفت النتائج عن مأزق تقني واضح: لم ينجح أي نظام اختُبر في تحقيق دقة عالية في رصد التناقضات ونوعية مرتفعة في تجنب السلبيات الصعبة ونسبة إسناد دقيقة في آن واحد. خطوط الأساس المعتمدة على الاسترجاع المعزز التقليدي استطاعت كشف ما بين 76 و97 بالمئة من التناقضات الحقيقية، لكنها اعترضت خطأ ما بين 16 و43 بالمئة من المسودات الآمنة، في حين حقق نظام تشغيلي موجه لتماسك المحادثة معدل نوعية شبه كامل بتفادي الاعتراض الزائف بنسبة تراوحت بين 98 و100 بالمئة، إلا أنه لم يلتقط سوى 42 بالمئة من التناقضات الفعلية، وهي مقايضة تعجز أرقام الاسترجاع وحدها عن رصدها.

أثبت سلم مقارنة شمل 13 تكوينا برمجيا أن كل تناقض موثق يمكن كشفه بالكامل عند توفير أدلته المباشرة، مما يوضح أن العجز يعود لفجوات في تغطية الاسترجاع وليس لقصور في قدرة النموذج على الاستدلال. كما أظهرت التجارب أن النماذج المعايرة تكاد تحل الاختبار تماما عند تزويدها بنص المحادثة الكامل، في حين كشف تقييم المسودات وحدها عن انحيازات أسلوبية مسبقة ترتبط بنوع النموذج نفسه.

يرتبط هذا القياس بصورة حاسمة بفرق التطوير في الخليج ومصر والشام التي تبني وكلاء ذكاء اصطناعي للتعامل مع العملاء أو لإدارة العمليات المصرفية والصحية والقانونية. فبناء الأنظمة على مجرد مقاييس الاسترجاع يمنح المؤسسة شعورا زائفا بالأمان. إذا كنت تطور وكيلا يعتمد على ذاكرة طويلة لحسابات عملاء أو لتحديث بيانات شحن وتعاقدات، فإن نظاما يتدخل بالخطأ لتعطيل مسودة سليمة بنسبة 40 بالمئة سيصيب العمليات بالشلل ويفقد العملاء الثقة، بينما يمثل تفويت التناقضات بنسبة تقارب 58 بالمئة مخاطرة بتقديم معلومات ملغاة أو غير مطابقة للاتفاقيات المحدثة. يفرض هذا التحول على المهندسين وقادة المنتجات في المنطقة إضافة مقاييس جودة التدخل ومعدلات الإنذار الكاذب إلى اختبارات القبول، قبل إطلاق الوكلاء في بيئات الإنتاج الحساسة.