«عمى القواعد»: دراسة تكشف اعتماد حراس الامتثال في الذكاء الاصطناعي على أنماط سطحية بدلا من النصوص القانونية

كشفت دراسة تدقيقية جديدة نشرها باحثون عبر منصة «أركايف» عن خلل بنيوي يطال أنظمة الكشف عن الامتثال التنظيمي في النماذج اللغوية، حيث تعتمد هذه الأدوات على ملامح سطحية للسياق بدلا من قراءة القواعد القانونية المنظمة وتحليلها. وأظهرت الورقة البحثية، التي أعدها سايساب سادُو وفريقه البحثي، أن أدوات الحراسة ومجسات التنشيط المستخدمة كضوابط قانونية وتدقيقية تعاني من إخفاق منهجي أطلق عليه الباحثون اسم «عمى القواعد»، مما يفقد عمليات مراقبة الامتثال جدواها الحقيقية عند فحص المخرجات في قطاعات حساسة مثل حماية البيانات، والرعاية الصحية، واللوائح المالية، وسياسات المنصات.

تغيير نصوص اللوائح المنظمة أو حذفها بالكامل لا يغير من دقة الكشف لدى نماذج الحراسة. وأثبتت التجارب أن حذف القاعدة الحاكمة، أو إعادة ترتيب بنودها، أو استبدالها بقاعدة أخرى، ترك دقة الكشف دون أي تغيير يذكر عبر كافة نماذج الحماية ومجسات التنشيط التي خضعت للاختبار. وشمل هذا القصور نماذج الحراسة المشروطة بالسياسات، والتي تستشهد بالبند التنظيمي الصحيح في تقريرها، لكنها لم تغير حكمها النهائي إلا بالكاد حين استُبدل البند المقيد بنص تنظيمي آخر يمنح الإذن والسماح في السيناريو نفسه.

وللتحقق من عمق هذا القصور، صمم الفريق معيارا تقييميا مخصصا يتقاطع فيه حكمان تنظيميان مع سيناريوهين مختلفين، بحيث لا يمكن لأي طرف بمفرده التنبؤ بالنتيجة الصحيحة دون فهم العلاقة المتبادلة بين النص والسياق. وأكدت نتائج المعيار أن كافة الكواشف السريعة ومجسات التنشيط عجزت عن تخطي هذا الاختبار، بينما تبين أن التفكير التفكيكي خطوة بخطوة هو المسار الوحيد الذي تمكن من الإفلات من فخ السطحية والتعامل مع المنطق التنظيمي المطلوب.

بناء مقياس تنشيط منخفض التكلفة يتيح تدقيق نماذج الحراسة على نطاق واسع. ومن أجل تمكين عمليات التدقيق الموسعة دون الحاجة إلى إعادة تدريب النماذج، قدم الباحثون ما أسموه «مقياس الامتثال الداخلي» (ICS)، وهو آلية لقراءة التنشيطات الداخلية لا تتطلب تدريبا مسبقا، وتعتمد على معايرة من عشرة أزواج مصنفة فقط وتسجيل النتائج عبر إسقاط حسابي أحادي. وأخضع الفريق هذا المقياس لمعايير التقييم الصارمة ذاتها، ليكتشفوا أنه لم يحقق المعيار المسجل مسبقا للتفوق على المقارنات المرجعية البسيطة، إذ تساوى أداؤه المعمم بالكامل مع نموذج حقيبة الكلمات البسيط.

ورغم تلك القيود، احتفظ مقياس الامتثال الداخلي بقيمة عملية نظرا لانخفاض كلفته التشغيلية، ما أتاح للفريق استخدامه في تدقيق أربعة نماذج حراسة مطبقة فعليا، ونموذج تحكيم صفري التدريب بسعة ثمانية مليارات معامل، إضافة إلى ثلاثة عشر معيارا تقييميا. وأظهرت الاختبارات أن استخدام المقياس في ترتيب استجابات النماذج المرشحة رفع معدل النجاح المتحقق منه آليا، غير أن هذا المكسب تلاشى تماما عند التعرض لهجوم تكيفي بنمط الصندوق الأبيض. وأتاح الفريق البحثي بروتوكول الاختبار المعاكس وبيانات المعيار المتقاطع لاختبار مدى عمى القواعد في أي نماذج حراسة ومجسات تنشيط مستقبلية.