تخطَّ إلى المحتوى

كواشف الهلوسة تنقلب بين النماذج المصغرة: تدقيق يغيّر حسابات النشر الطرفي لفرق المنطقة

شارك المقال
كواشف الهلوسة تنقلب بين النماذج المصغرة: تدقيق يغيّر حسابات النشر الطرفي لفرق المنطقة
الصورة: Harrison Broadbent / Unsplash

استمع لهذا المقال

بصوت راشد (Rashed)

تعتمد معظم معايير رصد الهلوسة في نماذج الذكاء الاصطناعي على أبحاث أُجريت على نماذج ضخمة تتراوح أحجامها بين 7 و70 مليار معلمة، وسط وفرة في موارد الحوسبة وميزانيات توليد العينات، وهو واقع بعيد تمامًا عما تطبقه فرق التطوير فعليًا في الشرق الأوسط حين تنشر نماذج مصغرة ومكممة على الأجهزة الطرفية والمحمولة. هذا التباين دفع الباحثين شوبرا ميتال وجوراف ناريش ميتال إلى نشر ورقة بحثية جديدة عبر منصة أرخايف، قدما فيها تدقيقًا تقنيًا قابلاً للتكرار على معالج رسومي واحد لفحص كفاءة أربعة كواشف للهلوسة عند تطبيقها على نماذج صغيرة ومكممة بدقة 4 بت.

ركز التدقيق على أربعة كواشف تمثل ثلاثة مسارات رئيسية: مسار معايرة هامش الرموز المعياري بالطول، ومسار خط الأساس المعجمي المعتمد على تكرار الألفاظ وأنماط n-gram، ومسار اتساق العينات الذي ضم أسلوب الإنتروبيا الدلالية وأسلوب SelfCheckGPT-NLI. وجرى اختبار هذه الكواشف على نموذجين مفتوحين هما Llama-3.2-3B-Instruct وQwen2.5-3B-Instruct، بعد تكميمهما بتقنية NF4 ذات الأربعة بت وتشغيلهما على معالج رسومي فردي من طراز Nvidia Colab T4، بالاعتماد على حزمة أسئلة TriviaQA المغلقة.

أظهرت النتائج انقلابًا حادًا في تصنيف كفاءة الكواشف عند الانتقال من نموذج إلى آخر. فبينما كان يُفترض أن يحتفظ الكاشف المتفوق بمكانته، سجل معامل ارتباط سبيرمان قيمة سلبية بلغت -0.80، وسجل معامل كيندال تاو قيمة -0.667. هذا يعني عمليًا أن الترتيب ينعكس بالكامل، فالكاشف الذي حقق أفضل أداء لرصد هلوسة نموذج لاما تراجع إلى ذيل القائمة مع نموذج كوين، ما يثبت استحالة تعميم كفاءة كواشف الهلوسة بين النماذج المختلفة ذات الحجم الصغير.

المفاجأة التقنية الثانية تمثلت في التكلفة الحسابية. كشف الاختبار أن خط الأساس المعجمي البسيط والزهيد حسابيًا لم يظهر أي فارق إحصائي يعتد به في الأداء مقارنة بالأساليب المعقدة والمكلفة التي تعتمد على توليد عينات متعددة وفحص الاتساق الدلالي، وذلك تحت فترات ثقة إحصائية بلغت 95 بالمئة عبر أسلوب إعادة أخذ العينات. ويفسر ذلك بأن النماذج المكممة تخسر بعض الفروق الدقيقة في الاحتمالات، ما يجعل العمليات الحسابية المكلفة هدرًا صريحًا لموارد المعالجة المحدودة.

كشف الباحثون أيضًا خللاً منهجيًا في أدوات التقييم الشائعة، وتحديدًا في معيار TruthfulQA-Generation المعتمد على مطابقة تداخل الرموز مع أسئلة الاختيار من متعدد. وأسفرت هذه الآلية عن درجات أداء شبه عشوائية تراوحت بين 0.46 و0.59 وفق مقياس AUROC لجميع الكواشف عبر النموذجين. وأثبت الباحثون أن العيب يكمن في أداة وضع علامات الصواب التلقائية وليس في كواشف الهلوسة نفسها، بدليل أن الكواشف ذاتها حققت نتائج قوية تراوحت بين 0.69 و0.89 على مقياس AUROC عند اختبارها بالمسار نفسه على حزمة TriviaQA.

أتاح الباحثون حزمة الاختبار البرمجية والمطالبات وسجلات الدرجات التفصيلية مفتوحة المصدر، معتبرين أن اختيار كاشف الهلوسة للأنظمة الطرفية المقيدة بالموارد يجب أن يُعامل كمسألة توزيع عادل لمعدلات الخطأ، لا كمفاضلة مطلقة تفترض وجود كاشف مثالي صالح لكل بيئات التشغيل.

ماذا يعني هذا للمنطقة

يضع هذا التدقيق فرق هندسة الذكاء الاصطناعي في الخليج ومصر والأردن أمام تصحيح مباشر لممارسات النشر الطرفي، خصوصًا المشروعات التي تعتمد على نماذج مدمجة ومكممة لتشغيل المساعدات المحلية وتطبيقات الأجهزة المحمولة دون إرسال البيانات إلى السحابة. الاعتماد على تصنيفات الأوراق البحثية العامة لاختيار كاشف الهلوسة صار مخاطرة تشغيلية صريحة، والواجب الآن هو فحص كل كاشف بشكل مستقل على النموذج المكمم المزمع نشره فعليًا.

النتيجة تمنح المطورين الإقليميين مكسبًا ماليًا وتقنيًا واضحًا عند بناء الخدمات الطرفية محدودة الطاقة والذاكرة. التخلي عن كواشف اتساق العينات المعقدة لصالح الفحص المعجمي البسيط يوفر دورات معالجة ثمينة ويقلل زمن الاستجابة واستهلاك البطارية في أجهزة المستخدمين، دون أي تنازل إحصائي مثبت عن دقة رصد الإجابات المختلقة.

اشترك في همسات الذكاء الاصطناعي — كل أسبوع: قصص وفرص وأحداث مختصرة وموثقة، بلا حشو.

اشترك ليصلك الجديد