«فخ الكواشف العامة: دراسة تثبت عجز رصد الهلوسة في المجالات الحرجة وتحدد مسار الضبط التخصصي»

يقف التدقيق في دقة النماذج اللغوية الكبيرة أمام معضلة متكررة، فالنماذج قادرة على صياغة نصوص تبدو بليغة ومحكمة لكنها تتضمن ادعاءات غير حقيقية تقع في خانة الهلوسة. وفي دراسة بحثية جديدة قدمها الباحثان فارون تيجاي تشوندرو وديباسميتا بيسواس، جرى تفكيك هذه المعضلة عبر خط فحص متعدد الإشارات يدمج تصنيف نموذج «DeBERTa-v3» بعد ضبطه الدقيق، مع قياس عدم اليقين بأسلوب «مونت كارلو دروب آوت» (MC Dropout)، وتعديل المعايرة الحرارية لرصد الهلوسة على مستوى الردود الكاملة. أظهرت نتائج الورقة المنشورة عبر منصة «أركايف» أن مسار الكشف حقق مقياس إف 1 بلغ 0.915 ومساحة تحت منحنى التشغيل بلغت 0.977 في مهام النطاق العام على مقياس «HaluEval»، محققًا 0.97 في مهام الأسئلة والأجوبة، و0.96 في التلخيص، و0.82 في الحوارات، قبل أن يرفع استدلال «مونت كارلو» الدقة الإجمالية إلى 93.2%.

تكشف التجربة أن الكاشف لا يكتفي بالتقاط أنماط سطحية في التراكيب اللغوية، بل يمارس استدلالًا حقيقيًا مبنيًا على الاستلزام المنطقي بين النص والسياق. فقد أظهرت دراسة استبعاد السياق أن حذف المعرفة الأساسية أسقط أداء التلخيص بنسبة 24% في مقياس إف 1، ما يثبت أن تقييم الصحة يعتمد على تمحيص الإسناد المعرفي لا على مجرد الصياغة. وإلى جانب ذلك، كشف تحليل منحنى التعلم عن نتيجة اقتصادية بارزة، إذ تبين أن تدريب النظام باستخدام 25% فقط من البيانات كان كافيًا لحصد 77% من أداء النموذج الكامل، وهو ما يقلص كلفة البيانات وحجم العينات اللازمة لبناء منظومات رصد قوية.

الجدوى الحقيقية للرصد لم تتوقف عند كشف الإجابات المشوهة، بل تحولت إلى أداة لتصحيح سلوك التوليد من المنبع. فقد استخدم الباحثان تقنية تحسين التفضيل المباشر (DPO) على نموذج التوليد الصغير «Qwen2.5-0.5B»، ما أدى إلى خفض معدل الهلوسة فيه من 85.5% إلى 37.7% وفق مقاييس الكاشف المطوّر، وهو انخفاض نسبي بلغ 55.9%. تثبت هذه الخطوة أن استخدام مصنفات الاتساق كأدوات توجيه يتيح للمطورين ترويض النماذج اللغوية محدودة الحجم، ورفع جودة إجاباتها لتقترب من الجاهزية التشغيلية دون الحاجة إلى تكاليف تدريب باهظة.

غير أن النتيجة الأبرز التي نسفت فرضية الحل الشامل تمثلت في انهيار الكاشف العام عند اختباره في بيئة متخصصة. فعند تقييم خط الفحص عبر نطاق علمي مركب باستخدام معيار «SciFact» للبيانات الطبية الحيوية، تراجع مقياس إف 1 إلى 0.52 فقط، وهو مستوى متواضع يثبت أن التدريب على النطاقات العامة يعجز عن مواكبة تعقيدات المجالات الدقيقة. ولم يرتفع الأداء مجددًا إلا حين جرى ضبط نموذج «PubMedBERT» المتخصص على بيانات «SciFact»، حيث قفز مقياس إف 1 إلى 0.63 وحقق مقياس المساحة تحت المنحنى 0.81، ما يبرهن على أن التدريب المسبق المتطابق مع طبيعة النطاق يظل الخيار الأقوى للتكيف مع متطلبات كل قطاع.

ما تفرضه هذه الخلاصات على المشهد البرمجي في الخليج ومصر والشام يمس صلب القرارات المعمارية التي تبنيها الفرق التقنية. المطور أو مهندس النظم في مصرف خليجي يبني وكيلًا للعمليات الائتمانية، أو في شركة تقنية ناشئة في القاهرة أو عمان تعالج البيانات السريرية أو الفحوصات الطبية، لا يمكنه الاطمئنان إلى طبقات الحراسة الجاهزة المستوردة من سياقات عامة. الاعتماد على كاشف عام لحماية تطبيق متخصص يعني تمرير نحو نصف المغالطات دون ضبط، تمامًا كما انهار الكاشف العام أمام النصوص الطبية في الاختبار. والدرس المباشر هنا هو توجيه الموارد نحو بناء نماذج فحص تخصصية مبنية على تمثيل مسبق يفهم القطاع المعني، واستثمار حقيقة أن ربع حجم البيانات قادر على جلب معظم الكفاءة، مع تسخير تقنيات التفضيل المباشر لتأهيل نماذج محلية صغيرة الحجم تعمل بكلفة استدلال منخفضة داخل مراكز البيانات الوطنية.

تضع هذه الدراسة حدًا للرهان على كواشف الحراسة الشاملة التي تدعي حماية التطبيقات من الزلل عبر كل التخصصات. بناء منظومة ذكاء اصطناعي موثوقة في قطاع حرج لا يمر عبر إضافة طبقة تفتيش عامة مسبقة الصنع، بل يتطلب الاستثمار في تمثيل عميق يفهم مفردات المجال وقواعده المنطقية، لتظل جودة التوليد مرهونة بجودة التدقيق التخصصي الذي يحاسب كل استدلال على حدة.