نماذج القرار السريع لوكلاء الذكاء الاصطناعي: تدقيق عملي يسقط أوهام التوفير الرخيص
استمع لهذا المقال
بصوت ليلى (Layla)
تعتمد أطر تشغيل وكلاء الذكاء الاصطناعي على سيل من القرارات المصنفة الدقيقة في كل مهمة، من توجيه الاستفسار إلى النموذج المناسب، واختيار الأداة البرمجية، إلى فحص صلة النصوص المسترجعة ورصد محاولات الاختراق. وقد راج الرهان على استخدام نماذج القرار السريع، المعروفة بنماذج النظام الأول، التي تحسم هذه الأسئلة بتمريرة أحادية وسريعة تعتمد على احتمالات الفئات، واعدة بخفض هائل في زمن الاستجابة وتكلفة الاستدلال مقارنة باستدعاء النماذج التوليدية الكبرى.
تضع ورقة بحثية للباحث جياوي لي، نُشرت عبر منصة أركايف، هذا التوجه أمام أول تقييم مزدوج ومدقق ذاتيًا. فحصت الدراسة أحد عشر موضع قرار عبر ثمانية عشر مصدرًا عامًا، متضمنة 7,283 حالة أساسية بالإضافة إلى 6,640 متغيرًا لاختبار المتانة، مع توحيد المدخلات والتحقق من قابلية التكرار عبر أجهزة متعددة وأيام منفصلة، لمقارنة نموذج مفتوح الوزن يدعى «لايا» مع نموذج استضافة سحابية يدعى «جيف».
أظهرت النتائج تفوقًا واضحًا للنموذج المستضاف «جيف» في تسعة مواضع قرار من أصل أحد عشر موضعًا، بفارق في الدقة تراوح بين 10.8 و46 نقطة مئوية. غير أن المفاجأة تمثلت في عجز النموذجين معًا عن تجاوز حاجز الصدفة العشوائية في التوجيه الصفري للنماذج، كما تساوى أداؤهما في بوابات استرجاع المعلومات لنظم توليد المحتوى المدعوم بالاسترجاع، ما يشير إلى أن القرارات المعقدة لا تنصاع بسهولة للتصنيف السطحي.
كشفت اختبارات المتانة هشاشة بنيوية في النموذج مفتوح الأوزان، حيث غيّر «لايا» ثلاثين بالمئة من إجاباته بمجرد عكس ترتيب الخيارات المعروضة أمامه. وتفاقم هذا التراجع بصورة حادة عند زيادة عدد الأدوات المرشحة أو تشابهها، إذ هبطت دقة «لايا» إلى 31 بالمئة فقط عند الاختيار بين خمسين أداة متقاربة، مقارنة بنسبة دقة بلغت 98 بالمئة للنموذج المستضاف في الحالات التي تحوي أداة صحيحة واحدة دون غيرها.
لم تتوقف الدراسة عند قياس الأداء، بل أخضعت خط أنابيب التجربة لتدقيق ذاتي كشف أربعة عيوب منهجية كانت تُضخّم النتائج المعلنة في النشر الميداني. وتبين أن الوفورات المالية المزعومة التي بلغت 23.9 بالمئة انكمشت في الواقع إلى 4.3 بالمئة فقط بعد احتساب كلفة المعالجة المسبقة للمدخلات، كما اتضح أن معدل دقة البوابات البالغ 58 بالمئة قُدّم خطأً على أنه جودة شاملة للنظام بأكمله والتي كانت تصل إلى 98 بالمئة.
وعلى صعيد السلامة، أدى ضبط عتبات الفحص بناء على بيانات العينة التدريبية بمستهدف إخفاق لا يتعدى 5 بالمئة إلى تسرب محاولات حقن واختراق وصلت إلى 17 بالمئة عند الاختبار على بيانات مستقلة ومحجوبة. وترافق ذلك مع رصد تأثير زائف لقناة الإدخال على الإيجابيات الكاذبة في اكتشاف الحقن، وهو تأثير تلاشى تمامًا بمجرد اختبار المحتوى عبر قنواته الأصلية، ما يوضح سهولة الوقوع في فخ القياسات المضللة.
يفرض هذا التدقيق واقعًا جديدًا على فرق الهندسة وإدارات التقنية في الخليج ومصر والمنطقة العربية التي تسعى لتوطين وكلاء الذكاء الاصطناعي وبنائها محليًا. فالاعتماد المتسرع على مصنفات صغيرة مفتوحة المصدر لإدارة حركة المرور بين الأدوات وحراسة البوابات لحماية البيانات الحساسة أو تقليص استهلاك السحابة، ينطوي على مخاطر تشغيلية باهظة إذا زادت الخيارات أو اختلفت صياغة السياق. كما أن الوفر المالي الحقيقي يكاد يتلاشى أمام متطلبات المعالجة المسبقة، ناهيك عن فجوة الأمان التي تترك سدس الهجمات بلا رصد.
ينبغي للقائمين على البنية التحتية البرمجية في مؤسساتنا قبل إعادة هيكلة منظومات الوكلاء فحص الكلفة الشاملة للعملية من بدايتها إلى نهايتها، واختبار استقرار النماذج أمام تقليب الخيارات وتوسع مكتبات الأدوات، بدل الاطمئنان إلى نسب نجاح ورقية لا تصمد أمام ضغط التشغيل الفعلي.