دفتر الأخطاء يسقط ساعات الإيقاف: ورقة في «أركايف» تحسب كلفة العيوب وسقف تسريع النماذج

حين تُعلن المؤسسات التقنية أن أدوات الذكاء الاصطناعي تختصر ساعات العمل، فإنها تستند في الغالب إلى قراءة لزمن الإنجاز المسجل على مدار الساعة. تطرح ورقة بحثية جديدة نشرها الباحث سولومون شالوم ليجو على منصة «أركايف» بعنوان «إحصاء الضمادات: حول قياس الوقت الذي يوفره الذكاء الاصطناعي» منظورًا مغايرًا يفكك هذه الفرضية، مميزًا بين مسارين متناقضين: منظور ساعة الإيقاف الذي يكتفي بتسجيل زمن إنجاز المهمة، ومنظور دفتر الحسابات الذي يقيس الوقت الموفر بوصفه قيمة افتراضية بديلة يجب أن تُقرأ حتمًا إلى جانب الأخطاء والعيوب التي تنفذ وتمر دون كشف.

يقدم ليجو إطارًا تحليليًا يقوم على كميتين أساسيتين لا تعتمدان على نموذج محدد: الوقت الموفر من جهة، والعيوب الزائدة المتفلتة من جهة أخرى. ومن هاتين الكميتين يستخرج الباحث مؤشرًا حاسمًا لصناع القرار يسميه «كلفة التعادل للخلل». يوضح النموذج الأساسي لعملية التدقيق والمراجعة حقيقة رياضية لافتة: فما لم يبلغ النموذج جودة تجعل المراجعة البشرية غير ضرورية أصلًا، فإن معدل تفلت الأخطاء لدى المدقق المنضبط لا يرتبط بمدى جودة النموذج نفسه، بينما ينمو زمن التدقيق والمراجعة لوغاريتميًا مع زيادة معدل خطأ النموذج. شراء دقائق سريعة على ساعة الإيقاف عبر الثقة المفرطة يفرض في الحقيقة كلفة باهظة في إجمالي الدقائق المستهلكة.

تعيد الورقة تقييم الدراسات التجريبية السابقة بصرامة إحصائية، وتبدأ بإعادة اختبار بيانات دراسة مطوري البرمجيات الشهيرة الصادرة عن منظمة «إم إي تي آر» (METR) باستخدام بياناتها العامة المتاحة. أظهرت مراجعة المهام البرمجية البالغ عددها 246 مهمة أن الذكاء الاصطناعي لم يحقق تسريعًا للمطورين، بل تسبب في تباطؤ فعلي تراوح بين 19 بالمئة و24 بالمئة وفق تقديرات المتغيرات المختلفة، ووصل التباطؤ إلى 34 بالمئة عند عدم ضبط عدم التوازن الإحصائي الواقع بالمصادفة، حيث لم تكن الأداة مساعدة للمطورين إلا في نطاق تراوح بين 3 بالمئة و82 بالمئة فقط من تلك المهام.

تتكرر هذه القيود عند تدقيق نتائج بيئات التقييم المتقدمة؛ ففي مسار عمل منصة «جي دي بي فال» (GDPval) القائم على مبدأ فحص كل مخرج، يتضح أن وقت المراجعة بمفرده يفرض سقفًا صارمًا لا يمكن تجاوزه، محددًا أقصى تسريع يمكن أن يحققه نموذج «جي بي تي 5» عند 3.6 أضعاف فقط. كما تكشف مراجعة السجلات البحثية المنشورة أن المستشارين الذين عملوا خارج حدود الكفاءة المتقدمة كانوا أسرع في تسليم المهام، لكنهم كانوا أكثر عرضة للوقوع في الخطأ.

لاختبار تنبؤات النموذج الرياضي، صمم الباحث تجربة محكمة لفحص مذكرات موجزة مبنية على إفصاحات رسمية لدى هيئة الأوراق المالية والبورصات الأمريكية أُودعت بعد تاريخ جمع بيانات تدريب النماذج، حيث أوكلت مهمة مراجعتها إلى نماذج ذكاء اصطناعي. عندما زُوّد نموذج التدقيق بمعدل الخطأ الحقيقي للمُعدّ، رفع وتيرة تدقيقه بالتناسب، متخذًا قراراته بنمط الكل أو لا شيء عند النقطة التي تتعادل فيها كلفة أمر المراجعة. ولكن عندما خُدع النموذج بالادعاء بأن المُعدّ يخطئ بمعدل يقل عشر مرات عن واقعه، خفّض جهد التدقيق ليفحص رقمين فقط من أصل تسعة أرقام، مما تسبب في تمرير أرقام خاطئة في 22.5 بالمئة من المذكرات بعدما كانت نسبة الخطأ صفرًا في ظروف التدقيق الكامل. السرعة المتحققة تحت غطاء الثقة الزائفة لم تكن مكسبًا تقنيًا، بل تدهورًا ناتجًا عن خفض جهد التدقيق.

يحمل هذا التحليل تبعات تشغيلية مباشرة للمؤسسات المالية، ومكاتب الاستشارات، وفرق التطوير البرمجي في الرياض ودبي والقاهرة وبيروت وعمان. تندفع الإدارات في المنطقة اليوم نحو شراء اشتراكات وكلاء الذكاء الاصطناعي واحتساب إنتاجيتها وفق ساعات الإيقاف، أي بمقارنة الدقائق المستغرقة في كتابة كود أو صياغة تقرير ائتماني قبل الذكاء وبعده. إلا أن هذه الورقة تفرض تحولًا تنظيميًا حاسمًا: إذا تبنت فرق التدقيق أو الامتثال ثقة مفرطة بالنماذج وخفضت جهد التحقق، فإن كلفة الأخطاء المتفلتة في العقود وقواعد البيانات ستلتهم أي وفر زمني مدعى. احسب كلفة التعادل للخلل في عملياتك التشغيلية قبل الاحتفاء بتسريع واجهات التوليد، فالميزة التنافسية لن تكون في تسليم المسودة الأولى، بل في إدارة كلفة المراجعة وحماية مخرجاتك من العيوب المتسللة.