تخطَّ إلى المحتوى

حكم احتمالي معاير يغني عن إجابات المرجع: مسار تدريب يعيد حسابات فرق المنطقة

شارك المقال
حكم احتمالي معاير يغني عن إجابات المرجع: مسار تدريب يعيد حسابات فرق المنطقة
الصورة: Declan Sun / Unsplash

استمع لهذا المقال

بصوت ليلى (Layla)

يواجه مهندسو الذكاء الاصطناعي في المنطقة معضلة معتادة عند تدريب النماذج بالتعلم التعزيزي: إما الاعتماد على مدققات برمجية تتطلب إجابات مرجعية جاهزة ومكلفة في الإعداد، أو اللجوء إلى نماذج تحكيم توليدية تنتج درجات تقييم غير منضبطة احتماليًا. تقدم ورقة بحثية جديدة نشرها الباحثان رودرانش أغنيهوتري وماناسفي كابور على منصة «أركايف» حلًا منهجيًا لهذه المقايضة، عبر إطار عمل يحول النموذج اللغوي إلى حكم احتمالي معاير يعرف بدقة مدى يقينه من قراره، دون الحاجة إلى مفاتيح حل مسبقة.

يعتمد الإطار، الذي أطلق عليه الباحثان اسم «التعلم التعزيزي من مكافآت القرار المعايرة» (RLCDR)، على تحويل النموذج اللغوي إلى نموذج اتخاذ قرار يجيب عن أسئلة محددة حول مخرجات النموذج، مثل «هل الإجابة النهائية صحيحة؟» أو «ما الخطوة التي وقع فيها الخطأ الأول؟». تكمن القوة الهندسية في قراءة التوزيع الاحتمالي الكامل عبر تمريرة أمامية واحدة، مع تحييد التحيز الناتج عن ترتيب الخيارات، وضبط المعايرة باستخدام نحو مئة ملصق تصنيفي فقط. يتيح هذا التصميم للنموذج تقييم جودة الاستدلال دون الحاجة إلى مقارنة المخرجات بإجابة نموذجية مخزنة مسبقًا، مما يزيل عقبة كبرى في تدريب النماذج على المسائل المعقدة.

أظهرت التجارب العملية التي أجراها الباحثان على نموذج Qwen3-1.7B باستخدام خوارزمية GRPO على حزمة اختبارات الرياضيات MATH كفاءة لافتة لهذه المكافآت المستقلة عن المراجع. فقد قفزت دقة النموذج على مقياس MATH500 من 72.2% إلى 76.8%، بزيادة قدرها 4.65 نقطة مئوية، وهي نتيجة تطابق تمامًا أداء التدريب باستخدام مفاتيح الحل الرسمية التي سجلت 76.9%، في حين لم يحقق نظام المكافأة العشوائية سوى زيادة طفيفة بلغت 0.65 نقطة. وتضاعف هذا المكسب مع زيادة صعوبة المسائل، حيث ارتفعت الدقة في أصعب المستويات من 44.8% إلى 51.7%.

وعلى صعيد استقرار التدريب ومكافحة الانحراف، أثبتت النتائج خلو العملية من ظاهرة الاحتيال على المكافأة؛ إذ حافظت المكافأة على دقة معايرتها عبر عينات السياسة المتغيرة باستمرار. سجل النموذج خطأ معايرة متوقعًا لم يتجاوز 0.074، وهو نصف معدل الخطأ الذي سجله حكم يعتمد دالة سوفت ماكس التقليدية على بنية 27B نفسها، والبالغ 0.141. كما تفوق النموذج، دون أي تدريب مسبق على مستوى الخطوات، في تحديد أول خطوة خاطئة داخل سلاسل التفكير مقارنة بنموذج مكافأة عملياتي مخصص بحجم 7B، محققًا درجة F1 بلغت 0.772 مقابل 0.722 على منصة ProcessBench عبر عشرين تقسيمًا اختباريًا.

وضع الباحثان ست فرضيات مسبقة خضعت جميعها لضوابط تفنيد صارمة عبر 24 صفحة تضمنت 12 شكلًا بيانيًا و13 جدولًا تجريبيًا، لرسم حدود توقف هذا النهج عن العمل. وتكشف التجارب أنه عند حصر التدريب في مسائل يفشل فيها النموذج الأساسي بالكامل، يحقق النظام تحسنًا قدره 1.9 نقطة مئوية على MATH500، لكنه يتأخر عن التدريب المعتمد على مفتاح الحل المباشر، نتيجة ميل احتمالات النموذج إلى الثقة المفرطة في تلك التوزيعات الصعبة تحديدًا.

يفتح هذا المسار البحثي أفقًا عمليًا للفرق التقنية في الخليج ومصر والشام التي تسعى لبناء نماذج استدلال متخصصة في قطاعات المال والهندسة والحوسبة دون تحمل تكاليف بناء قواعد بيانات ضخمة ومصحوبة بإجابات نموذجية. فالحصول على إجابات مرجعية مدققة يدويًا يمثل عادة العائق المالي والزمني الأكبر أمام مشاريع التعلم التعزيزي الإقليمية.

ماذا يعني هذا للمنطقة

يمثل التحول نحو مكافآت القرارات المعايرة فرصة مباشرة لفرق الذكاء الاصطناعي ومختبرات البحث في السعودية والإمارات ومصر لخفض تكاليف تدريب نماذج الاستدلال المنطقي. لم يعد بناء أنظمة التعلم التعزيزي يتطلب حشودًا من المدققين البشريين لصياغة مفاتيح حل لكل مسألة متخصصة، إذ يكفي استخدام نحو مئة عينة مضبوطة لمعايرة حكم لغوي فعال يقرأ التقييم في تمريرة واحدة، مما يقلص ساعات استهلاك الحوسبة السحابية وبطاقات الرسوميات بنسب ملموسة.

على مستوى المهارات الهندسية، يوجه هذا البحث مهندسي النماذج الإقليميين نحو الاستغناء عن بناء نماذج مكافأة عملياتية معقدة ومستقلة، والتركيز بدلًا من ذلك على ضبط المعايرة الاحتمالية للنماذج الأساسية المتوفرة مفتوحة المصدر. هذا التبسيط يقلل من نقاط الفشل المعماري ويحمي خطوط الإنتاج البرمجية من فخاخ الاحتيال على المكافآت التي تعطل استقرار النماذج أثناء التدريب الذاتي.

يتعين على مديري التقنية في المنطقة مراعاة القيد التجريبي الذي وثقته الورقة: عند تدريب النماذج على مهام تتجاوز قدرات النموذج الأساسي بشكل شبه كامل، تصبح الاحتمالات مفرطة الثقة وتتراجع دقة الإشارات التوجيهية. يعني ذلك ضرورة الاحتفاظ بآليات تدقيق هجينة أو مراجعات مرجعية دقيقة في التطبيقات الحرجة، مثل التحليلات القانونية والصحية المصرفية، لضمان عدم انجراف النماذج وراء ثقة احتمالية زائفة.

اشترك في همسات الذكاء الاصطناعي — كل أسبوع: قصص وفرص وأحداث مختصرة وموثقة، بلا حشو.

اشترك ليصلك الجديد