«IAR»: إطار ثلاثي المراحل يدمج المعرفة الوثائقية داخل أوزان النماذج اللغوية دون استرجاع

تواجه النماذج اللغوية الكبيرة إخفاقات ملحوظة عند الإجابة عن الأسئلة المرتبطة بمجموعات محددة ومحصورة من الوثائق إذا لم يجر استرجاع تلك الوثائق المصدرية أثناء مرحلة الاستدلال وتشغيل النموذج. وفي سبيل معالجة هذه المعضلة التقنية، تدرس ورقة بحثية جديدة هذا الإعداد تحت عنوان استيعاب المعرفة الوثائقية، والمقصود به تحويل مجموعة نصوص ثابتة ومحددة إلى معرفة بارامترية داخلية قابلة للاستخدام المباشر في الإجابة عن الأسئلة دون الاستعانة بأنظمة استرجاع خارجية. ولهذا الغرض، يقترح الباحثون إطار عمل للتدريب البعدي ينقسم إلى ثلاث مراحل متعاقبة ويحمل اسم «IAR»، وهو اختصار يجمع بين عمليات الحقن، والمحاذاة، والاستعادة.

يعتمد إطار العمل على الفصل المنهجي بين ثلاث عمليات رئيسية هي حقن المعرفة الوثائقية المنظمة، ومحاذاة سلوك الإجابة، واستعادة القدرات العامة للنموذج. فبينما يعتمد التدريب المسبق المستمر التقليدي على أساليب عامة، تبتكر مرحلة الحقن مسارا مختلفا يحول الوثائق المصدرية إلى أهداف تدريبية مركبة تشمل إكمال النصوص، وإعادة صياغتها، وإعادة بنائها المشروطة باتباع التعليمات. وتتبع ذلك مرحلة المحاذاة التي تعمل على تكييف النموذج المحقون بالمعرفة عبر إشراف مخصص يركز على الإجابات وحدها لضبط سلوك توليد الردود على الأسئلة. وفي المرحلة الثالثة، تجري عملية الاستعادة من خلال دمج النموذج المكيف تخصصيا مع نموذج التعليمات الأساسي بهدف استرجاع القدرات الشاملة وحمايتها من التراجع.

امتدت التجارب العملية لتقييم المنهجية الجديدة عبر مجموعتي بيانات هما «Common Corpus» واختصارها «CC» وبيانات «CCI»، مع اختبارها عمليا على أربع عائلات بارزة من النماذج اللغوية تشمل «Llama» و«Phi» و«Qwen» و«SmolLM». وأظهرت النتائج التجريبية أن إطار «IAR» يوسع ويحسن الحد الفاصل بين الأداء في النطاق التخصصي والأداء اللغوي العام عند استيعاب الوثائق دون استرجاع. وفي المقارنة الأساسية، تفوق الإطار المقترح على التدريب الإشرافي الدقيق التقليدي المعروف باسم «Vanilla SFT» في المقاييس الأربعة المسجلة كافة، وذلك عبر سبعة من أصل ثمانية إعدادات تجمع بين النماذج ومجموعات البيانات المختلفة.

سجلت التجارب مكاسب واضحة في دقة استيعاب المعرفة التخصصية إلى جانب الحفاظ على توازن النموذج العام. فقد بلغ متوسط المكاسب المحققة 3.6 نقطة مئوية في دقة الإجابة عن أسئلة النطاق التخصصي، بالتوازي مع تحقيق زيادة بمتوسط 12.1 نقطة مئوية في الأداء العام عبر اختبارات «IFEval» و«MMLU» و«MSBench». وعند التوسع في مقارنة خطوط الأساس على بيانات «Common Corpus»، بينت النتائج أن أساليب مثل «LoRA» و«FAPM» قد تسجل تفوقا في مقاييس عامة معزولة، إلا أن إطار «IAR» ينفرد بتقديم أحد أقوى التقييمات العامة بين مجمل الأساليب التي بلغت مستويات متقدمة أو قريبة من الريادة في استيعاب معرفة الوثائق. وتأتي هذه النتائج ضمن ورقة بحثية قادها هوا تشو، بمساهمة متساوية من تشيان كو وشياوفنغ شي بصفتهما كاتبين مراسلين، إلى جانب الباحث شياوسونغ تشيو.