«هندسة مجزئات النصوص تفكك لغز الكفاءة»: مسار البحث يحسم ضغط النماذج قبل دالة الهدف

تبدأ كل معمارية في النماذج اللغوية الحديثة من خطوة بديهية تسبق تدريب الأوزان: تحويل النصوص المكتوبة إلى وحدات رقمية أو رموز عبر خوارزميات التجزئة. ولسنوات طويلة، انقسم بناء هذه المجزئات عمليًا بين مدرستين مهيمنتين: ترميز الأزواج البايتية المعروف اختصارًا باسم BPE وخوارزمية UnigramLM. لكن المقارنات التقليدية بينهما كانت تخلط باستمرار بين بعدين متمايزين تقنيًا، مما جعل مهندسي الذكاء الاصطناعي يجهلون ما إذا كان تفوق أداة على أخرى يعود إلى ما تحاول الخوارزمية تحسينه رياضيًا، أم إلى الطريقة التي تبحث بها داخل فضاء النصوص. ورقة بحثية مقبولة في مؤتمر EMNLP 2026 للباحثين أحمد جان يافوز وكلارا مايستر وتياغو بيمنتل وضعت حدًا لهذا الالتباس عبر تفكيك شامل لفضاء التصميم.

توضح الورقة أن الاختلاف الجوهري بين الخوارزميتين يقوم على محورين متعامدين تمامًا. المحور الأول هو هدف التحسين الرياضي، حيث يركز الأول على كفاءة الضغط بينما يعتمد الثاني على تعظيم لوغاريتم الأرجحية. أما المحور الثاني فهو مسار البحث، الذي ينقسم بين الدمج التصاعدي من أدنى إلى أعلى، والتقليم التنازلي الذي يبدأ بمفردات واسعة ثم يحذف منها من أعلى إلى أسفل. ولفك هذا الاشتباك المنهجي، ابتكر الفريق خوارزميتين جديدتين لاستكمال مصفوفة التصميم: الأولى خوارزمية BottomUpLL التي تعتمد مسار بحث تصاعدي مع دالة الأرجحية، والثانية خوارزمية TopDownComp التي تستخدم التقليم التنازلي تحت معيار الضغط، لتكتمل بذلك المقارنة العادلة بين أربعة نماذج تمثل كافة تقاطعات المعادلة.

أخضع الباحثون هذه الخوارزميات لاختبارات تجريبية صارمة عبر تدريب نماذج لغوية متعددة، مع تنويع مقصود في أحجام النماذج وسعة قواميس المفردات والنطاق اللغوي، شمل حزمًا أحادية اللغة للإنجليزية وحزمًا متعددة اللغات. وجاءت النتيجة التجريبية حاسمة عند قياس الأداء بمعيار البت لكل بايت: آلية البحث، وليس دالة الهدف، هي العامل المهيمن الذي يحدد جودة المجزئ. فقد أظهرت النتائج أن خوارزميات البحث التصاعدي حققت باستمرار مستويات أقل من البت لكل بايت في غالبية بيئات الاختبار، بصرف النظر عما إذا كان الهدف الرياضي مبنيًا على أقصى درجات الضغط أو على لوغاريتم الأرجحية.

في المقابل، كشف اختبار النماذج على معيار BLiMP لتقييم المقبولية النحوية واللغوية عن مفارقة لافتة، إذ لم يظهر أي ارتباط منهجي ثابت بين خيارات تصميم المجزئ ومستوى الأداء اللغوي للنموذج. هذا التباين يثبت أن أثر هندسة الرموز ينعكس مباشرة على كفاءة التمثيل الحسابي وضغط البيانات، دون أن يفرض قيودًا حتمية على استيعاب القواعد النحوية داخل الأوزان اللاحقة، مما يمنح المطورين بوصلة واضحة لفصل المسائل المتعلقة بكفاءة الحوسبة عن جودة الفهم النحوي.

يحمل هذا الاستنتاج أثرًا عمليًا مباشرًا لفرق هندسة الذكاء الاصطناعي في مراكز الأبحاث والشركات الناشئة في الخليج ومصر والشام، حيث تمثل كفاءة تجزئة النصوص العربية أحد أكبر التحديات التشغيلية في بناء النماذج السيادية والمتخصصة. لطالما عانت اللغة العربية من تضخم عدد الرموز المستهلكة مقارنة باللغات اللاتينية، وهو ما ينعكس مباشرة على مضاعفة كلفة الاستدلال في مراكز البيانات واستهلاك مساحة نافذة السياق. النتيجة المعلنة تعيد ترتيب أولويات المهندس العربي: الاستثمار في ابتكار دوال هدف رياضية جديدة ليس هو الطريق الأنجع لتقليص فاتورة الاستدلال، بل التركيز على آليات البحث التصاعدي في بناء المعاجم متعددة اللغات لتقليص استهلاك البايتات لكل رمز، مما يوفر تكاليف الحوسبة السحابية ويزيد من سعة معالجة المستندات القانونية والمصرفية الطويلة محليًا.

نرى في خلاصات هذه الدراسة، المنشورة في عشرين صفحة مدعومة بعشرة جداول وأربعة أشكال بيانية، دليلًا إرشاديًا ينهي عهد التجربة العشوائية في اختيار أدوات التجزئة. إن التحول من التخمين إلى القواعد الهندسية المنضبطة يمنح مطوري الأنظمة اللغوية أساسًا علميًا لبناء مجزئات أقل كلفة وأعلى كفاءة في استغلال الموارد الحاسوبية.