تخطَّ إلى المحتوى

تشغيل نماذج التريليونات على 59 رقاقة عملاقة يكسر اختناق الذاكرة في خوادم الاستدلال

شارك المقال
تشغيل نماذج التريليونات على 59 رقاقة عملاقة يكسر اختناق الذاكرة في خوادم الاستدلال
الصورة: L N / Unsplash

تفرض نماذج الذكاء الاصطناعي التي تبلغ سعتها تريليونات المعاملات تحديًا عتاديًا معقدًا يتجاوز قدرات الرقائق الفردية، إذ تتطلب أوزانها وحدها مساحات تخزينية تقاس بالتيرابايت داخل الذاكرة السريعة. كشفت شركة «سيريبراس» عن تفاصيل معمارية لتشغيل النماذج المتقدمة متعددة التريليونات عبر رقائقها العملاقة من طراز «دبليو إس إي 3 تي»، متخذة من النموذج المفتوح «كيمي كيه 3» ذي الثلاثة تريليونات معامل نموذجًا عمليًا لإثبات إمكانية الوصول إلى سرعات استدلال تتراوح بين ألف وألفي رمز في الثانية الواحدة.

أظهرت بيانات الاختبار أن هذا النموذج، الذي يضم 69 طبقة انتباه خطي و24 طبقة كثيفة بمجموع 93 طبقة، يحقق أداء مقاربًا لنموذج «جي بي تي 5.6 سول» في المهام الوكيلة والبرمجية، مسجلًا 88.3 بالمئة في اختبار بيئات الطرفية مقارنة بنسبة 88.8 بالمئة للنموذج المقابل، و91.2 بالمئة في تصفح الويب متفوقًا على نسبة 90.4 بالمئة. ولكي تستقر هذه المنظومة داخل الرقائق، اعتمدت المعمارية تكميم أوزان النموذج إلى 4 بت، ما حصر حجم الطبقة الواحدة في نحو 16 غيغابايت، إلى جانب اعتماد 8 بت لذاكرة المفاتيح والقيم وافتراض سياق تشغيلي يبلغ 256 ألف رمز لكل طلب.

تثبيت أوزان النموذج داخل الذاكرة الساكنة المدمجة يلغي الحاجة لنقلها المستمر عبر النطاق الترددي للشبكة. ونظرًا لاحتواء كل رقاقة كاملة من رقائق السليكون على 44 غيغابايت من ذاكرة الوصول العشوائي الساكنة على الرقاقة، وزع المترجم البرمجي الطبقات وفق طبيعتها التشغيلية. فالطبقات الكثيفة تتطلب حجز مساحة إضافية لذاكرة المفاتيح والقيم لكل رمز في كل طلب نشط، ما فرض تخصيص رقاقة كاملة لكل طبقة كثيفة بمجموع 24 رقاقة، مع ترك المساحة المتبقية من الذاكرة لتخزين السياق. أما طبقات الانتباه الخطي فتحتفظ بحالة ثابتة صغيرة لكل طلب بغض النظر عن طول السياق، مما سمح بوضع طبقتين خطيتين على الرقاقة الواحدة بمجموع 35 رقاقة، لتصل المنظومة الإجمالية إلى 59 رقاقة مرتبطة معًا.

يعمل هذا التوزيع عبر خط أنابيب متسلسل تنفذ فيه الرقائق معالجة متزامنة تشبه خطوط التجميع الصناعية. لا تنتقل أوزان النموذج إطلاقًا بين الرقائق أثناء التشغيل، بل تمرر التنشيطات الوسيطة فقط عبر شبكة إيثرنت تدعم الوصول المباشر للذاكرة عن بعد، بزمن انتقال يقارب ميكروثانيتين لكل قفزة بين رقاقة وأخرى. وتسمح هذه المعمارية بتدفق دفعات صغرى متعددة من الطلبات داخل خط المعالجة في وقت واحد دون انتظار اكتمال طلب لبدء التالي، حيث تعالج كل رقاقة مرحلة مختلفة لطلب مستقل، مما يجعل الحد الأقصى للطلبات المتزامنة محكومًا بمساحة الذاكرة المتبقية لذاكرة المفاتيح والقيم في رقائق الطبقات الكثيفة.

معيار الكفاءة الحقيقي في أنظمة الاستدلال المتقدمة يقاس بإنتاجية الرموز بالنسبة لوحدة الطاقة المستهلكة وليس بمجرد حجم الدفعة. وتُظهر متابعتنا الهندسية أن هذا التحول يمس جوهر القرارات التقنية لفرق البنية التحتية ومراكز البيانات في الخليج ومصر، حيث تواجه المؤسسات المصرفية والجهات السحابية تكاليف باهظة واختناقات في الطاقة والتبريد عند محاولة تشغيل نماذج مفتوحة المصدر ضخمة عبر مصفوفات معالجات الرسوم التقليدية. عندما يحتاج مهندسو الأنظمة والوكلاء المستقلون في المنطقة إلى خفض زمن الاستجابة لإنجاز سلاسل تفكير معقدة، فإن المعماريات التي تنقل التنشيطات فقط وتثبت التريليونات داخل الذاكرة السريعة تتيح تشغيل نماذج محلية ذات سيادة بأداء فائق دون استنزاف شبكات التوصيل الترددية.

تثبت هذه التجربة أن التوسع في النماذج الفائقة لم يعد مشروطًا بانتظار سعات أكبر في الرقاقة المنفردة، بل بقدرة المنظومة البرمجية والعتادية على تقسيم طبقات النموذج بالتساوي وربط الرقائق ضمن خط معالجة متصل. ومع إمكانية إضافة رقائق إضافية لإسناد نماذج تفوق الثلاثة تريليونات معامل، يتجه سباق البنية التحتية نحو تقليل حركة البيانات بين المعالجات والاعتماد على الذاكرة فائقة القرب لتأمين استدلال مستقر ومستمر.

اشترك في همسات الذكاء الاصطناعي — كل أسبوع: قصص وفرص وأحداث مختصرة وموثقة، بلا حشو.

اشترك ليصلك الجديد