في عالم الذكاء الاصطناعي، يعد نموذج كاسكاديا (Cascadia) نجاحاً استثنائياً يُمثل نقلة نوعية في القدرات الحسابية، فقد تمكن من دمج 975 مليار معلمة باستخدام تقنية خلط الخبراء (Mixture-of-experts) المبتكرة.

تم تنفيذ هذا النموذج على 11 جهاز كمبيوتر من طراز Intel Core Ultra X7 358H، حيث يحتوي كل منها على 64 جيجابايت من الذاكرة ويدعم الرسوميات المتكاملة Arc B390.

تضمن مساهمتنا تطوير محرك عملي مخصص قادر على الحفاظ على قواعد توجيه النموذج Inkling، وبناء مخططات مضغوطة باستخدام تقنيات OpenVINO، وتنسيق الحسابات باستخدام FP16 مع استعادة النتائج بدقة FP32. وبهذه الطريقة، نجحنا في تقليل زمن استدعاء الطبقات الكثيفة من 8.1 مللي ثانية إلى 4.5 مللي ثانية.

كما يوفر النظام إمكانية التنسيق بين عمليات التوليد المتزامنة، ويقوم بتقييم توافق النتائج بطريقة ديناميكية وموثوقة. وحقق النموذج معدلات متقدمة من التحميل، حيث وصلت معدلات الركيزة المتزامنة إلى 60.29 رمزاً مشفراً في الثانية عند استخدام 88 تدفقاً.

تعتبر هذه الإنجازات أساساً لتطوير التطبيقات المستقبلية لنماذج الذكاء الاصطناعي الكبيرة على أنظمة عميل موزعة بتعاون فعال بين ذاكرة CPU وGPU. فما رأيكم في هذا التطور المثير؟ شاركونا في التعليقات!