أعلنت شركة AMD، الرائدة في مجال تكنولوجيا المعالجات، عن إطلاق نموذجها اللغوي الجديد Instella-MoE-16B-A3B، والذي يأتي ليكون نموذجًا مفتوحًا بالكامل في فئة Mixture-of-Experts. يمتلك هذا النموذج عددًا إجماليًا من المعلمات يصل إلى 16 مليار، لكنه ينشط فقط 2.8 مليار معلمة لكل توكن، وذلك بفضل تقنيات متقدمة مثل Gated MLA وFarSkip-Collective.

تم تدريب Instella-MoE-16B-A3B من الصفر، مستفيدًا من قدرات معالجات AMD Instinct MI300X وMI325X، مما يضمن أداءً عاليًا وقدرة على التعامل مع البيانات بشكل هائل. ومن خلال توفير أوزان لكل مرحلة تدريب، بالإضافة إلى مزيج البيانات، التكوينات، ورمز الاستدلال، تعزز AMD إمكانية الوصول للمطورين والباحثين في مجال الذكاء الاصطناعي.

يعتبر هذا الإطلاق خطوة بارزة تسهم في تعزيز النماذج اللغوية المفتوحة، مما يفتح الأبواب للابتكار ويشجع على التفاعل المجتمعي. هل أنتم مستعدون لاستكشاف إمكانات هذا النموذج الرائد في مجال الذكاء الاصطناعي؟

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.