في عالم الذكاء الاصطناعي، غالبًا ما يُفصل اتخاذ القرار حول الخوارزميات والهياكل عن تصميم الأنظمة. لقد حان الوقت لتغيير ذلك! في بحث جديد، تم تقديم MOSAIC كإطار عمل متكامل يقلب الأدوار التقليدية. يتمحور MOSAIC حول صياغة علاقة تفاعلية بين تصميم نموذج اللغة (language model) وكفاءة النظام.

يقوم الاقتراح المبدع على استخدام قانون توسعي يُعتبر خريطة طريق لكفاءة الأداء، حيث يقيس مجموعة من العوامل مثل استخدام FLOPs للنموذج (Model FLOPs Utilization) وتكلفة الاتصال وبصمة الذاكرة. والأكثر إثارة، يتم تطبيق هذا الإطار عمليًا على نماذج مزيج الخبراء الضعيفة (sparse Mixture-of-Experts) التي تعطي أثرًا كبيرًا على جودة التدريب.

تمكن الباحثون من ضبط قانون التوسع للنماذج الضعيفة، والتي تتضمن ما يناهز 2.7 مليار من المعلمات، حيث يظهر أن كفاءة هذه النماذج لا تتعلق فقط بالقدرة الحسابية، بل تتأثر أيضًا بالعوامل المرتبطة بالأنظمة التي تعمل عليها. يتضح أن هناك حدوداً أساسية تتعلق بتصميم الأنظمة، حيث يظهر أن المحسن الأمثل ينشأ فقط ضمن قيود الأنظمة.

بدلًا من الفصل بين تصميم النماذج وتصميم الأنظمة، تدعو النتائج الجديدة إلى ضرورة التفكير في دمج كلا الجانبين بشكل شامل، مما يعكس ضرورة تطور التصميم في نماذج اللغة.

هل أنتم مستعدون للانتقال إلى هذه المرحلة الجديدة من تصميم الذكاء الاصطناعي؟ شاركونا آراءكم وتجاربكم في التعليقات!