ثام: بناء معمارية ثلاثية الأبعاد لتسريع نماذج اللغة الكبيرة بذكاء فائق

في عالم الذكاء الاصطناعي اليوم، أصبح من الواضح أن نماذج اللغة الكبيرة (Large Language Models - LLMs) تعتمد بشكل متزايد على بنى معقدة تعرف باسم Mixture of Experts (MoE). تقدم هذه الهياكل طريقة متطورة لتوسيع نطاق النماذج، ولكن يتم مواجهتها بتحديات كبيرة عند تطبيقها على الأجهزة التقليدية.

أحد هذه التحديات هو الحاجة الهائلة لعرض النطاق الترددي للذاكرة لجلب أوزان الخبراء غير المتجاورة، مما يؤدي إلى تباطؤ الأداء. كذلك، فإن حركة البيانات غير المحددة الناتجة عن توجيه الرموز تعتمد على المدخلات، مما يعقد الأمور أكثر. لتجاوز هذه العقبات، تم تقديم ثام (ThAME)، وهي معمارية متعددة الشرائح ثلاثية الأبعاد مصممة خصيصًا لهذا الغرض.

تستفيد ثام من ترانزستورات Ferroelectric Field-Effect (FeFET) لتحسين الذاكرة غير المتطايرة والذاكرة الديناميكية (DRAM) لتحسين الأداء. تم تصميم استراتيجية تخطيط الحوسبة بشكل مشترك لتتماشى مع ملفات التعريف الحسابية المختلفة لآليات الانتباه وتوجيه الخبراء، مما يشكل نقطة تحوّل في مجال أدوات الذكاء الاصطناعي.

تُظهر النتائج التجريبية أن ثام تتفوق على المنافسين الحاليين بفضل زيادة تصل حتى 15.7 مرة في السرعة، كما تعزز كفاءة استهلاك الطاقة بمعدل يصل إلى 9.8 مرة. هذه التطورات تشير إلى مستقبل واعد في عالم النماذج اللغوية الكبيرة، حيث يمكن لهذه المعمارية الجديدة أن تحسن بشكل جوهري من أداء العديد من التطبيقات.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.