في عصر الذكاء الاصطناعي، يواجه مستخدمو الأجهزة الشخصية مثل اللابتوبات وأجهزة الحاسوب المكتبية تحديات جسيمة عند تشغيل نماذج اللغات الضخمة (Large Language Models). يعود السبب إلى أن أوزان النماذج غالبًا ما تتجاوز سعة ذاكرة وحدة معالجة الرسوميات (GPU)، مما يستدعي إسناد عملية الاستنتاج إلى ذاكرة وحدة المعالجة المركزية (CPU) لزيادة سعة نموذج الاستنتاج.

لكن النظام التقليدي لتوزيع المهام غالبًا ما يعتمد على جدولة على مستوى الطبقات أو مستويات الخبراء، مما يغض الطرف عن الاختلافات الكبيرة بين المكونات (Tensors) داخل نفس الطبقة، بالإضافة إلى عدم التأقلم الجيد مع ظروف تحميل الأجهزة المتغيرة.

إليك الخبر السار: تم تقديم نظام ATSInfer، الذي يتيح استنتاج النماذج بشكل هجيني عبر استخدام وحدة المعالجة المركزية ووحدة معالجة الرسوميات، حيث يتم تنفيذ عملية الإسناد بدقة على مستوى المكونات. يستفيد ATSInfer من تركيبة ذكية تجمع بين التوزيع الثابت للمكونات مع النقل الديناميكي المدرك للحمل، ويقدم تنسيق غير متزامن بين وحدة المعالجة المركزية والرسوميات، مما يضمن جدولة فعالة لتخزين الأجهزة، وتحريك البيانات، وأداء العمليات الحسابية عبر بيئات متنوعة.

لقد تم تنفيذ ATSInfer وتقييمه على منصات استهلاكية تمثل السوق، باستخدام نماذج كثيفة ونماذج ميزة أولويات (MoE). والنتائج مذهلة: حيث حقق ATSInfer زيادة في سرعة الاستنتاج المسبق تصل إلى 1.94 ضعف وسرعة فك التشفير تصل إلى 3.29 ضعف مقارنةً بالأنظمة الحالية، مع تحسين استخدام وحدة معالجة الرسوميات وزيادة فعالية استخدام عرض النطاق الترددي PCIe.

إن هذه النتائج تعكس قدرة ATSInfer على تحسين تجربة المستخدم عند نشر نماذج اللغات الضخمة محليًا على الأجهزة الفردية. فهل أنتم مستعدون للاستفادة من هذه التقنية الرائدة؟