في السنوات الأخيرة، ظهرت نماذج اللغة الهرمية (Hierarchical Language Models) كبديل قوي لنماذج اللغة الشائعة التي تعتمد على تقسيم الكلمات الفرعية. رغم ذلك، لا تزال عملية توليد بايت واحد في كل مرة تمثل عائقًا أمام سرعة الاستدلال. وقد تمكنا من التغلب على هذه المشكلة من خلال تقنية جديدة تُعرف بتوقعات البايت المتعددة (Multi-Byte Prediction - MBP).

هذه التكنولوجيا الجديدة تعمل على توليد عدة بايتات بشكل متوازي، مما يعزز سرعة الاستدلال مع تأثير طفيف جدًا على الأداء. تعتمد MBP على نموذج التوقعات متعددة الرموز (Multi-Token Prediction - MTP) مع إدخال تحسينين رئيسيين: الأول هو تقديم نافذة توقعات متغيرة الطول تتماشى مع الرموز الكامنة، أو المقاطع، الخاصة بنموذج اللغة الهرمي. والثاني هو تنفيذ آلية جديدة لعدم إلغاء التركيز، والتي تسمح بالتوقع الموازي للبايتات دون انتهاك السببية.

وقد أثبتت التجارب أن توقعات البايت المتعددة تحقق توازنًا مثاليًا عبر مهام إبداعية متعددة مثل إتباع التعليمات، والإجابة على الأسئلة، والتلخيص، والترجمة الآلية، مما يحقق أفضل توازن بين الأداء وسرعة الاستدلال.

هذه التطورات تُعتبر خطوة هامة في مجال الذكاء الاصطناعي، وهي تفتح آفاقًا جديدة لمزيد من الابتكارات في تقنيات معالجة اللغة الطبيعية.

ما رأيكم في هذه التكنولوجيا الجديدة ومدى تأثيرها على المستقبل؟ شاركونا آرائكم في التعليقات!