أعلنت شركة Nous Research عن إطلاق تقنية جديدة مثيرة تُعرف بتدريب تراكب الرموز (Token Superposition Training - TST)، والتي تمثل نقلة نوعية في عملية التدريب المسبق لنماذج اللغات الضخمة (Large Language Models - LLMs).

تعمل هذه التقنية الجديدة على تسريع التدريب بنسبة تصل إلى 2.5 مرة، مع الحفاظ على نفس عدد العمليات الحسابية (FLOPs) المطلوبة. تتمثل الميزة الأساسية لهذه الطريقة في أنها تعتمد على تقسيم تمثيلات الرموز المتتالية إلى مجموعات خلال المرحلة الأولى، ومن ثم العودة إلى أسلوب التنبؤ القياسي للرمز التالي في المرحلة الثانية.

الأهم من ذلك، لم يتطلب هذا الابتكار أي تغييرات في بنية النموذج أو أداة تحليلها أو حتى سلوكها أثناء فترة الاستدلال. تم اختبار تقنية TST على نماذج متنوعة تشمل 270 مليون، 600 مليون، و3 بلايين من المتغيرات الكثيفة، وحتى النماذج ذات الـ10 بلايين من المعاملات، مما يبرز كفاءتها عبر نطاق واسع من التطبيقات.

هذا التطور يعد خطوة هامة نحو تحسين الكفاءة في تدريب نماذج الذكاء الاصطناعي، وهو يفتح أبواباً جديدة للبحث والتطوير في هذا المجال الديناميكي. فمع تقليص الوقت اللازم للتدريب بكفاءة، يُمكن للمبرمجين والباحثين التركيز على تحسين الأداء والنفاذ إلى قدرات الذكاء الاصطناعي بأفضل شكل ممكن.

ما رأيكم في هذه التقنية الجديدة؟ هل تتوقعون أن تُحدث تغييراً جوهرياً في نماذج الذكاء الاصطناعي؟ شاركونا آرائكم!