تعتبر النماذج اللغوية الضخمة (Large Language Models) من الابتكارات الرائعة في مجالات معالجة اللغة الطبيعية ورؤية الكمبيوتر، إلا أنها تعاني من كفاءة حسابية ضعيفة بسبب التعقيد التربيعي المرتبط بانتباهها الذاتي. في الآونة الأخيرة، قدم الباحثون مجموعة من الأساليب التي تستند إلى اختيار الكتل والضغط لتخفيف هذه المشكلة، لكن ذلك لم يكن دون عيوب، حيث واجهت معظم الطرق تحديات تتعلق بعدم اكتمال الدلالات أو ضعف كفاءة التدريب والاستنتاج.

لتجاوز هذه التحديات، يتقدم الباحثون بإطار عمل جديد يُدعى ChunkLLM. يهتم هذا الإطار بشكل خاص بكفاءة التدريب والتسريع في الاستنتاج، حيث يتضمن عنصرين رئيسيين، وهما QK Adapter (Q-Adapter و K-Adapter) وChunk Adapter. يتم تثبيت QK Adapter في كل طبقة من طبقات الترانسفورمر، حيث يقوم بدور مزدوج يتمثل في ضغط الميزات واكتساب الانتباه للكتل. بينما يعمل Chunk Adapter في الطبقة السفلى من النموذج، مخصصًا للكشف عن حدود الكتل بالاستفادة من المعلومات السياقية.

خلال مرحلة التدريب، تبقى معاملات العمود الفقري للنموذج ثابتة، بينما يتم تدريب QK Adapter وChunk Adapter فقط. وبتصميم خاص، تم تطوير طريقة تخزين انتباهية لتدريب QK Adapter، مما يعزز معدل استرجاع الكتل الرئيسية.

وخلال مرحلة الاستنتاج، يتم تفعيل اختيار الكتل فقط عندما يتم الكشف عن الرموز الحالية كحدود للكتل، مما يسرّع عملية الاستنتاج للنموذج. أظهرت التجارب التي تم إجراؤها على مجموعة متنوعة من مجموعات البيانات النصية الطويلة والقصيرة أداءً مماثلاً مع الحفاظ على معدل احتفاظ بنسبة 48.58% لمخبأ القيم الرئيسية.

كما حققت ChunkLLM سرعة تزيد بمعدل 4.48 مرة مقارنةً بالنموذج الأساسي للترانسفورمر في معالجة نصوص طويلة تصل إلى 120,000 رمز. هذا الابتكار يعد خطوة جديدة في عالم الذكاء الاصطناعي ويعزز من قدرة النماذج اللغوية على التعامل مع البيانات الضخمة بكفاءة عالية.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.