في عالم الذكاء الاصطناعي، تقدم نماذج اللغة الكبيرة (Large Language Models) إمكانيات مذهلة، ولكن تنفيذها في بيئات ذات موارد منخفضة يشكل تحديًا نظرًا للمتطلبات الكبيرة من حيث الحسابات والذاكرة. وهنا يأتي دور LBLLM، الإطار الجديد الذي يمكّن من تحقيق ضغط فعال عبر اعتماد تقنية ثلاثية المراحل.

تسير عملية LBLLM ثلاث خطوات رئيسية:

1. **إعداد نموذج مُقيَّد عالي الجودة**: تتم بدايةً باستخدام تقنية التموضع المسبق للنموذج (Post-Training Quantization - PTQ) لتهيئة النموذج.
2. **ضغط الأوزان والبارامترات**: يتم ضغط الأوزان الثنائية، وخرائط البت الجماعية، والبارامترات من خلال تقنيات التقطير (Distillation) من مستوى إلى آخر، مع المحافظة على دقة الاستجابة (Activations) بنفس الدرجة.
3. **تدريب عوامل ضغط الاستجابة**: يتم تدريب عوامل الضغط القابلة للتعلم من أجل ضغط الاستجابات ديناميكيًا إلى 4 بتات.

تصميم LBLLM المنفصل يقلل من التداخل بين ضغط الأوزان وضغط الاستجابات، ما يؤدي إلى تحسين استقرار التدريب وزيادة دقة الاستدلال (Inference Accuracy). ولقد أبدى LBLLM أداءً يتجاوز الطرق الحالية في ضغط البيانات على إعدادات (W2A4) عبر مجالات متعددة مثل نمذجة اللغة (Language Modeling) والإجابة على الأسئلة (Commonsense QA) وفهم اللغة (Language Understanding).

الأهم من ذلك، تم تدريب LBLLM باستخدام 0.016B من الرموز مع استخدام وحدة معالجة رسومية واحدة فقط، مما يبرز كفاءة النموذج في نشره في البيئات المحدودة الموارد. تشكل هذه النتائج خطوة واعدة نحو جعل نشر نماذج اللغة الكبيرة أكثر قابلية للتطبيق في الظروف الصعبة.