تعد نماذج اللغة الكبيرة (Large Language Models - LLMs) بمثابة قفزة نوعية في عالم معالجة اللغة الطبيعية (Natural Language Processing - NLP). لكن على الرغم من إنجازاتها الملحوظة، تظل مشكلات الذاكرة والموارد التشغيلية عائقًا أمام استخدامها الفعلي في التطبيقات اليومية. هنا تتجلى أهمية تقنية جديدة تُدعى BWLA، والتي تمثل نهجًا مبتكرًا في تقنيّة التكميم بعد التدريب (Post-Training Quantization).

تسعى تقنية BWLA، التي تعنى بأوزان ثنائية (Binarized Weights) وتنشيطات منخفضة بت (Low-bit Activations)، إلى تحقيق توازن مثالي بين الدقة وسرعة الأداء. تُعتبر هذه التقنية الأولى التي تحافظ على دقة عالية بينما تصل إلى تقليل أوزان النماذج إلى 1 بت، مع توفير تنشيطات منخفضة بت، مثل 6 بت.

تتبنى BWLA نهجًا فريدًا يتمثل في التحول الأورتوجوني (Orthogonal-Kronecker Transformation - OKT) الذي يعمل على تحويل الأوزان الأحادية الشكل إلى أشكال ثنائية الشكل، مما يسهم في تقليل الأثر السلبي لتنشيطات تفعيل ثقيلة الوزن. إذ يستند إلى تقليل الحد من الأشواط غير المنتظمة التي كانت تحد من دقة الأداء في نماذج سابقة.

بالإضافة إلى ذلك، تتيح تقنية Projection Proximal SVD (PSP) تحسين دقة النموذج باستخدام تقنيات خفيفة الوزن لتكرار النماذج وتقليل الأبعاد، مما يُعزز من إمكانية التكميم مع تكلفة ضئيلة.

نتائج هذه التقنية كانت مثيرة للإعجاب؛ حيث أظهرت على نموذج Qwen3-32B قدرة على تقليل قيمة الـ Wikitext2 perplexity إلى 11.92 باستخدام 6 بت لتنشيطات، وهو ما يقل dramatically عن الإصدارات السابقة. كما حققت تحسينًا في خمس مهام بدون تدريب مسبق بنسبة تجاوزت 70% وسرعت عملية الاستدلال بمقدار 3.26 مرة!

إن هذه التطورات تضع BWLA في طليعة الابتكارات التي ستمكننا من الاستفادة من نماذج اللغة الكبيرة بشكل أكثر كفاءة، مما يفتح أبواب الابتكار في تطبيقات الذكاء الاصطناعي. هل أنتم متحمسون لاستخدام هذه التقنية في مشروعاتكم المقبلة؟ شاركونا آرائكم في التعليقات!