في عالم الذكاء الاصطناعي، تعتبر نماذج اللغات الضخمة (Large Language Models) محورية، ولكنها تواجه تحديات كبيرة تتمثل في كيفية ضغط البيانات ومعالجة الكميات الهائلة من المعلومات بكفاءة. هنا تأتي خوارزمية XOR-Trellis لتحدث ثورة في هذا المجال.

تستغل خوارزمية XOR-Trellis تقنية الترميز الشجري (trellis-coded quantization) لتنفيذ ضغط عالي الأبعاد لأوزان نماذج اللغات، وذلك بخفض حجم البيانات إلى مستويات منخفضة للغاية دون الحاجة إلى قواعد كود كبيرة مثل تلك المستخدمة في تقنيات الكم التقليدية.

ومع ذلك، فإن تنفيذ هذه التقنية في الواقع يتطلب حل مشكلتين رئيسيتين: أولاً، كيفية إعادة بناء الأوزان المضغوطة بسرعة كافية لتفادي أن تصبح عملية إلغاء الكم عنق زجاجة في استدلال النموذج. وثانيًا، الحفاظ على دقة الكَم مع تجنب التحولات المكلفة.

للتغلب على هذه التحديات، تم استخدام تقنيتين تكميليتين. الأولى هي مدخلات إلغاء كم منخفضة التعقيد، والتي تستخدم خريطة ذات هيكلية فعالة من حيث العتاد لتحسين ظروف البحث للوزن المُعاد بناؤه. أما الثانية، فهي إعادة صياغة تحسين مسار ترميز الخوارزمية باستخدام هدف يتناول انحناء النموذج، مما يضمن دقة أعلى في الفضاء الأصلي دون الحاجة إلى المعالجة المعقدة المستندة على التحولات غير المتسقة (Hadamard).

يوفر الجمع بين هاتين التقنيتين القدرة على كَمّ عالي الجودة للبيانات بأوزان منخفضة جدًا، مما يسهل وقت إعادة البناء بشكل فعّال ورخيص. لذا، هل نحن على شفير ثورة حقيقية في كفاءة نماذج الذكاء الاصطناعي؟!

ما رأيكم في هذه التقنية الجديدة؟ شاركونا في التعليقات!