في عالم الذكاء الاصطناعي، يواجه التطوير المستمر لنماذج اللغة الضخمة (Large Language Models) والمحولات البصرية (Vision Transformers) تحديات كبيرة، خاصةً عند استخدامها على الأجهزة الطرفية. تعاني هذه النماذج من قيود في الذاكرة وزمن تأخير حرج نتيجة العمليات الكثيفة للصيغة متعددة الضرب (Multiply-Accumulate).

إحدى الحلول الواعدة في هذا المجال هي تقنية الكمّ القائم على أسلوب Power-of-Two (PoT) الذي يعد بديلاً فعالاً من حيث الأجهزة، إذ يستبدل عمليات الضرب والناتج بحركات جمع بسيطة. لكن، هناك عيب هيكلي يتمثل في عدم انتظام الشبكة الأسية، وخصوصًا عند الحواف المنخفضة (sub-4-bit thresholds)، مما يتسبب في تدهور ملحوظ في المجاميع الميزانية عالية الأبعاد.

للتغلب على هذه القيود الهندسية، تم تقديم خوارزمية تُعرف باسم Orthogonal Residual Projection (ORP)، التي تأخذ شكل إطار عمل يجمع بين تصميم الألجوريتمات والأجهزة. هذه الخوارزمية تقوم بتقديم الكمّ بطريقة تكرر القاعدة الجيOMETريّية، مما يسمح بتوليد شبكة مرتفعة الدقة باستخدام عمليات النقل فقط.

تعتبر خوارزمية ORP بديلًا عمليًا لأساليب التحسين المعتمدة على التدرجات (gradient-based optimization) التي تتطلب حسابات مُكثفة، حيث تقلل زمن ضبط النموذج الكامل لنموذج LLaMA-2-7B إلى حوالي 15 دقيقة فقط.

أظهرت التقييمات الشاملة أن ORP تعدّ فعّالة عبر مختلف الأبعاد، وتحقق أداءً رائعًا تحت قيود 3 بت (W3/A16)، حيث تصل إلى درجة تعقيد تبلغ 6.10، مقارنة بأساليب MAC التقليدية. بالإضافة إلى ذلك، تثبت التوليفات القياسية على مستوى السيليكون في عقدة 28 نانومتر أن ORP تساهم في تخفيف زمني الاختناق المرتبط بالأشجار الكثيفة للمضاعفات.

يبدو أن ORP ليست فقط تقنية جديدة، بل نقطة تحول في كيفية تعاملنا مع النماذج الضخمة والعمليات المرتبطة بها. هل أنتم مستعدون لاستكشاف عالم جديد من الابتكارات؟ شاركونا آراءكم في التعليقات!