في عالم الذكاء الاصطناعي المتسارع، يعتبر تكييف نماذج اللغة الكبيرة (Large Language Models) على أجهزة الحمل تحديًا كبيرًا. وعادةً ما يتم الحفاظ على نموذج القاعدة مضغوطًا أثناء عمليات التدريب، مع إضافة محول LoRA (Low-Rank Adaptation) خاص بالمهام. ولكن، ماذا لو كان هناك طريقة أفضل؟ هنا تأتي تقنية LoRDBA، إذ تمثل خطوة نوعية جديدة في هذا المجال.

تقنية LoRDBA ليست مجرد وحدة تخزين مضغوطة، بل تشتمل على تحسينات ملحوظة لسير العمل. هذه التقنية تستبدل كل من العوامل منخفضة الرتبة بعوامل ثنائية، مع تمثيل مقاييس الكثافة من خلال مقاييس خفيفة الوزن على مستوى القنوات، مما يحول فرع المحول الكثيف إلى عمليتين لضرب المصفوفات تعتمد على تراكم العلامات، مع إدراج مقاييس على مستوى القناة. هذا النظام يضمن جودة إعادة البناء من خلال تحليل نسب البقايا إلى الحجم للعوامل LoRA الأصلية.

في تجارب تقنية LoRDBA، أظهرت النتائج تفوق هذه التقنية على المعايير القليلة (low-bit) في حالات مطابقة لمقاسات النماذج، كما تتطابق مع جودة LoRA fp16 في بعض الأنظمة. ورغم ذلك، فإن التكاليف الإضافية للزمن الزمني المسبوق (prefill latency) لا تتجاوز 8% عند مطابقة الرتبة r=16، ويقلل من بصمة المحول أكثر من 10 مرات، مع زيادة متوسطة في ذاكرة التدريب تقدر بحوالي 1.6 مرة مقارنة بـ LoRA fp16.

هذه النتائج تحفزنا على التفكير في مستقبل نماذج اللغة على الأجهزة المحمولة ومدى إمكانية استفادتنا من هذه التقنية الرائدة. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.