في عالم الذكاء الاصطناعي المتسارع، يحتاج الباحثون والمطورون إلى حلول تتسم بالكفاءة، وخاصة عندما يتعلق الأمر بنماذج LoRA (Low-Rank Adapters) التي تتطلب إدارة فعّالة لأدواتها. هنا، نقدم لكم تقنية جديدة تُعرف بـ Subspace-Aligned LoRA Training (SALT)، التي تهدف إلى تحسين الأداء في نظام LoRA بشكل غير مسبوق.

بفضل SALT، يمكن لمقدمي الخدمة تدريب مراكز قادرة عالية السعة على البيانات العامة ضمن مجالات محددة، باستخدام مُنظّم خاص يتماشى مع الفضاءات الفرعية للمهام داخل المجال. يبدأ النظام بتدريب أولي لجمع المراكز معًا باستخدام التقنيات المبتكرة، ثم يقوم المستخدمون بتنقيح محولات منخفضة الرتبة جداً على البيانات الخاصة.

والأهم من ذلك، تتيح SALT إمكانية الاحتفاظ بالمراكز الثابتة في الذاكرة الوصول العشوائي لجهاز الرسوميات (GPU VRAM) أثناء الاستجابة للطلبات من المستخدمين، مما يضمن أداءً أفضل دون الحاجة إلى التنقل المتكرر للبيانات.

تظهر النتائج أن SALT تسمح باستعادة الدقة العالية بالنماذج ذات الرتبة المنخفضة، مما يسهم في تحقيق مكاسب كبيرة تصل إلى 18.5% مقارنةً بأفضل المعايير الحالية، وأيضًا تقليل الذاكرة المطلوبة لكل جهاز بنسبة تصل إلى 16 مرة. وعندما يتم دمج هذه التقنية في أدوات مثل vLLM، فإنها ترفع من خلال خدمة النماذج بما يصل إلى 51% تحت ضغط نطاق عرض PCIe و28% تحت قيود GPU VRAM لنموذج Llama-3.2-3B.

في الختام، تعكس هذه التطورات كيف يتمكن الباحثون من التلاعب بتقنيات الذكاء الاصطناعي بذكاء لتوفير حلول فعالة أكثر، ونتطلع إلى رؤية المزيد من الابتكارات في هذا المجال. ما هي أفكاركم حول هذه التقنية؟ شاركونا في التعليقات.