في عالم الذكاء الاصطناعي، تبرز نماذج اللغة الكبيرة (Large Language Models) كواحدة من أعظم إنجازات التكنولوجيا الحديثة. ولكن مع تطور الأبحاث، يظهر نقاش محوري حول كيفية تحسين هذه النماذج لتلبية احتياجاتنا المتزايدة. ولا يقتصر الأمر على الأسلوب التقليدي المعروف بالتكييف الكامل (Full Fine-Tuning – FFT)، بل ظهرت طرق جديدة كليًّا مثل التكيف باستخدام الأساليب المنخفضة الرتبة (Low-Rank Adaptation – LoRA).

تعد LoRA بديلاً مثيرًا للاهتمام، حيث أظهرت قدراتها على تحسين الأداء في الكثير من المهام من خلال التركيز على التحديثات ضمن مساحة منخفضة الرتبة. ومع ذلك، تكشف نتائج الأبحاث أيضًا عدم كفاية الاعتماد على نهج واحد. بناءً على تجارب عملية شملت مهام مختلفة مثل استعلامات SQL، والأسئلة الطبية، والمعرفة المضادة للواقع، أثبتت الدراسات أن الجمع بين النهجين يمكن أن يؤدي إلى نتائج أفضل.

هنا يأتي اقتراح المنهج الجديد: مزيج من LoRA والتكييف الكامل (Mixture of LoRA and Full – MoLF)، الذي يوفر إطار عمل موحد يتيح التنقل المستمر بين كلا النهجين. يعتمد MoLF على توجيه التحديثات بشكل ديناميكي بين FFT وLoRA على مستوى المُحسِّن، مما يضمن توفر إشارات التدرج بدقة لكلا المدربين أثناء عملية التدريب.

لا تقف المزايا عند هذا الحد؛ حيث يتمتع أيضًا MoLF بخيار MoLF-Efficient، الذي freezes الأوزان الأساسية ويركز على توجيه التحديثات بين زوج من خبراء LoRA الرتبة المتغيرة، مما يجعله مثاليًا للبيئات ذات القيود الذاكرية. النتائج تشير إلى أن MoLF إمّا يحسّن الأداء مقارنة مع FFT وLoRA أو يبقى ضمن 1.5% من الأفضل في جميع الإعدادات، في حين أن MoLF-Efficient يتفوق على الأساليب السابقة بزيادة تصل إلى 20% على معلومات الحقائق و9% على المهام الطبية وSQL.

إن هذه التطورات في تكييف نماذج اللغة تفتح الأفق لمستقبل مثير في كيفية معالجة الذكاء الاصطناعي لمهام معقدة، مما يشير إلى أن الوقت قد يكون قد حان لتبني هذه التقنيات الجديدة. ما رأيكم في هذا الاتجاه الجديد؟ شاركونا آراءكم في التعليقات!