مع تزايد أحجام النماذج بشكل ملحوظ في السنوات الأخيرة، ظهرت الحاجة إلى تقنيات فعالة لتعديل المعلمات دون تكاليف باهظة. تعتبر تقنية التعديل الدقيق الفعال (Parameter-Efficient Fine-Tuning) بديلاً قويًا لتقنية التعديل الكامل. وفي هذا السياق، أصبحت أسلوب LoRA من الأفضل في هذا المجال، لكن البحث الأخير كشف عن أساليب جديدة للتكيف القائم على المتجهات (Vector-Based Adaptation) والتي تتمتع بكفاءة استثنائية في استخدام المعلمات.

ومع ذلك، تحتاج هذه الأساليب عمومًا إلى رتب أعلى بكثير من LoRA لتحقيق أدائها المميز، مما يؤدي إلى زيادة تكاليف التدريب. للتغلب على هذه التحديات، تم تقديم GiVA، وهي استراتيجية تستند إلى التدرج لتخصيص المدخلات عند استخدام التكيف القائم على المتجهات.

تُظهر GiVA أوقات تدريب مماثلة لـ LoRA، مع الحفاظ على كفاءة المعلمات العالية للتكيف القائم على المتجهات. تم تقييم الأداء الخاص بـ GiVA عبر مجموعة متنوعة من الاختبارات، بما في ذلك فهم اللغة الطبيعية، وتوليد اللغة الطبيعية، وتصنيف الصور.

تُظهر التجارب أن تقنيتنا تتفوق باستمرار أو تحقق أداءً تنافسياً مع الأساليب القائمة على المتجهات وLoRA، مع تقليل متطلبات الرتبة بمعدل يصل إلى ثمانية أضعاف (8x). هذا الإنجاز يفتح أبواباً جديدة لإمكانات الذكاء الاصطناعي ويساعد المطورين على تقديم نماذج أكثر فاعلية بتكاليف أقل.

ما رأيكم في هذه القفزة في كفاءة الذكاء الاصطناعي؟ شاركونا في التعليقات!