مع التطورات المتسارعة في مجال الذكاء الاصطناعي، ازدادت أهمية النماذج الكبيرة المدربة مسبقاً التي توفر أداءً مذهلاً في العديد من المهام. ولكن مع هذا الإنجاز تأتي العقبة: الزيادة الهائلة في عدد المعلمات، مما يتطلب استراتيجيات تدريب فعالة في استخدام المعلمات.

في هذا السياق، تبرز دراسة جديدة تبحث في تقنيات تعديل المعلمات الفعالة (PEFT) المستخدمة في نماذج تحويلية (Transformer) الخاصة بمهام تقسيم الصور. على الرغم من التقدم الكبير في هذا المجال، إلا أن الأبحاث حول PEFT لا تزال محدودة.

تركز الدراسة على تطبيق تقنيات مثل الواجهات (Adapters) وتقنية تعديل الرتبة المنخفضة (LoRA) على نموذجين عبر أربعة مجموعات بيانات معيارية. تكمن المفاجأة في أن دمج وحدات الواجهة المرتبة بشكل تسلسلي واستخدام LoRA على الانتباه القابل للتشوه - وهو أمر يتم استكشافه هنا لأول مرة - يحقق أداءً تنافسياً بينما يعدل فقط حوالي 1-6% من معلمات النموذج، مقارنةً بـ 40-55% المطلوبة في التعديلات التقليدية.

تظهر النتائج الرئيسية أن استخدام 2-3 واجهات لكل كتلة تحويلية يوفر توازناً مثالياً بين الأداء والكفاءة. علاوة على ذلك، تتسم LoRA بكفاءة بارامتر قوية عند تطبيقها على الانتباه القابل للتشوه، وفي بعض الحالات، تتفوق على تكوينات الواجهة.

تسلط هذه النتائج الضوء على أن تأثير تقنيات PEFT يختلف بناءً على تعقيد مجموعة البيانات مع بنية النموذج، مما يؤكد على أهمية التعديل السياقي.

بالمجمل، تُظهر هذه الدراسة إمكانيات PEFT لتمكين التعلم القابل للتوسع، والمخصص، والفعال حسابياً لمهام تقسيم الصور، ما يمثل خطوة جديدة في رحلتنا مع الذكاء الاصطناعي.