في عالم الذكاء الاصطناعي، تعكس تحسينات الأداء أهمية كبيرة، خاصة عند العمل مع النماذج اللغوية الكبيرة. في هذا السياق، تبرز الدراسة الجديدة التي تركز على محولات الرتبة المنخفضة (Low-rank Adapters) ودورها في تحسين دقة النتائج. غالبًا ما يتم مقارنة المحولات الرتبة المنخفضة من خلال مجموعة صغيرة من الرتب، ولكن الرتبة تحدد أيضًا دقة ميزانية المعلمات. فمثلاً، عند التعامل مع صورة OPT البصرية بحجم $2048{ imes}2048$، فإن زيادة رتبة LoRA خطوة واحدة تعني تخزين $4096$ قيمة قابلة للتدريب، مما يترك فجوات كبيرة بين أحجام المحولات القابلة للتطبيق ذات الميزانية المنخفضة.

تطرح هذه الدراسة سؤالًا رئيسيًا: هل يمكن لمحول به سعة أقرب من مستوى دقة الصفات أن يغير من توازن دقة النتائج مقابل ميزانية المعلمات. للإجابةعن هذا السؤال، استخدم الباحثون محولات CP (Canonical Polyadic) كعنصر ثابت. تحت هيكلية $32{ imes}64{ imes}32{ imes}64$، تخزن كل مكونة CP عامل $193$ قيمة قابلة للتدريب لكل إزاحة، وهو ما يُعد أصغر بحوالي $21$ مرة من خطوة باتجاه رتبة LoRA.

تمت مقارنة محولات CP وLoRA على نموذج OPT-1.3B عبر مهام متعددة تشمل SST-2 وRTE وBoolQ مع الحفاظ على توافق في الوحدات المستهدفة، بروتوكولات التدريب، والقيود على البيانات. أظهرت النتائج أن محولات CP يمكن أن تتدرب بشكل مستقر وتملأ الفجوات بين رؤوس LoRA، ولكن تأثيرها يعتمد على المهمة: حيث وصلت SST-2 إلى هضبة منخفضة الميزانية في وقت مبكر، بينما استفادت BoolQ من مكونات CP الإضافية قبل أن تصل إلى ذروتها بعض الشيء تحت LoRA، وبقيت RTE مفضلة لـLoRA.

بناءً عليه، يمكن اعتبار خطوات المعلمات الدقيقة مفيدة في تشخيص حساسية ميزانية الـPEFT، لكنها لا تضمن بالضرورة منحنى دقة – ميزانية أفضل.