تعتبر [نماذج [اللغة](/tag/اللغة) الكبيرة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)-الكبيرة) (Large Language [Models](/tag/models)) محط أنظار الكثير من [الباحثين](/tag/الباحثين) والمطورين، ولكن [التكيف](/tag/التكيف) الكامل لها مع المهام المختلفة أصبح تحديًا حقيقيًا بسبب متطلبات [الحوسبة](/tag/الحوسبة) والذاكرة. في هذا الإطار، تأتي [تقنية](/tag/تقنية) [التكيف](/tag/التكيف) المعتمد على الإعدادات الفعالة (Parameter-Efficient Fine-Tuning - [PEFT](/tag/peft)) مثل [التكيف منخفض الرتبة](/tag/[التكيف](/tag/التكيف)-منخفض-الرتبة) ([Low-Rank Adaptation](/tag/low-rank-adaptation) - [LoRA](/tag/lora)) لتخفيف هذه الأعباء من خلال اقتصار [التحديثات](/tag/التحديثات) على مجموعة صغيرة من المعلمات القابلة للتدريب.

ومع ذلك، قد تؤدي هذه [الميزة](/tag/الميزة) إلى تنازلات في القدرة على التعميم، خاصةً عند الانتقال [عبر](/tag/عبر) مهام ومجالات متننوعة. لذا، أعادت [دراسة جديدة](/tag/[دراسة](/tag/دراسة)-جديدة) تسليط الضوء على التوتر بين [كفاءة](/tag/كفاءة) المعلمات وقدرة التكيف، حيث أُسست [استراتيجية](/tag/استراتيجية) [LoRA](/tag/lora)-Over التي تهدف إلى إثراء [بيئة](/tag/بيئة) التكييف أثناء التدريب، ومن ثم تقليص هذا الإثراء عند مرحلة [الاستدلال](/tag/الاستدلال).

تعمل [تقنية](/tag/تقنية) [LoRA](/tag/lora)-Over على إضافة معلمات مساعدة إلى [المحولات](/tag/المحولات) منخفضة الرتبة خلال فترة التدريب، مما يوسع من نطاق الفرضيات المتاحة. وفي مرحلة لاحقة، يتم دمج هذه المعلمات مرة أخرى ضمن هيكل منخفض الرتبة قياسي بتكلفة إعادة [بناء](/tag/بناء) ضئيلة، مما يحافظ على نفس تكلفة [الاستدلال](/tag/الاستدلال) التي تتسم بها [تقنية](/tag/تقنية) [LoRA](/tag/lora) التقليدية.

وعلاوة على ذلك، اقترحت [الدراسة](/tag/الدراسة) استراتيجيتين لتوجيه السعة الزائدة، إحداهما محددة مسبقًا والثانية تحدد أثناء التشغيل، لتوجيه القدرة الإضافية إلى المناطق الأكثر احتياجًا. تم [تقييم](/tag/تقييم) [LoRA](/tag/lora)-Over على عدة مجالات مثل [فهم](/tag/فهم) [اللغة](/tag/اللغة) (GLUE، [T5](/tag/t5)-Base) وحوارات (MT-Bench) والتفكير الحسابي (GSM8K) وتوليد [الكود](/tag/الكود) (HumanEval) باستخدام [النماذج](/tag/النماذج) [LLaMA 2](/tag/llama-2)-7B وLLaMA 3.1-8B. أظهرت جميع النتائج أن [LoRA](/tag/lora)-Over تتفوق باستمرار على [تقنية](/tag/تقنية) [LoRA](/tag/lora) التقليدية، مما يبرز فعالية [استراتيجية](/tag/استراتيجية) زيادة المعلمات المدروسة لتحسين القدرة على [التعميم](/tag/التعميم) في [PEFT](/tag/peft).