تعتبر تقنيات التكيف منخفض الرتبة (Low-rank adaptation - LoRA) واحدة من المعايير الأساسية التي تُستخدم لضبط نماذج اللغة الكبيرة (Large Language Models)، لكنها غالباً ما تتعارض في النتائج التجريبية بين نماذجها المختلفة، حتى عند الاختبار بنفس المعايير. في بحثنا الجديد، قمنا بالتحقيق في سبب هذه التناقضات ووجدنا أنه يعود إلى عامل واحد غالبًا ما يتم تجاهله: حجم الدفعات (Batch Size).

عند ضبط حجم الدفعة بشكل صحيح، يمكن أن يتساوى أداء نماذج LoRA الأساسية مع أداء النماذج الأكثر تعقيدًا. وقد اقترحنا استراتيجية تعتمد على الوكلاء (Proxy-based) وهي فعالة من حيث التكلفة لضبط حجم الدفعات، مما يسلط الضوء على تأثير الرتبة (Rank)، وحجم مجموعة البيانات (Dataset Size)، وسعة النموذج (Model Capacity) على حجم الدفعة المثالي.

تظهر نتائجنا كيف يمكن أن يتحول حجم الدفعات من مجرد تفصيل تنفيذي إلى عامل تصميم رئيسي، مما يعيد توضيح التناقضات السابقة ويمكّن من تقييم أكثر موثوقية للتقنيات المتعددة لـ LoRA. هل حان الوقت لإعادة التفكير في كيفية تقييم نماذج الذكاء الاصطناعي لدينا؟