تعتبر استراتيجيات التطور (Evolution Strategies - ES) من البدائل الواعدة لتقنيات الضبط الدقيق المعتمدة على التدرجات، خاصة في نماذج اللغة الكبيرة (Large Language Models - LLM) التي تعاني من قيود الموارد. ومع ذلك، فإن تطبيق هذه الاستراتيجيات مباشرةً على نماذج تحتوي على مليارات المعاملات ليس فعالًا للغاية، حيث يؤدي الارتباك العشوائي إلى تحسينات غير مستقرة في كثير من الأحيان.

هنا تأتي أهمية Hyper-ES، الإطار الجديد الذي يركز على استراتيجيات التطور في المساحات الفرعية. بدلاً من الاعتماد كليًا على الاضطرابات العشوائية للعثور على اتجاهات مفيدة، تقوم Hyper-ES بإجراء عدد قليل من عمليات الضبط الدقيق على أساس التدرجة بتكلفة منخفضة للحصول على اتجاهات النزول.

تتمثل الفكرة في أن كل اتجاه قد يوفر تحسينًا محدودًا بمفرده، ولكن مساحتهم المشتركة تُشكّل منطقة تكيف محورية تلتقط التحديثات المفيدة في التفكير. ثم تقوم Hyper-ES بتطبيق تنفيذات CMA-ES لتحسين معاملات دمج DARE-TIES على مستوى الطبقة داخل هذه المساحة، مما يمكّن استراتيجية التطور من البحث عن توليفات ذات مغزى بدلاً من الاضطرابات العشوائية الكاملة للنموذج.

تم تقييم أداء Hyper-ES على ثلاثة نماذج Qwen2.5-Instruct وDeepSeek-R1-Distill عبر ستة مجموعات بيانات رياضية، حيث أظهرت النتائج تفوق Hyper-ES بشكل مستمر على GRPO-LoRA بنسبة 1% مع الحاجة إلى 10% أقل من تحديثات التدرج التي تستهلك المساحة.

للمزيد من التفاصيل، يمكنك زيارة رابط كود التطبيق.