في عالم تحسين نماذج اللغات الكبيرة (LLMs)، تتطلب التفضيلات المتنوعة أساليب مبتكرة تخرج عن منهجيات الاعتماد على الانحدار التدرجي التقليدي الذي يعاني من مشكلة "انهيار التفضيلات". وفي هذا الصدد، يقدم الباحثون خوارزمية جديدة تُدعى إيفو بريف (EvoPref).

الخوارزمية تعتمد على منهجية تحسين تطورية متعددة الأهداف، حيث تعمل على الحفاظ على مجموعات من مُعدلات التكيف (LoRA) التي تتحسن بناءً على أهداف مثل المساعدة، والأمان، والصدق. ومن خلال استخدام خوارزمية الفرز الجيني غير المهيمن II (NSGA-II)، تمكنت إيفو بريف من الحفاظ على التنوع وتحقيق تحسينات واضحة في النتائج.

تشير النتائج إلى أن هذه الخوارزمية تساهم في تحسين تغطية التفضيلات بنسبة تصل إلى 18%، مع تقليل معدلات الانهيار بنسبة 47%، بينما تحافظ على جودة المحاذاة التنافسية. ومن المثير للاهتمام أن الأساليب المستندة إلى السكان مثل EvoPref أثبتت أنها تقدم اكتشافات أكثر تنوعًا مقارنة بالأساليب التقليدية.

هذه الدراسة تقدم دليلاً قويًا على أهمية التحسين التطوري كفلسفة رائدة لتحقيق محاذاة متنوعة لنماذج اللغات الكبيرة، مما يجعلنا نتطلع إلى مستقبل أكثر إشراقًا في مجال الذكاء الاصطناعي.