الاختيار ليس التعلم: كيف تُشكل نماذج اللغة مستقبلها بنفسها!

تواصل نماذج اللغة الذاتية التطور (Self-evolving Language Models) فك شفرات التعلم الذاتي عبر المهام التي تنشئها بأنفسها، مما يطرح تحديات جديدة في كيفية اتخاذ القرارات بشأن التحديثات المستقبلية. في أحدث التطورات، يظهر البحث دراسة مهمة حول المفهوم المعروف بفجوة الاختيار إلى التحديث، حيث يمكن أن تبدو بعض المهام قابلة للتعلم، ولكنها لا تنتج بالضرورة تحديثات مفيدة.

تستخدم الأنظمة الحالية مثل R-Zero وAgent0 وSkill Self-Play عمليات حلقية تعتمد على المهام، مما يسمح لهم بقبول المهام التي تبدو قابلة للتعلم، إلا أن الغالبية العظمى من التحديثات على المهام المعتمدة قد تفشل في جعل الإجابات الصحيحة أكثر احتمالاً. في هذه الأثناء، يقوم نظام HeirCommit بتجميد النموذج المحدث واستخدام أسئلة تقييم جديدة لتحديد ما إذا كان يجب عليه احتيار النموذج الجديد أو الاحتفاظ بالنموذج الحالي.

تتميز تقنية EvoHeir بفصل وراثة المعلمات عن وراثة التجارب، مما يتيح للنموذج إعداد الفشل وتوثيق النجاح قبل التأكيد النهائي. تشير التحليلات إلى وجود تفاؤل مفرط ناتج عن الاختيار، حيث يتم تحليل الأخطاء الناجمة عن الاختيار والاستيعاب والتأكيد. وأظهر البحث أن HeirCommit يعمل على تقليل نسبة التحديثات الضارة المتقبلة بنسبة 68-83% مقارنة بالوراثة العشوائية.

عبر أربعة نماذج أساسية مختلفة، تمكنت EvoHeir من تحقيق أفضل المعدلات فيما يخص الرياضيات والتفكير العام، مما زاد من متوسط الرياضيات بنسبة 5.3% مقارنةً بأقوى نموذج أساسي، وهو Agent0. يتيح هذا الإطار بقاء التجارب المفيدة حتى عندما لا يتم وراثة النموذج الذي أنتجها. تتجه هذه الابتكارات نحو تحسين فعالية التعلم الذاتي في مجال الذكاء الاصطناعي.