إعادة التفكير في أنظمة الاكتشاف الذاتي: هل يمكن أن نكتشف الأفضل؟

تعد أنظمة الاكتشاف الذاتي مثل OpenEvolve وTTT-Discover من الأدوات الأساسية في مجال الذكاء الاصطناعي، حيث يُنظر إليها عمومًا على أنها حلول شاملة. لكن في الواقع، هذا ليس دقيقًا كفاية، إذ تتكون هذه الأنظمة من مجموعة متنوعة من الخيارات التصميمية المتعلقة بالأرشيفات، واختيار الأبوين، واستكشاف الحلول، وتخصيص الميزانية.

تُعتبر الاختبارات المتعلقة بالاكتشاف باهظة التكلفة وعرضة للتقلبات، مما يجعل المقارنات بين الأنظمة غير موثوقة عندما تستند إلى عدد قليل من التجارب. لذلك، قام الباحثون بتفكيك عملية البحث التطوري لـ OpenEvolve ومكونات نظام TTT-Discover لتقييم فعالية 30 نظام اكتشاف مختلف عبر 12 مشاركة بين نموذج ومشكلة معينة، مستخدمين أكثر من 3.1 مليون تطبيق لنماذج اللغات الضخمة (Large Language Models) وتحليلات إحصائية متكررة.

تظهر النتائج أن الأنظمة المستخدمة في الاكتشاف تعاني من مشكلة تعميم، حيث لم يُثبت أي نظام ثابت في الأداء تفوقه عبر إحصاءات جميع النماذج المُختبرة. على العموم، فإن اختيارات الأنظمة يجب أن تُعتبر كمعاملات ضابطة وليست وصفات عالمية، بحيث تكون مصممة خصيصًا للمشكلة والنموذج المعني. كما كشفت الدراسة أن التقدم المبكر في الاكتشاف يمكن أن يتنبأ بالأداء النهائي؛ وهذا يفتح المجال للابتكار في أساليب تخصيص الميزانية، مثل بدء تشغيل أنظمة متعددة، وإزالة الأنظمة الضعيفة، وإعادة تخصيص الموارد للأنظمة الأكثر كفاءة.

تدعو هذه النتائج إلى التفكير في التحول من الاختيار الثابت للأنظمة إلى التكيف عبر الإنترنت المستند إلى الأداء المبكر. بالإضافة إلى ذلك، قام الباحثون بنشر جميع نتائج التجارب بما في ذلك توزيعات القيم الأساسية كنظام إحصائي قابل لإعادة الاستخدام لدعم المقترحات المستقبلية حول أنظمة الاكتشاف.