في عالم الذكاء الاصطناعي المتسارع، تشهد نماذج اللغات الكبيرة (Large Language Models - LLM) تحولًا ملحوظًا في كيفية استخدامها عبر مجالات متعددة. ومع ذلك، فإن التحديات المتعلقة بتحسين المعلمات (Hyperparameter Optimization - HPO) تنشأ بشكل متزايد، مما يؤدي إلى الحاجة الماسة لتطوير أدوات تقييم متخصصة.

هنا تأتي LLMSYS-HPOBench، أول مجموعة تقييم حية وأداة فريدة مخصصة لتقييم تحسين المعلمات لعمليات LLM الحقيقية. تحتوي LLMSYS-HPOBench على بيانات تتعلق بالأهداف التفسيرية لتكوينات المعلمات المستمدة من تشغيل أنظمة LLM، مما يتيح للباحثين النظر في أبعاد جديدة للتحسين.

تتضمن LLMSYS-HPOBench حاليًا 364,450 تكوينًا من المعلمات بمستويات أبعاد تتراوح بين 12 و23، بالإضافة إلى 3-5 أبعاد من عوامل الدقة، مما يؤدي إلى 932 إعدادًا مختلفًا. وتشمل المجموعة أيضًا معايير موضوعية للاستدلال تتراوح بين 3-9 وبيانات تكلفة تتراوح بين 2-10.

هذه المنصة ليست مجرد إعادة تقييم للخوارزميات الحالية لتحسين المعلمات، بل تهدف أيضًا إلى تقديم بيئة متطورة للمجتمع البحثي في مجال AutoML لاستكشاف اتجاهات جديدة.

يمكن للمهتمين الوصول إلى مجموعة البيانات عبر الرابط التالي: [رابط LLMSYS-HPOBench](https://github.com/ideas-labo/llmsys-hpobench). هل أنتم مستعدون لتعزيز أبحاثكم في الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!