في عالم الذكاء الاصطناعي، ينال تحسين المعلمات (Hyperparameter Optimization - HPO) اهتمامًا كبيرًا كونه عاملًا حاسمًا لنجاح نماذج التعلم الآلي. وقد تم اقتراح استخدام نماذج اللغة الكبيرة (Large Language Models - LLMs) كاستشاريين في حقل تحسين المعلمات، حيث يُفترض أنهم يستطيعون "بدء الدفء" من المعرفة السابقة وطرح إعدادات قوية من خلال تقييمات قليلة. لكن، هل الحقيقة تتوافق مع هذه الادعاءات؟

دراسة حديثة تحمل الرقم arXiv:2606.21641v2 دققت في هذا الأمر من خلال إجراء اختبارات مقارنة تحت بروتوكول موحد على ثمانية معايير من بيانات PMLB. تم استخدام مستشار LLM يدعى LLM-OptFlow وتمت مقارنته بأربعة حلول تقليدية تشمل: البحث العشوائي، Optuna-TPE، وأساليب Bayesian بالمحاكاة الجاوسية.

اكتشفت النتائج أن القوة الأولى للمستشار كانت ليست نتاج LLM على الإطلاق، بل كانت تعتمد على تهيئة افتراضية ثابتة تم تقييمها قبل أي استدعاء للنموذج، والتي أسفرت وحدها عن نسبة 88.7% في أفضل دقة متعددة التقاطع. في الواقع، كانت الإضافات المقدمة من LLM تضيف فقط +0.40 نقطة من دقة التقاطع فوق تلك التهيئة، مع عدم وجود فائدة على الاختبارات المخصصة.

وعندما تم منح نفس التهيئة للبحث الكلاسيكي، انهار التفوق الظاهر للمستشار. فقد أظهر البحث العشوائي تفوقًا عند نقطتين تقييم، ولكنه تساوى بعد خمس تقييمات ووقع خلف البحث التقليدي بعد 12 تقييمًا. وكيف كان أداء البحث التقليدي بدون تلك التهيئة؟ لقد تساوى مع المستشار بعد 12 تقييمًا وتفوق عليه بعد 40 تقييمًا.

تظهر الدراسة أن السلوكيات الخاصة بنماذج اللغة الكبيرة لا تزال موجودة، مثل فشل استكشاف المهام الفردية وبعض المرشحات المبنية على الثقة، التي ساعدت في تقليل الحسابات غير الضرورية بنسبة ~33%. بناءً على هذه النتائج، توصي الدراسة باستخدام البحث التقليدي مع تهيئات افتراضية معقولة، حيث تضيف نماذج اللغة الكبيرة دون أي فائدة عامة قابلة للقياس.

إذاً، ما رأيكم في هذه النتيجة المحيرة؟ هل تعتقدون أن هناك مجالات أخرى يمكن فيه الاستفادة من نماذج اللغة الكبيرة؟ شاركونا آرائكم في التعليقات!