في عالم الذكاء الاصطناعي، تظهر أنظمة التعلم الآلي الأوتوماتيكي (AutoML) كأداة قوية تُستخدم لتبسيط عملية تطوير النماذج. ومع ذلك، قد تكون التقييمات السريعة التي تُجرى في أوقات قصيرة سبباً في إحداث نسبة كبيرة من الأخطاء. أظهرت دراسة حديثة نُشرت على موقع arXiv حلولاً لكيفية تأثير الميزانية القصيرة على نتائج هذه الأنظمة.

في تجربة تم إجراؤها، أظهر محرك AutoML بسيط يُدعى ‘Orcetra' تفوقاً على نماذج مثل ‘FLAML’ و‘AutoGluon’ في 513 مجموعة بيانات على OpenML، وقد حصل على 57.1% من الفوز عند استخدام ميزانية زمنية قدرها 60 ثانية و78.4% عند استخدام ميزانية 30 ثانية ضد FLAML فقط. لكن لم تكن النتائج كما تبدو، إذ أن العيوب في البروتوكولات التي تم اتباعها كانت السبب وراء ذلك.

تم تنفيذ البحث الذي أجرته الدراسة، حيث أظهر نظام Orcetra ميلاً إلى اختيار الأفضل من خلال اختبار مجموعة البيانات، دون مراعاة المعايير الحقيقية للتحقق من الأداء. وهذا يجعل النتائج عُرضة لتقدير عشوائي وفارق زمني غير مقيّد مقارنةً بنماذج أخرى حازت على نتائج أقل. عند إعادة التجربة بشروط أكثر توازنًا، انخفضت نسبة فوز Orcetra إلى 34.3%، مما يؤكد أهمية معايير الاختيار والتوازي في الموارد.

تقدم الدراسة checklist للمقارنة السريعة بين أنظمة AutoML، مما يبرز أهمية الشفافية والدقة عند إجراء مثل هذه التقييمات. دراسة شيقة تُظهر كيف أن الأنظمة يمكن أن تكون بالفعل تحت الأضواء، لكن الفهم العميق لكيفية عملها يبقى مفتاح النجاح.