نماذج المؤسسة الرائعة: تحويل النماذج الأساسية إلى شجرة تعزيزية جاهزة لوحدات المعالجة المركزية!

في عالم الذكاء الاصطناعي، تعتبر الكفاءة الزمنية واحدة من أكثر العوامل أهمية، خاصةً في تطبيقات مثل تقييم الاحتيال، حيث يجب أن يتم ذلك في أقل من 2 مللي ثانية. لكن كيف يمكننا تحقيق ذلك في ظل الوضع الحالي؟ تقدم دراسة جديدة تقنية مبتكرة تتعامل مع "نماذج المؤسسة الأساسية للجداول" (Tabular Foundation Models - TFMs).

النماذج الأساسية الحالية تحتاج إلى وقت يتراوح بين 151-1,275 مللي ثانية عند استخدام وحدات معالجة الرسوم (GPU)، مما يطرح مشكلة كبيرة في العديد من التطبيقات. هنا يأتي دور الابتكار الجديد، حيث يتم تقطير نماذج المؤسسة الأساسية إلى نماذج خفيفة مثل XGBoost أو CatBoost، والتي تعمل بسلاسة على وحدات المعالجة المركزية (CPU).

التحدي الرئيسي الذي واجه الباحثين كان يتعلق بالتعلم في السياق (In-Context Learning - ICL)، والذي يميل إلى تسريب التسميات عند تقييم مجموعة التدريب الخاصة بهم، مما يؤدي إلى فقدان المعلومات الهيكلية اللازمة للتقطير. مع ذلك، تمكن الباحثون من تطوير طريقة لتجنب ذلك باستخدام "تصنيف الطبقات الخارجية" (Stratified Out-of-Fold) لتجنب تسريب المعلومات.

النتائج كانت مثيرة للإعجاب: عبر 153 مجموعة بيانات تصنيفية، سمح تقطير TabICLv2 إلى XGBoost بتحقيق مدى قدرته (Macro-Mean AUC) بلغ 0.882 بسرعة 1.9 مللي ثانية على الـ CPU، مسجلاً تحسنًا بين 38 إلى 860 مرة مقارنة بالنماذج السابقة. هذا بجانب النتائج الأخرى التي تشير إلى أن تصنيف المعلم ينتقل بدقة إلى تصنيف الطالب، ما يوفر فائدة كبيرة في البيانات ذات الأبعاد المنخفضة.

لا تنتهي الابتكارات عند هذا الحد، إذ كشفت الدراسة أيضاً أن استخدام متوسط لأكثر من معلم يمكن أن يعزز أداء الطلاب من نماذج متعددة الطبقات، لكن هذا التأثير كان أقل على الطلاب من نماذج الأشجار. وتبين أن في المهام ذات الأبعاد العالية، يمكن أن تكون عملية التقطير غير فعالة إذا كانت أداء المعلم نفسه أقل من نماذج CatBoost.

كخلاصة، هذه الدراسة تعكس الابتكار المستمر في مجال الذكاء الاصطناعي وقدرة الباحثين على تحسين القدرات العملية للنماذج بشكل مذهل. وقد تم فتح كامل عملية التطوير كمصدر مفتوح كجزء من مكتبة "TabTune"، مما يسهل وصول المطورين والباحثين لهذه التقنيات. ما رأيكم في هذه التطورات المثيرة؟ شاركونا في التعليقات.