في عالم البيانات، تمثل نماذج البيانات الجدولية مثل TabPFN و TabICL أداة قوية لتقديم توزيعات تنبؤية كاملة، لكن النتائج التقليدية لتقييم هذه النماذج غالباً ما تركز على مقاييس نقطة واحدة مثل RMSE و $R^2$، مما يتجاهل المعلومات التوزيعية الحيوية التي تتطلبها مجالات عالية المخاطر.

هنا يأتي دور ScoringBench، معيار مفتوح وقابل للتوسع يعيد تعريف طريقة تقييم نماذج الانحدار الجدولية. يقدم ScoringBench مجموعة شاملة من معايير التسجيل الجديدة تشمل CRPS، CRLS، وتقنيات Score interval و Energy score، بالإضافة إلى مقاييس النقطة التقليدية.

يغطي ScoringBench حوالي 97 مجموعة بيانات من مجالات متنوعة، ويعزز المشاركة الشفافة من خلال استخدام نظام قائمة تتصدر بواسطة Git، مما يتيح للباحثين المساهمة وتحسين الأداء بشكل مستمر.

تقدم ScoringBench بروتوكولين تصنيفيين مميزين: منهج Demsar/autorank الترتيبي، ومنهج تصنيف z-score الذي يحافظ على المقياس. أظهرت التجارب مع نماذج متعددة، بدءًا من المتعلمين القائمين على السياق إلى نماذج مؤسسية، أن تصنيفات النماذج تتغير بشكل كبير بناءً على معيار التسجيل المستخدم. النماذج التي تتفوق في مقاييس النقاط يمكن أن تحتل مرتبة منخفضة في المقاييس الاحتمالية، والعكس صحيح.

تمثل هذه النتائج دليلاً على أن اختيار مقياس التقييم ليس مجرد تفاصيل تقنية، بل هو قرار نمذجة له آثار مباشرة على تطبيقات العالم الحقيقي، وخاصة في المجالات حيث تكون الأخطاء الحرجة مكلفة بشكل غير متناسب.

إذاً، هل أنت مستعد لاستكشاف هذا المعيار المبتكر وتطبيقه في مجالك؟ شاركونا آراءكم وأفكاركم في التعليقات!