تقييم عملي لأداء النماذج الأساسية الجدولية تحت ضغط توزيع البيانات!

في عالم الذكاء الاصطناعي، تبرز النماذج الأساسية الجدولية (Tabular Foundation Models - TFMs) كأحد الحلول المبتكرة للمهام التنبؤية. ومع ذلك، فإن معظم هذه النماذج يتم تدريبها وتقييمها تحت افتراض أن البيانات متوزعة بشكل مستقل ومتماثل، وهو أمر غالبًا ما يتجاوز الحقيقة في السيناريوهات الحقيقية. مع تحولات التوزيع، قد تتأثر قوة هذه النماذج، ولعل السؤال الذي يطرح نفسه هو: كيف يمكن أن تؤدي هذه النماذج تحت ضغوط توزيع البيانات؟

خلال دراسة حديثة، تم تقييم أداء تسعة نماذج من TFMs، والتي شملت استراتيجيات وأشكال مختلفة للتدريب مثل: TabPFNv2 وTabPFNv2.5 وTabPFNv2.6 وTabPFNv3 وTabICL وTabICLv2 وMitra وLimiX وTabFM. وتم استخدام ثلاثة مجموعات بيانات حقيقية من دراسة TableShift، وهي HELOC وVoting وChildhood Lead، لتغطية أنواع من التحولات بما في ذلك التغيرات في التسميات والمجتمع والجغرافيا.

أظهرت النتائج أن جميع النماذج المدروسة تتدهور أداءها بشكل منهجي عندما تواجه تحولات في التوزيع، بغض النظر عن استراتيجية التدريب المسبق، حيث تراوحت الفجوات في الأداء من 0.003 إلى 0.060 وفقاً لنوع التحول. كما توصلت هذه الدراسة إلى وجود فجوة في قابلية التوسع، حيث تتطلب النماذج ذات الأداء العالي موارد ذاكرة وحسابية كبيرة تتجاوز ما يمكن أن تدعمه البنية التحتية التقليدية.

تسهم هذه الدراسة في تطوير المعايير الحالية لأداء النماذج تحت ضغط التحولات التوزيعية، مما يدعم اعتمادها في المجالات الحساسة والمتأثرة بالنماذج الهيكلية.

ما رأيكم في النتائج التي توصلت إليها هذه الدراسة؟ شاركونا آرائكم في التعليقات!