اختيار أهداف ما قبل التدريب: كيف يؤثر على جودة التصنيف في البيانات القليلة؟

في عالم الذكاء الاصطناعي، يعتبر اختيار أهداف ما قبل التدريب أمرًا محوريًا، خاصةً في مجالات التصنيف الدقيق ذي البيانات القليلة. تواجه الصناعات المتخصصة، مثل تصنيف الأحجار الكريمة، تحديات فريدة بسبب تكلفة وسراجة وضع العلامات على البيانات. لذا، يحتاج المتخصصون إلى توجيه متين لاختيار نماذج مسبقة التدريب المناسبة.

هذا البحث، الذي تم تقديمه مؤخراً، تناول تأثير أهداف ما قبل التدريب على جودة التمثيل في ظروف البيانات القليلة. تم إعداد مجموعة بيانات مخصصة تحتوي على صور مصنفة لثلاث فئات من الأحجار الكريمة، حيث قام الباحثون بدراسة تأثير أربعة نماذج مقيدة (frozen) من ViT-B/16:

1. **التصنيف الذاتي (Supervised Classification)**
2. **التعلم التبايني (Contrastive Learning) - SigLIP2**
3. **إعادة البناء المقنعة (Masked Reconstruction) - MAE**
4. **التقطير الذاتي (Self-Distillation) - DINOv3**

جرت مقارنة هذه النماذج باستخدام طريقة التحقق التبادلي (Leave-One-Out Cross-Validation) واستعمال بروبز خطية وغير خطية. وللتحكم في الضوضاء الإحصائية في نظام البيانات المنخفضة، استخدم الباحثون اختبار التبديل (Permutation Testing) مع 1000 تكرار على المقياس الكلي (Macro AUC).

أظهرت النتائج أن نماذج التصنيف الذاتي والتعلم التبايني تعطي أفضل نتائج من حيث قابلية الفصل الخطية، حيث حققت (logistic AUC) قيم 0.768 و0.735، و(SVM AUC) قيم 0.739 و0.697. بالمقابل، أظهر نموذج MAE تحسنًا في البروبس غير الخطية، حيث سجل (XGBoost AUC) قيمة 0.713. ومع ذلك، كان أداء DINOv3 أقل من المتوقع في هذه البيئة.

تدعم هذه النتائج توصية عملية للممارسين في مجالات التصنيف الدقيق ذات البيانات القليلة: ركزوا على أهداف ما قبل التدريب ذات الهامش القوي عندما تكون البيانات نادرة، واعتبروا استخدام نماذج إعادة البناء عندما تكون المصنفات غير الخطية مناسبة ضمن قيود مجموعة البيانات.