في عالم الذكاء الاصطناعي، يعتبر اختيار أهداف ما قبل [التدريب](/tag/التدريب) أمرًا محوريًا، خاصةً في مجالات [التصنيف](/tag/التصنيف) الدقيق ذي [البيانات](/tag/البيانات) القليلة. تواجه الصناعات المتخصصة، مثل [تصنيف](/tag/تصنيف) الأحجار الكريمة، [تحديات](/tag/تحديات) فريدة بسبب تكلفة وسراجة وضع العلامات على [البيانات](/tag/البيانات). لذا، يحتاج المتخصصون إلى [توجيه](/tag/توجيه) متين لاختيار [نماذج](/tag/نماذج) مسبقة [التدريب](/tag/التدريب) المناسبة.
هذا البحث، الذي تم تقديمه مؤخراً، تناول تأثير أهداف ما قبل [التدريب](/tag/التدريب) على جودة [التمثيل](/tag/التمثيل) في ظروف [البيانات](/tag/البيانات) القليلة. تم إعداد [مجموعة بيانات](/tag/مجموعة-[بيانات](/tag/بيانات)) مخصصة تحتوي على [صور](/tag/صور) مصنفة لثلاث فئات من الأحجار الكريمة، حيث قام الباحثون بدراسة تأثير أربعة [نماذج](/tag/نماذج) مقيدة (frozen) من [ViT](/tag/vit)-B/16:
1. **التصنيف الذاتي (Supervised Classification)**
2. **التعلم التبايني (Contrastive Learning) - SigLIP2**
3. **إعادة البناء المقنعة (Masked Reconstruction) - MAE**
4. **التقطير الذاتي ([Self-Distillation](/tag/self-distillation)) - DINOv3**
جرت مقارنة هذه [النماذج](/tag/النماذج) باستخدام طريقة [التحقق](/tag/التحقق) التبادلي (Leave-One-Out Cross-Validation) واستعمال بروبز خطية وغير خطية. وللتحكم في الضوضاء الإحصائية في نظام [البيانات](/tag/البيانات) المنخفضة، استخدم الباحثون اختبار التبديل (Permutation Testing) مع 1000 تكرار على المقياس الكلي (Macro AUC).
أظهرت النتائج أن [نماذج](/tag/نماذج) [التصنيف](/tag/التصنيف) الذاتي والتعلم التبايني تعطي أفضل نتائج من حيث قابلية [الفصل](/tag/الفصل) الخطية، حيث حققت (logistic AUC) قيم 0.768 و0.735، و(SVM AUC) قيم 0.739 و0.697. بالمقابل، أظهر [نموذج](/tag/نموذج) MAE تحسنًا في البروبس غير الخطية، حيث سجل (XGBoost AUC) [قيمة](/tag/قيمة) 0.713. ومع ذلك، كان [أداء](/tag/أداء) [DINOv3](/tag/dinov3) أقل من المتوقع في هذه [البيئة](/tag/البيئة).
تدعم هذه النتائج توصية عملية للممارسين في مجالات [التصنيف](/tag/التصنيف) الدقيق ذات [البيانات](/tag/البيانات) القليلة: ركزوا على أهداف ما قبل [التدريب](/tag/التدريب) ذات الهامش القوي عندما تكون [البيانات](/tag/البيانات) نادرة، واعتبروا استخدام [نماذج إعادة البناء](/tag/[نماذج](/tag/نماذج)-إعادة-البناء) عندما تكون [المصنفات](/tag/المصنفات) غير الخطية مناسبة ضمن [قيود](/tag/قيود) [مجموعة البيانات](/tag/مجموعة-[البيانات](/tag/البيانات)).
اختيار أهداف ما قبل التدريب: كيف يؤثر على جودة التصنيف في البيانات القليلة؟
يستعرض البحث تأثير أهداف ما قبل التدريب على جودة التصنيف في مجالات ذات بيانات قليلة، مثل تصنيف الأحجار الكريمة. توصل الفريق إلى توصيات عملية لتسهيل اختيار نماذج مسبقة التدريب في مثل هذه السيناريوهات.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...