في عصر التعلم الذاتي المتقدم، شهدنا تطورات ملحوظة في نماذج الذكاء الاصطناعي، إلا أن الأنظمة المدمجة (Microcontroller Units - MCUs) ذات 500,000 معلمة أو أقل لم تشهد بعد هذا التطور. ولكن فريق من الباحثين استخلصوا حلاً مبتكرًا يحمل اسم TinySSL، والذي يعتمد على التعلم الذاتي المقطر

TinySSL يهدف إلى تجاوز ثلاثة تحديات رئيسية تواجه الأنظمة المدمجة: هيمنة رأس الإسقاط (projection head dominance)، عنق الزجاجة في التمثيل (representation bottleneck)، وحساسية التعديل (augmentation sensitivity). وذلك من خلال تقديم نهج تعلمي مبتكر يحمل اسم "تعلم ذاتي مقطر واعي للطاقة" (Capacity-Aware Distilled Self-Supervised Learning - CA-DSSL). هذا النهج يُعتمد على مشرف ثابت لنموذج DINO ViT-S/16، دلالة على تفوق هذا النموذج في استغلال الميزات.

من خلال استخدام نموذج MobileNetV2-0.35 مع 396,000 معلمة وتم تدريبه على بيانات CIFAR-100، استطاع CA-DSSL تعزيز دقة الاستدعاء خطي (linear-probe accuracy) إلى 62.7%، متجاوزًا الحل التقليدي SimCLR-Tiny بـ 18 نقطة مئوية! كما حقق CA-DSSL نتائج مماثلة لـ SEED مع تقليل في عدد المعلمات المستخدمة.

وعندما يتعلق الأمر بكفاءة النموذج، فإن الهيكل العام يشغل 378 كيلوبايت فقط (INT8) بدون أية عقوبات خلال الاستدلال. إضافة إلى ذلك، تُظهر تجارب أولية على بيانات ImageNet-100 أن CA-DSSL يشكل ميزة خاصة في البيئات ذات البيانات المحدودة، مما يفتح الباب لفرص مستقبلية في تطوير نماذج أكبر.

هل أنت مهتم بمعرفة كيف يؤثر هذا التطور على عالم الأنظمة المدمجة؟ شاركنا برأيك في التعليقات!