في عالم الذكاء الاصطناعي، تظل عملية ضغط نماذج الرؤية واللغة (Vision-Language Models) ضرورية لتحقيق الأداء الفعال على الأجهزة المحمولة، خاصة في السياقات السريرية. ومع ذلك، فإن تقنيات تقطير المعرفة (Knowledge Distillation) تواجه تحديات كبيرة عندما يتسع الفارق في القدرات بين المعلم والطالب ليصل إلى عشرة أضعاف أو أكثر. في هذا السياق، تظهر تقنية جديدة تدعى DARK: Diagonal-Anchored Repulsive Knowledge Distillation، التي توضح كيف يمكن إعادة تصور عملية التعلم بين النماذج بطريقة مبتكرة.

تقنية DARK تعتمد على مفهوم فريد، حيث تقسم خسارة التقطير إلى جزئين: مصطلح قطري (Diagonal Term) يركز على أزواج الصور والنص المتطابقة، ومصطلح غير قطري (Off-Diagonal Term) الذي يتناول الشبهات غير المستهدفة. هذه الاستراتيجية تضمن الحفاظ على تنسيق الأزواج المتطابقة طوال فترة التدريب، مما يُساعد الطالب على الابتعاد عن التشابهات غير المستهدفة التي قد تشتت تركيزه.

لتطبيق هذه التقنية، تم تقطير نموذج FetalCLIP، الذي يحتوي على 427 مليون معلمة، إلى نموذج MobileFetalCLIP، الذي يضم 75 مليون معلمة فقط، مع محرك بصري أصغر بنسبة 26 مرة، ويعمل بسرعة 1.6 مللي ثانية على جهاز آيفون 16 برو. النتائج كانت مذهلة، حيث أثبت الطالب أنه يحقق أو يتجاوز أداء المعلم في ثلاثة اختبارات بدون تدريب مسبق، بما في ذلك دقة القياسات الحيوية (88.6% مقابل 83.5%) ودقة التصنيف الفرعي للدماغ (0.784 مقابل 0.702).

تحليل الهندسة المكانية والنتائج يؤكد أن تقنية DARK تؤدي إلى هيكل متميز للتباين، حيث يحتفظ الطالب بثقة المعلم في كل صورة بينما يتجنب الالتباس بين الفئات. هذا يشير إلى أن التحكم في عملية الطرد يمكن أن يكون أكثر كفاءة من تقنيات التقليد في ظل ضغط البيانات الشديد.

ما رأيكم في هذه التقنية الثورية؟ هل تعتقدون أن الابتعاد عن التقليد سيمنحنا نماذج أكثر فعالية في المستقبل؟ شاركونا برأيك في التعليقات!