أصبح تكوين متجهات المهام (Task Vector Composition) أحد الاتجاهات الواعدة في عالم الذكاء الاصطناعي، حيث يتيح تحرير النماذج المدربة مسبقاً عن طريق الإضافة (Addition) أو الإلغاء (Subtraction) للمهام. ويسمح التحسين الدقيق في الفضاء المماسي للنموذج المدرب مسبقاً (Linear Fine-Tuning) بإنتاج متجهات مهام تتمتع بالتفكيك الطبيعي والمقاومة للتداخل.

إلا أن النماذج الخيطية (Linearized Models) تواجه تحديات، فمع وجود قدرة تعبيرية محدودة أثناء التدريب وزيادة في التكلفة الحسابية أثناء الاستدلال، يصبح من الصعب تطبيقها بشكل عملي. في هذا البحث الجديد، نجد حلاً يملأ الفجوة بين التحسين الخطي (Linear Fine-Tuning) والنماذج غير الخطية التقليدية.

عبر فرض قيود في فضاء التنشيط (Activation Space) أثناء التدريب، يمكننا تطبيق خاصية الخطيّة فيما يتعلق باضطرابات الوزن (Weight Perturbations) المعرفة في فضاء المعاملات. بتحديد التمثيلات المخفية (Hidden Representations) من معلم خطي مموضع (Curvature-Regularized Linearized Teacher) إلى طالب غير خطي يتم تدريبه عبر التحسين التقليدي (Conventional Fine-Tuning)، نجد أن النموذج الناتج يرث خصائص أساسية للنماذج الخطية في أداء المهام الرياضية، مما يمكّن من تكوين فعال لمتجهات المهام ويحقق أداءً قوياً عبر مؤشرات الرؤية واللغة دون أي زيادة في التكاليف أثناء الاستدلال.

تعتبر هذه التطورات واعدة بشكل خاص لزيادة قدرة النماذج على التعلم وتحسين أدائها، مما يضع الأساس لابتكارات مستقبلية في الذكاء الاصطناعي. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.