تستمر الأبحاث في تقدم الذكاء الاصطناعي (AI) في الكشف عن تقنيات جديدة لتحسين أداء نماذج التعلم العميق. واليوم، نقدم لكم JACTUS (تكييف وضغط مشترك مع اتحاد مهمات الفضاء)؛ الابتكار الجديد الذي يعد بتغيير قواعد اللعبة.

لقد أصبح تكييف النماذج الكبيرة مسبقة التدريب مع المهام المتنوعة ممارسة شائعة، إلا أن الاستراتيجيات السائدة تعتمد عادةً على الضغط البارامتراتي الفعال (PEFT) وضغط الرتبة المنخفضة بشكل تسلسلي. هذا النهج المنفصل، الذي يبدأ بالضغط ومن ثم التكيف، قد يؤدي إلى سوء توافق بين الفضاء المضغوط والأهداف النهائية، مما يضيع الهيكل العام للبارامترات.

تقدم JACTUS حلاً موحدًا يجمع بين الضغط والتكيف في إطار واحد. عبر مجموعة صغيرة من البيانات الضبط، يقوم JACTUS بتقدير تباينات المدخلات وانحدارات ما قبل التفعيل، ثم يشكل اتحاداً عمودياً لها مع الفضاء الوزني المدرب مسبقًا، ويقوم بإجراء تقريب منخفض الرتبة داخل هذا الاتحاد. هذا يضمن توافقًا أفضل بين الفضاء المضغوط والأهداف النهائية.

لقد أثبتت الدراسات أن JACTUS تعزز الأداء بشكل كبير، حيث حققت دقة متوسطة قدرها 89.2% على نموذج ViT-Base عبر ثمانية مجموعات بيانات مع الاحتفاظ بـ 80% من البارامترات، متجاوزة المعايير التقليدية للضغط الفعال. وفي مجال اللغة، حققت JACTUS دقة 80.9% على نموذج Llama2-7B المتعلق بأسئلة الفهم العام.

في القريب العاجل، سنقوم بإصدار الشيفرة الخاصة بـ JACTUS، مما يتيح للباحثين والمطورين الاستفادة من هذا الابتكار الرائد. هل أنتم مستعدون للتعرف على إمكانيات JACTUS الفائقة؟