في تطور جديد من عالم الذكاء الاصطناعي، تم الكشف عن دراسة مبتكرة تحت عنوان "نيناكساندر"، وهي تعبر عن مجموعة من نماذج اللغة المكونة من خلال ربط طبقات النماذج اللغوية المجمدة من عائلات معمارية مختلفة باستخدام محول latent adapter مدرب مسبقًا. تشكل هذه الدراسة نقطة تحول في كيفية إعادة استخدام النماذج اللغوية بشكل أكثر فعالية.

تعمل النماذج المكونة من نيناكساندر عبر تشغيل الطبقات الأولى من نموذج واحد، ثم تحويل التمثيل الوسيط الناتج باستخدام المحول، ليتم تشغيل الطبقات المتبقية من النموذج الآخر. مما يجعل من الممكن إنشاء نماذج مكونة متعددة عن طريق ربط الطبقات بشكل مختلف دون الحاجة إلى إعادة تدريب.

استخدمت هذه الدراسة نماذج RWKV-4-Raven-7B ونموذج Tulu-Pythia-6.9b، حيث اختبرت إمكانية إعادة دمج النماذج المجمدة من عائلات مختلفة بعد التدريب. النتائج كانت مثيرة، حيث تمكنت النماذج المكونة من معالجة أسئلة متعددة الخيارات، وتم إنتاج نصوص ذات تركيب نحوي جيد.

التركيبة التي جمعت بين أول خمس طبقات من Pythia مع الطبقات الـ 27 المتبقية من RWKV أدت إلى تقليل ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) بنسبة 84.4%، مع دقة لم تختلف بشكل ملحوظ عن نموذج RWKV بمفرده. ومع ذلك، تقدم النماذج المكونة دقة في أسئلة متعددة الخيارات لم تصل إلى مستوى نموذج Pythia الأصلي، كما أن الأداء في نمذجة اللغة انخفض بشكل حاد على البيانات من WikiText.

تظهر هذه النتائج الفوائد المحتملة والتحديات المستمرة في دمج نماذج اللغة، حيث لم تتضح تمامًا المساحة الدلالية المشتركة بين النماذج.