في عالم الذكاء الاصطناعي، تُعد [نماذج [اللغة](/tag/اللغة) الكبيرة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)-الكبيرة) (Large Language [Models](/tag/models)) من أكبر الانجازات التقنية، ولكن ماذا يحدث عندما نقوم بإزالة بعض الطبقات منها؟ عملية إزالة الطبقات (Layer [Pruning](/tag/pruning)) تؤدي إلى [القضاء](/tag/القضاء) على كتل كاملة من [المحولات](/tag/المحولات) ([Transformers](/tag/transformers))، مما قد يسبب تدهورًا كبيرًا في [أداء النموذج](/tag/[أداء](/tag/أداء)-النموذج) نتيجة لعدم [توافق](/tag/توافق) الحالة المخفية (Hidden State) التي تتلقاها الطبقة التالية مع التوزيع الذي تم تدريبه عليه.
هنا تظهر أهمية [الابتكار](/tag/الابتكار) الجديد الذي أطلق عليه اسم "Ghosted Layers"، والذي يمثل وحدة استعادة خالية من [التدريب](/tag/التدريب) تهدف إلى معالجة هذه المشكلة. تقوم الطريقة بتطبيق حل يؤدي إلى [تحقيق](/tag/تحقيق) [توافق](/tag/توافق) في المحاذاة (Activation Alignment) عن طريق حل معضلة الحفاظ على فعالية النموذج.
تعتمد هذه [التقنية](/tag/التقنية) على اشتقاق مشغل خطي مثالي من مجموعة صغيرة من [بيانات](/tag/بيانات) المعايرة، مما يسمح بإعادة [بناء](/tag/بناء) الوزن الفعلي الذي أدخله حذف الطبقات. تشكل هذه الحلول المثلى نقطة انطلاق غير مقيدة لهذا الهدف، في حين تقتصر الطرق التقليدية على [حلول](/tag/حلول) مقيدة ضمن نطاقات مشغلات محدودة.
أظهرت [التجارب](/tag/التجارب) التي أُجريت على عدة [نماذج](/tag/نماذج) كبيرة وقنيات مختلفة لعملية الحذف أن هذه الطريقة تضم [تحسينات](/tag/تحسينات) كبيرة في [الدقة](/tag/الدقة) والفهم الكلي للنموذج، في الوقت الذي تحافظ فيه على [الكفاءة](/tag/الكفاءة) الناتجة عن حذف الطبقات.
هذا الاكتشاف يعد نقطة [تحول](/tag/تحول) في كيفية معالجة مشكلات المساحة المعقدة في [نماذج](/tag/نماذج) الذكاء الاصطناعي، ويعزز من قدرتنا على [تحسين](/tag/تحسين) [كفاءة](/tag/كفاءة) هذه [النماذج](/tag/النماذج) بشكل ملحوظ.
استعادة كفاءة نماذج اللغة التالفة: الطبقات الشبحية وحل مشاكل المحاذاة
اكتشف كيف يمكن لتقنية الطبقات الشبحية (Ghosted Layers) أن تعيد كفاءة نماذج اللغة الكبيرة (LLMs) بعد قيامك بإزالة بعض الطبقات. هذه الطريقة الجديدة تفوق الأساليب التقليدية وتضمن الأداء العالي.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
