في عالم الذكاء الاصطناعي، تعتبر [تقنيات](/tag/تقنيات) [نماذج [اللغات](/tag/اللغات) الضخمة](/tag/[نماذج](/tag/نماذج)-[اللغات](/tag/اللغات)-الضخمة) ([LLMs](/tag/llms)) من أشهر [الأدوات](/tag/الأدوات) وأكثرها استخدامًا في [معالجة المعلومات](/tag/معالجة-[المعلومات](/tag/المعلومات)) والنصوص. ومع زيادة تعقيد هذه النماذج، أصبحت [تكاليف](/tag/تكاليف) [الاستنتاج](/tag/الاستنتاج) تشكل تحديًا رئيسيًا. لذا، تمثل [تقنيات التقليم](/tag/[تقنيات](/tag/تقنيات)-التقليم) ما بعد [التدريب](/tag/التدريب) (Post-training [Pruning](/tag/pruning)) حلاً محتملاً لتقليل هذه التكاليف.
ولكن السؤال الذي يطرح نفسه هو: هل يؤدي التقليم إلى تدهور الجودة؟ في [دراسة](/tag/دراسة) جديدة، تم تسليط الضوء على أهمية [التكيف](/tag/التكيف) المحلي بعد التقليم، حيث يتم [تعديل](/tag/تعديل) مجموعة مختارة من معلمات النموذج بشكل محلي لضمان الحفاظ على جودة [الأداء](/tag/الأداء).
[تتبع](/tag/تتبع) هذه [الدراسة](/tag/الدراسة) ثلاث نتائج رئيسية. الأول هو أن [التكيف](/tag/التكيف) المحلي يظهر كآلية فعالة لا تتطلب كميات ضخمة من [البيانات](/tag/البيانات) أو القدرة الحاسوبية، بل يمكن أن يحقق نتائج مشابهة لعمليات إعادة [التدريب](/tag/التدريب) الكاملة.
ثانيًا، تشير النتائج إلى وجود نظام "وجبة مجانية" في حقل النمذجة، حيث يمكن اختيار حجم نافذة المعالجة بناءً على [قيود](/tag/قيود) [الذاكرة](/tag/الذاكرة) دون التأثير الكبير على الجودة النهائية.
وأخيرًا، توضح [الأبحاث](/tag/الأبحاث) أن التقليم يقلل من أهمية [معايير التقييم](/tag/[معايير](/tag/معايير)-[التقييم](/tag/التقييم)) المعقدة، مما يجعل الطرق البسيطة أكثر تنافسية، خاصة مع زيادة حجم النموذج.
بشكل عام، تتحدى هذه النتائج [الرؤية](/tag/الرؤية) السائدة التي تعتبر [التكيف](/tag/التكيف) ما بعد التقليم غير عملي لنماذج [اللغات](/tag/اللغات) الضخمة. فهل سيحدث هذا التطور ثورة في كيفية تعامل [الشركات](/tag/الشركات) مع [تكاليف](/tag/تكاليف) [نماذج الذكاء الاصطناعي](/tag/[نماذج](/tag/نماذج)-الذكاء-الاصطناعي)؟ شاركونا آرائكم في [التعليقات](/tag/التعليقات)!
وجبة مجانية في ضغط نماذج اللغات الضخمة: إعادة النظر في إعادة التدريب بعد التقليم
تمكن التقليم ما بعد التدريب من تقليل تكاليف استنتاج نماذج اللغات الضخمة (LLMs) بشكل كبير، لكن غالبًا ما يؤثر سلبًا على الجودة. تكشف نتائج البحث الجديد عن آليات فعالة للتكيف المحلي بعد التقليم، مما يغير المفاهيم السائدة حول هذا الموضوع.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
