في عصر [تطور](/tag/تطور) الذكاء الاصطناعي، أصبحت [تقنيات](/tag/تقنيات) [تكييف](/tag/تكييف) [نماذج [اللغات](/tag/اللغات) الكبيرة](/tag/[نماذج](/tag/نماذج)-[اللغات](/tag/اللغات)-الكبيرة) ([LLMs](/tag/llms)) أساسية لتحقيق [أداء](/tag/أداء) متفوق في مهام متعددة مثل [تنفيذ](/tag/تنفيذ) التعليمات، ومحاذاة التفضيلات، وأسلوب [التفكير المنطقي](/tag/[التفكير](/tag/التفكير)-المنطقي) المتعدد الخطوات. ولتحقيق هذا، طُورت [أساليب جديدة](/tag/[أساليب](/tag/أساليب)-جديدة) للتكيف بعد التدريب، منها [التعلم المعزز](/tag/[التعلم](/tag/التعلم)-المعزز) بالمكافآت القابلة للتحقق ([RLVR](/tag/rlvr)) الذي أثبت فعاليته في [تحسين](/tag/تحسين) قدرات [التفكير](/tag/التفكير).
ومع ذلك، يواجه [التدريب](/tag/التدريب) الكامل (FFT) مع [RLVR](/tag/rlvr) [تحديات](/tag/تحديات) في استهلاك [الذاكرة](/tag/الذاكرة) والتكاليف العالية. لذلك، ظهرت طرق التكييف المعتمد على المعلمات الفعالة ([PEFT](/tag/peft)) مثل [التكيف المنخفض الرتبة](/tag/[التكيف](/tag/التكيف)-المنخفض-الرتبة) ([LoRA](/tag/lora))، التي تسهم في تقليل التكاليف ولكن ما تزال تعاني من فجوة [أداء](/tag/أداء) ملحوظة مقارنة بالتدريب الكامل.
لذلك، تم تقديم [هايبرد-لوارا](/tag/هايبرد-لوارا) كمجموعة [هجين](/tag/هجين) فعالة لتكييف ما بعد التدريب، حيث يتم تطبيق [التدريب](/tag/التدريب) الكامل بشكل انتقائي على مجموعة صغيرة من الوحدات ذات الحساسية للتكيف المنخفض الرتبة، بينما يتم تعديل بقية المكونات باستخدام [LoRA](/tag/lora).
يمثل [هايبرد-لوارا](/tag/هايبرد-لوارا) تقدمًا كبيرًا من خلال إدخال [معيار جديد](/tag/معيار-[جديد](/tag/جديد)) يقوم بتصنيف الوحدات المرشحة وفقًا لحساسيتها لتكيف الرتبة المنخفضة ضمن [ميزانية](/tag/ميزانية) محددة من المعلمات.
تظهر [التجارب](/tag/التجارب) أن [هايبرد-لوارا](/tag/هايبرد-لوارا) يحقق أداءً قريبًا من [التدريب](/tag/التدريب) الكامل حتى مع [تخصيص](/tag/تخصيص) 10% فقط من [ميزانية](/tag/ميزانية) الوحدات لتدريب كامل، مما يجعله يتفوق باستمرار على أربعة [أساليب](/tag/أساليب) رائدة في التكييف المعتمد على المعلمات، حيث سجل [تحسينات](/tag/تحسينات) تصل إلى 5.65% ومتوسط 4.36% مقارنة بأفضل الأساليب التقليدية.
هايبرد-لوارا: الجمع بين التدريب الكامل والتكيف المنخفض الرتبة لتحسين الذكاء الاصطناعي
تقدم تقنية هايبرد-لوارا حلاً مبتكرًا لتكييف نماذج اللغات الكبيرة (LLMs) مع مهام معقدة بدون الحاجة إلى موارد ضخمة، مما يعزز من قدرات التفكير المنطقي. هذا الابتكار يتجاوز الفجوة الكبيرة في الأداء بين أساليب التدريب التقليدية والتكيف المنخفض الرتبة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
