تعتبر تقنية التكيف منخفض الرتبة (LoRA) معيارًا معتمدًا لتحسين النماذج الضخمة المدربة مسبقًا بتكاليف حسابية منخفضة. ومع ذلك، كانت هناك قيود على تعبير هذه الطريقة بسبب تحديثاتها القابلة للتحديد والتي تترك فجوة مستمرة فيما يتعلق بدقة التعديل الكامل. لذا، تم تقديم BaLoRA، وهو امتداد بايزي للـ LoRA، المجهز بآلية جديدة لتهيئة معاملات المصفوفات الخاصة بـ LoRA بحيث تضيف معلمات جديدة بشكل ضئيل.
الغريب في الأمر أن هذا الامتداد البايزي لا يقدم فقط تقديرات غير مؤكدة متقنة، بل إن حقن الضجيج التكيفي الذي يعتمد عليه نهجنا يحسن دقة التنبؤ بشكل ملحوظ. فقد تم تقليص الفجوة مع التعديل الكامل في كل من مهام التفكير باللغة الطبيعية والرؤية. على سبيل المثال، عند تطبيق BaLoRA على التنبؤ بفجوة الطاقة في الهياكل العضوية المعدنية، أدى إلى إنتاج تقديرات غير مؤكدة في زمن الاختبار بدون أي تدريب قبلي، كما كانت مرتبطة بمتانة نموذج خطأ، مما أثبت فعاليته بالمقارنة مع مجموعة من نماذج LoRA المدربة.
كما أن أداء BaLoRA يتحسن باستمرار مع زيادة موارد الحوسبة دون التضحية بالدقة. إن هذا الابتكار يمثل خطوة كبيرة نحو جعل الذكاء الاصطناعي أكثر موثوقية وفعالية، خاصة في التطبيقات التي تتطلب مستويات عالية من الدقة والاعتمادية.
اكتشاف بايزي: ثورة الذكاء الاصطناعي مع BaLoRA لتحسين دقة النماذج الضخمة!
يقدم BaLoRA، وهو امتداد بايزي لتقنية التكيف منخفض الرتبة (LoRA)، تحسينات ملحوظة في دقة النموذج مع الحفاظ على حسابات منخفضة التكلفة. هذه التقنية الجديدة تحقق تقديرات غير مؤكدة دقيقة وتعزز أداء النماذج بشكل غير مسبوق.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
