تحدثت الأبحاث الأخيرة في مجال نماذج اللغات الضخمة (Large Language Models) عن كيفية تعزيز سلوكيات السلامة من خلال تحديد الخبراء المناسبين داخل نماذج Mixture-of-Experts (MoE). في تجربة جديدة، تم اختبار أسلوب جديد يسمى "حساسية تدرج البوابة" (router-gradient sensitivity) لتحديد الخبراء الذين يجب استثناؤهم دون الحاجة لإعادة تدريب النموذج.
يتبين أن طريقة تحديد الخبراء من خلال تدرج البوابة تقلل من حالات الرفض بشكل أكبر من الطرق التقليدية التي تعتمد على تردد التشغيل (activation frequency). في التجارب، تم تصنيف الخبراء بناءً على مدى تأثيرهم على البيانات، وتم قياس استجابة النموذج على بيانات ضارة وبنينة. النتائج أظهرت أن هذه الطريقة تفوقت على الطرق الأخرى في 24 من 25 حالة، مما يدل على كفاءة الطريقة الجديدة.
على سبيل المثال، في نموذج OLMoE، انخفضت حالات الرفض من 34 إلى 9 حالات من بين 100 طلب، مما يمثل انخفاضاً نسبته حوالي 73.53%. هذه النتائج تشير إلى إمكانية تحسين الالتزام بالسلامة في نماذج الذكاء الاصطناعي بشكل فعلي دون التأثير سلباً على جودة المخرجات.
بصفة عامة، تدعم هذه الدراسة فكرة اعتماد تدرج البوابة كنهج لتحسين أداء النماذج وزيادة أمانها في الاستخدامات المختلفة. الآن، سيكون من المثير للاهتمام معرفة كيف ستؤثر هذه النتائج في تطوير التطبيقات المستقبلية للذكاء الاصطناعي.
ما رأيكم في هذه التطورات الجديدة في مجال السلامة بالذكاء الاصطناعي؟ شاركونا في التعليقات!
تحديد الخبراء الحساسين للسلامة: كيف يعزز نموذج Mixture-of-Experts تحسينات الجيل!
تتحدث الدراسات الجديدة عن تأثير تحديد الخبراء المناسبين في نماذج Mixture-of-Experts (MoE) على سلوكيات السلامة. من خلال استخدام حساسية تدرج البوابة، يمكن تقليل حالات الرفض بشكل كبير دون الحاجة لإعادة تدريب النموذج.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←# نموذج Mixture-of-Experts# حساسية تدرج البوابة# سلامة الذكاء الاصطناعي# نموذج OLMoE# تقنيات الذكاء الاصطناعي
جاري تحميل التفاعلات...
