في عالم الذكاء الاصطناعي، يعد التدريب الخاضع للإشراف (Supervised Fine-Tuning) من الأساليب الأساسية لتحسين أداء النماذج. وعادةً ما يتمثل هدف هذا النوع من التدريب في زيادة احتمالية كل رمز في مسار معين مُقدم للنموذج. ولكن، ماذا لو كان هذا الرمز غير فريد أو مشوش؟ وهل من الممكن أن يكون التركيز الصارم على هدف واحد غير مثالي؟
تقدم الدراسة الجديدة مفهومًا مبتكرًا يعيد تصور التدريب الخاضع للإشراف كتصميم لتوزيع الأهداف (Target Distribution Design). بدلاً من التركيز على هدف الخسارة فقط، فإن هذه الدراسة تستعرض الهدف على مستوى الرموز الذي يؤدي إلى تطابق النموذج. يتم تقديم إطار عمل جديد يُدعى Q-target، والذي يُفكك إشراف التدريب إلى خيارين أساسيين: كيف يجب الاعتماد على الرمز المرصود بشدة، وكيفية تخصيص الكتلة الاحتمالية المتبقية بين البدائل.
هذا المنظور الجديد يُجمع العديد من تنوعات التدريب الخاضع للإشراف الموجودة كخيارات ضمني لتوزيع الهدف Q. ومع هذا الفهم الجديد، تم تقديم Target-SFT، وهي طريقة تبني الهدف التدريبي مباشرةً على أساس توزيع الهدف المرغوب.
تُظهر الدراسات التطبيقية لهذه الأساليب تحسينات ملحوظة في الأداء عبر عشرة إعدادات مختلفة من مجموعات البيانات والنماذج، مما يعكس فعالية هذا الأسلوب القائم على الأهداف.
بشكل عام، يفتح هذا المنظور أبواباً جديدة للبحث في تصميم مبادئ أكثر فعالية لتدريب النماذج، مما يتيح مجالاً أوسع لتطوير أهداف تدريبية متنوعة. فهل أنتم مستعدون لاستكشاف آفاق جديدة في عالم الذكاء الاصطناعي؟
إعادة تعريف التدريب الخاضع للإشراف: كيف يصنع تصميم توزيع الأهداف ثورة في الذكاء الاصطناعي؟
يكشف البحث الجديد عن كيفية تحسين نظام التدريب الخاضع للإشراف (Supervised Fine-Tuning) من خلال استراتيجيات مبتكرة في تصميم توزيع الأهداف. هذا النهج الجديد يفتح آفاقاً جديدة لكفاءة النماذج في معالجة البيانات المعقدة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
