في أحدث الدراسات التي تبرز التقدم المذهل في عالم الذكاء الاصطناعي، تم اكتشاف قدرة مذهلة للنماذج اللغوية (Language Models) على نقل قدراتها عبر نصوص غير متعلقة بالمهام. عادةً ما يتم تحسين هذه النماذج باستخدام بيانات مخصصة، لكن هذه الدراسة تفتح لنا آفاقًا جديدة.
ركز الباحثون على مفهوم التعلم السابح (Subliminal Learning) وأظهروا أن المعلومات حول تحديثات النماذج يمكن أن تنتقل حتى من خلال توليدات غير ذات صلة.
هذه الأبحاث قدمت تقنية جديدة تُعرف باسم "التقطير النشط بدون مهام" (Active Taskless Distillation - ATD)، التي تحقق النقل عن طريق استخدام كلمة واحدة فقط من المعلم لكل طلب. هذه التقنية تركز على ظلال التصرفات الناتجة عن التدريب، حيث يتم اختيار الطلبات التي يكون فيها الأصل المشترك بين المعلم والطالب غير مكترث بشدة بين كلمتين عاديتين.
في التجربة البرمجية الرئيسية باستخدام نموذج Qwen2.5-1.5B، أظهرت النتائج تحسناً بنسبة 5.34 نقطة في تقييمات HumanEval+ مقارنةً بمجموعة التحكم المتطابقة. النتائج لم تتوقف عند هذا الحد، بل أظهرت انتقال المعرفة العلمية، والتفكير المنطقي، والفهم القرائي عبر أجيال مختلفة من النماذج وأحجامها.
تظهر التحليلات الوظيفية أن القدرات المكتسبة قابلة للتجميع، وأن قوتها تتبع قوة تحديث المعلم. هذه الاكتشافات تعد بمثابة بادرة مثيرة ومهمة في فهم كيفية تحسين قدرات النماذج اللغوية وتحسين أدائها في المهام المختلفة.
هل يمكن للنماذج اللغوية نقل قدراتها عبر نصوص غير ذات صلة؟ اكتشافات جديدة تدهش عالم الذكاء الاصطناعي!
دراسة جديدة تكشف عن إمكانية نقل النماذج اللغوية لقدراتها باستخدام نصوص غير ذات صلة، مما يفتح آفاقاً جديدة لفهم التعلم الآلي. تعرف على كيفية تحقق ذلك من خلال أسلوب Active Taskless Distillation (ATD).
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←# نماذج لغوية# Active Taskless Distillation# الذكاء الاصطناعي# التعلم السابح# تحسين الأداء# نقل القدرات# علوم الحاسوب
جاري تحميل التفاعلات...
