في عالم الذكاء الاصطناعي الذي يتسارع فيه التقدم، تثبت تقنيات استخراج المعرفة (Knowledge Distillation) أنها قوة دافعة لنقل المعرفة من نماذج اللغة الكبيرة إلى نماذج أصغر وأكثر كفاءة. ومع ذلك، كانت هناك تحديات كبيرة تتعلق بتوزيع البيانات بين مراحل التدريب والاستدلال، مما أدى إلى عدم استقرار في التدريب.

للتغلب على هذه القيود، تم تقديم تقنية Veto، حيث تعمل هذه التقنية على إعادة صياغة الهدف بطريقة مبتكرة، من خلال بناء جسر هندسي في فضاء التقديرات. على عكس الأساليب السابقة التي كانت تعتمد على خلط نماذج البيانات، تقوم Veto بإنشاء توزيع أهداف وسيط يعزز التوافق بين المعلم والطالب.

تتميز تقنية Veto عن غيرها بأنها تقدم معلمة قابلة للتعديل تُعرف باسم beta، والتي تعمل كفاصل تكيفي من أجل تقليل تأثير الانحدارات الضارة على الرموز التي تحمل ثقة منخفضة، في حين توازن أيضًا بين الأداء المدفوع بالمكافآت وتنوع المخرجات.

تشير نتائج التجارب الشاملة في مجموعة متنوعة من مهام الاستدلال والتوليد إلى أن Veto تتفوق باستمرار على تقنيات التعليم الموجه التقليدية ومعايير السياسات الحالية. هل سيكون هذا التحسين هو الخطوة الكبيرة التالية في تطوير نماذج الذكاء الاصطناعي؟

ما رأيكم في هذه الإبداعات؟ شاركونا بالأفكار والتعليقات!