في السنوات الأخيرة، شهدنا استحسانًا كبيرًا لنماذج اللغة الكبيرة (LLMs)، especialmente مع الأداء المتميز لـ ChatGPT الذي تجاوز الحدود التقليدية للتواصل بين عدة لغات ومهام. لكن تبقى إحدى التحديات الكبرى هي تقييد تكاليف التدريب التي تؤدي إلى تركيز الأبحاث على لغة واحدة رئيسية فقط.
بينما يبحث الكثيرون عن حلول سريعة لتحسين قدرة النماذج على التعامل مع لغات جديدة دون التأثير سلبًا على مهاراتها الأصلية، جاءت الدراسة الجديدة لتطرح حلاً مبتكرًا. في هذا العمل، تم تسليط الضوء على تعزيز القدرة الرياضية باللغة الصينية على نموذج Llama-2-13B، الذي أظهر ضعفًا في هذا المجال.
قدمت الدراسة نهجًا يحمل اسم Mathematical Chain of Thought (Olapa-MCoT) والذي يعتمد في جوهره على تقنية جديدة تدعى Similarity RRHF (SimRRHF)، حيث تضيف هذه التقنية قيوداً على اتجاه تحسين النموذج من خلال إدخال خسارة مشابهة تعتمد على RRHF.
أيضًا تم تصميم طريقة جديدة تسمى Incorrect Data Relearning (IDRL) التي تعزز قدرة النموذج على تعلم المعرفة الصعبة. أظهرت التجارب نتائج مثيرة للإعجاب، حيث وصل معدل الدقة في التفكير الرياضي باللغة الصينية إلى 50%، أي بارتفاع قدره 36% مقارنة بالنموذج السابق Llama-2-13B-chat. تجدر الإشارة أيضًا إلى أن دقة التفكير باللغة الإنجليزية قد شهدت زيادة تقارب 4%.
الأهم من ذلك، هو أن هذه الطريقة يمكن تطبيقها على أي لغة ضمن نماذج اللغة الكبيرة، مما يمهد الطريق لتحسينها في مجالات متعددة في المستقبل. هل أنتم مستعدون لاستكشاف كيف يمكن للذكاء الاصطناعي أن يغير الطريقة التي نتفاعل بها مع اللغات المختلفة؟
تعزيز قدرة التفكير الرياضي باللغة الصينية: إنجاز ثوري في نماذج اللغة الكبيرة!
تمكن الباحثون من تحسين القدرة الرياضية لنماذج اللغة الكبيرة (LLMs) باللغة الصينية بشكل ملحوظ باستخدام نهج مبتكر يسمى Olapa-MCoT. النتائج تظهر قفزة كبيرة في الدقة، مما يفتح آفاق جديدة لتعلم اللغات الأقل انتشارًا.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
