في خطوة ثورية لتعزيز القدرات اللغوية، تم الإعلان عن نموذج أركيوس (Arkios)، الذي يعد واحدًا من أبرز النماذج اللغوية الثنائية بين الإنجليزية والنيو بالي. يتميز النموذج بقدرته على معالجة 1.04 مليار معلمة، وقد تم تدريبه من الصفر على 150 مليار توكن من النصوص الثنائية. يستخدم أركيوس هيكل تدريب خاص قائم على C وCUDA، بالإضافة إلى محول خاص باكتشاف الرموز (tokenizer) معتمد على كتابة الديفاناجاري.
على الرغم من استخدامه عددًا أقل من توكنات التدريب مقارنة بنماذج مفتوحة أخرى مثل Pythia-1.4B وTinyLlama-1.1B، فقد أظهر أركيوس أداءً مذهلاً، متفوقًا على هذه النماذج في اختبارات ARC-Easy وARC-Challenge. يُعزى ذلك إلى توافق بيانات التدريب الخاصة بالنموذج مع صياغة الأسئلة العلمية للمدارس.
تُظهر النتائج أن النموذج، بالرغم من استحقاقه للفرص العشوائية في فهم القراءة بالنيبالية في صيغة الاختيار المتعددة، يمتلك قدرات حقيقية في قراءة وفهم النصوص. فبينما جاءت درجات كل من اللغتين عند مستوى الفرص العشوائية في نفس الصيغة، فإن التقييم المباشر للنصوص كشف عن تفوق حقيقي في الفهم.
تجدر الإشارة إلى أن أركيوس يطلق كلاً من أوزان النموذج الأساسي ونموذج التعليم تحت إشراف خاص، مما يجعله من بين الخيارات المثيرة للاهتمام للمطورين والباحثين في مجال الذكاء الاصطناعي. أما شيفرة التدريب وبيانات التدريب الأولي فلا تزال غير متاحة للجمهور، مما يجعل الإبداع في هذا النموذج شيئًا فريدًا ويثير الفضول لمعرفة المزيد.
أركيوس: نموذج لغوي ثنائي اللغة بين الإنجليزية والنيو بالي يتفوق على المنافسين!
تقدم أركيوس، بنموذجها الثنائي اللغة من 1.04 مليار معلمة، أداءً متميزًا في التقييمات رغم قلة بيانات التدريب. تعرفوا على أسرار هذا الابتكار التقني المثير.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
