أطلق باحثون مؤخرًا مشروع SciCodePile، والذي يُعتبر بمثابة ثورة في عالم البرمجة العلمية. تضم هذه القاعدة الضخمة بيانات تصل إلى 128 جيجابايت وتُحتوي على أكواد من 37,737 مستودعًا عامًا، مع تغطية لمجموعة واسعة من مجالات العلوم الحاسوبية.

ولقد جاءت هذه الخطوة في محاولة لمعالجة القيود الحالية التي تواجه نماذج اللغة الكبيرة (Large Language Models) في التعامل مع الأكواد العلمية. فبينما تتألق هذه النماذج في توليد الأكواد العامة، فإن قدرتها على إنتاج الأكواد العلمية تبقى سؤالًا محوريًا لم يتم حله بعد.

تتضمن القاعدة أيضًا معيارًا تنفيذيًا يتكون من 200 مهمة، كل منها مزود ببيئة تنفيذ معزولة واختبار تلقائي للتحقق من الوظائف. تم اختبار 15 نموذجًا من نماذج اللغة، بما في ذلك نماذج مفتوحة المصدر وأخرى مغلقة المصدر، عبر ثلاثة مهام: إكمال النص من البداية إلى النهاية، وملء الفراغات، وتوليد الأكواد التنفيذية.

تُظهر النتائج أن توليد الأكواد العلمية يمثل تحديًا كبيرًا؛ حيث بلغ أعلى معدل في مؤشر CodeBLEU فقط 38.13 و38.37 في مهمتين من مهام الإكمال، بينما حقق أقوى نموذج 12.30% Pass@1 في المعيار التنفيذي. وهذا يُبرز مدى بُعد النماذج الحالية عن تحقيق الاعتمادية في توليد الأكواد العلمية.

لإظهار أهمية قاعدة SciCodePile، تم التأكيد أيضًا على أن الاستمرار في التدريب على بيانات هذه القاعدة يُحسّن من أداء النماذج بشكل ملحوظ، حيث زادت نتائج CodeBLEU بواقع 2.84 مرة في إكمال الأكواد العلمية.

لمزيد من التفاصيل والوصول إلى الأكواد والبيانات، يمكنكم زيارة هنا. ما رأيكم في هذا التطور الجديد؟ شاركونا في التعليقات!