في عصر الذكاء الاصطناعي، يسعى العديد من الباحثين إلى تحسين الأداء النموذجي لنماذج اللغات الضخمة (Large Language Models) باستخدام موارد محدودة. وفي هذا السياق، تم تسليط الضوء على أداة جديدة لتخصيص نموذج لغوي مؤلف من 7 مليار معلمة، وهو نموذج 'Mistral-7B-Instruct-v0.3'.
**وصفة عملية لتحسين النموذج**
العقبة الرئيسة التي تواجه الكثير من المستخدمين هي حدود الوقت والموارد المتاحة على وحدات معالجة الرسوميات المجانية مثل 'Kaggle' و 'Colab'. وقد تم تقديم وصفة عملية تشمل تخصيص النموذج عبر ثلاثة فصول (epochs) باستخدام طريقة 'QLoRA' مع الاستفادة من وحدتي 16 جيجابايت GPU (Tesla P100 وT4). إذا كانت النقطة الأساسية تكمن في الاحتفاظ فقط بمهايئ 'LoRA' الصغير المكون من 41.9 مليون معلمة.
**تحذيرات حول جودة البيانات**
لكن ما هو مثير للقلق حقًا هو التقييم الموضوعي الذي أجري لاحقًا. رغم أن النموذج المخصص أظهر تحسنًا في التشابه مع مجموعة البيانات التدريبية الاصطناعية، إلا أنه أظهر انخفاضًا في جودة النصائح المقدمة. في مقارنة محايدة، فضل نظام تصنيف نماذج اللغة الأساسي (الذي لم يتم تخصيصه) على 46% من الطلبات مقارنة بـ 18% للنموذج المخصص. كما وجد تدقيق دقيق للأخطاء أن النموذج المخصص ارتكب أربعة أخطاء مؤكدة في مواضيع حساسة تتعلق بالسياسة، في حين لم يظهر النموذج الأساسي أي أخطاء.
**دروس مُتعلمة**
بالتالي، يعود السبب في هذه الأخطاء إلى عملية البيانات الاصطناعية وليس أسلوب نقل المهايئات. ولضمان الشفافية، تم توفير مجموعة البيانات والمهايئات والدفاتر الخاصة بتشغيل عبر وحدات معالجة الرسوميات ليتمكن الآخرون من إعادة إنتاج النتائج على GPU واحدة بسعة 16 جيجابايت.
هذا الإنجاز يعكس الإمكانيات الكبيرة لنماذج اللغة، لكننا نحتاج إلى الحذر بشأن موثوقية البيانات التي نستخدمها في تدريبها.
ما رأيكم في هذا التطور الجديد؟ هل تعتبرون أن البيانات الاصطناعية موثوقة في سياق الذكاء الاصطناعي؟ شاركونا في التعليقات.
تطوير نموذج لغوي بـ 7 مليار معلمة: وصفة مبتكرة لتحسين الأداء على وحدات معالجة الرسومات المجانية
في مسعى لتحسين أداء نموذج لغوي متقدم، تم تطوير طريقة فعالة لتخصيص النموذج باستخدام موارد محدودة. لكن التحذيرات تأتي من تقييم موثوقية البيانات الاصطناعية المستخدمة في التدريب.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
