في عالم الذكاء الاصطناعي، حيث تتزايد الحاجة إلى نماذج لغوية فعالة، ظهرت الحاجة إلى تحسين الأداء باستخدام أدوات جديدة مثل التخصيص الفعال للمعلمات (PEFT) والتكميم منخفض البت. وبالرغم من أن هذه التقنيات تُستخدم عادةً على نماذج ذات مئات المليارات من المعلمات، إلا أن دراسة جديدة تعيد طرح السؤال: كيف يمكن تحسين نموذج يحتوي على 60 مليون معلمة بدون فقدان دقة الأداء؟

تعتمد الدراسة التي أُجريت على نموذج T5-small، واستخدمت واجهة بيانية نصية إلى SQL وهي WikiSQL كمعيار تجريبي. حيث تم التركيز على ثلاث مجالات رئيسية لتحسين الأداء وهي: مرتبة LoRA (LoRA rank) وعدد وحدات التكيف (adapted modules) والدقة العددية.

أظهرت النتائج أن استخدام LoRA مع مرتبة 16 يُمكّن النموذج من تحقيق دقة قريبة من التخصيص الكامل، حيث تصل نسبة تطابق النتائج إلى 59.6% مقارنةً بـ71.2% لتخصيص النموذج بالكامل، مع استخدام أقل من 1% من المعلمات وتوفير 31% من الذاكرة القصوى على وحدة المعالجة الرسومية (GPU). كما أكد الباحثون أن استخدام مرتبة أكبر من 16 لم يُظهر أي زيادة ملموسة في الدقة.

بالإضافة إلى ذلك، أظهرت التجارب مع تقنية QLoRA وعمليات التكميم بنمط INT8 وNF4 نتائج مشرقة، حيث استطاع النموذج تحقيق دقة تصل إلى 53.2% مع انخفاض كبير في تكلفة الذاكرة، مما يقدم حلاً جذابًا للنشر في البيئات ذات الموارد المحدودة.

مع إطلاق جميع الأكواد والإعدادات والسجلات، أصبح بالإمكان إعادة إنتاج التجارب على نطاق واسع. تُعد هذه الدراسة خطوة مهمة إلى الأمام في فهم التوازن بين الدقة واستخدام الموارد في نماذج الذكاء الاصطناعي.