في عصر النماذج اللغوية الكبيرة (Large Language Models) الذي يزداد انتشارًا، يواجه الباحثون تحديات كبيرة في كيفية نشر هذه النماذج في التطبيقات التي تتطلب سرعة استجابة عالية وتكاليف منخفضة. في دراسة حديثة نُشرت على موقع arXiv، تم الكشف عن مجموعة من القوانين التجريبية الخاصة بتحسين نماذج اللغات الضخمة، حيث تم التأكيد على كيفية ضغط الأداء المعرفي الخاص بمجالات معينة.

تتناول الدراسة تأثير حجم البيانات ونسبة الضغط وصيغة الإشراف، حيث تتوقع نتائج الجودة تحت ضغط البيانات. من خلال استخدام التمويل الكمي كمجال دراسة، تم تقديم مقارنة بين تقنيات استخراج المعرفة المختلفة وكيفية تأثيرها على النتائج. أحد المفاتيح الرئيسية في هذه الدراسة هو صيغة الإشراف، حيث تم تقديم نظام إشرافي مبتكر يساعد في تحسين الأداء، حتى عندما يتعرض النموذج لعمليات ضغط.

تؤكد النتائج أن جودة المهام الخاصة تتدهور بشكل متوقع مع ضغط النموذج، بينما تنهار المعايير المعرفية العامة قبل الوصول إلى ذات النقطة. كما تم الإعلان عن مجموعة بيانات جديدة تُدعى FinHeadlineMix التي تقدم إطار عمل يساعد في اتخاذ قرارات الضغط في التطبيقات الخاصة. يفتح هذا البحث آفاقاً جديدة لتطوير نماذج فعالة وقابلة للاستخدام في مجالات متعددة، مما يسهم في تعزيز الأداء وتقليل التكاليف بشكل كبير.