تجاوز الحدود: تحسين تصنيف نماذج اللغة الصغيرة في المهام المتعددة الاختيارات!

في زمن تسارع فيه التطورات التكنولوجية، ظهرت نماذج اللغة الصغيرة (Tiny Language Models - TLMs) كأحد الإنجازات البارزة. هذه النماذج، التي تضم أقل من 3 مليارات معلمة، أثبتت قدرتها الفائقة على تنفيذ المهام المعقدة على الأجهزة الاستهلاكية الشائعة. في دراسة حديثة، تم التركيز على كيفية تكييف هذه النماذج لأداء المهام المتعددة الاختيارات بشكل موثوق.

تناولت الدراسة ثلاثة أنماط لتحسين التصنيف المعتمد على LoRA (Low-Rank Adaptation): توليد التسمية، البيانات الذهبية فقط، ورأس التصنيف التمييزي. تم هذا في سياق موحد عبر عدة نماذج Qwen3 (من 0.6B إلى 8B) وخمسة مقاييس: HellaSwag، WinoGrande، PIQA، SciQ وARC-C.

أظهرت النتائج أن تحسين رأس التصنيف يتفوق بشكل موثوق على توليد التسمية، حيث حقق زيادة تتراوح بين 2-3% عند مقاييس 0.6B و1.7B. إضافةً إلى ذلك، فإن نماذج TLMs المحسّنة بطريقة التصنيف التمييزي تُظهر أداءً ينافس النماذج الضخمة مثل GPT-3 (175B)، PaLM (540B) وGPT-4.

ما يُرسخ هذا الإنجاز هو أن الأداء المُبلغ عنه لنماذج Qwen3-0.6B وQwen3-1.7B هو الأداء الأفضل عبر المقاييس المذكورة، مما يدل على قدرة هذه النماذج الصغيرة على المنافسة في ساحة النماذج الضخمة. إن استخدام تكنولوجيا مثل TLMs يفتح آفاقاً جديدة في عالم الذكاء الاصطناعي، مما يجعلها أكثر قابلية للاستخدام من قبل المطورين والباحثين على حد سواء.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.