تعتبر نماذج اللغات الضخمة (Large Language Models) من أحدث الابتكارات التكنولوجية التي غزت مجالات متعددة، إلا أن تقييم أدائها يعتمد بشكل كبير على المعايير القياسية المعيارية. هذه المعايير، رغم فائدتها في تقديم مقاييس مجمعة، قد تخفي بعض جوانب الضعف (model gaps) التي تعاني منها النماذج، وكذلك قد تبرز عدم التوازن في تغطيتها (benchmark gaps).

لتسليط الضوء على هاتين الفجوتين، قدم الباحثون منهجًا جديدًا بسيطًا يعتمد على تنشيط المفاهيم من خلال تلقين آلي نادر (sparse autoencoders). يتيح هذا المنهج الكشف عن الفجوات الدقيقة على مستوى كل مفهوم، ويعزز إمكانية المقارنة بين المعايير بشكل سهل وفعال.

شملت الدراسات تطبيق هذه الطريقة على خمسة نماذج مفتوحة المصدر وشتى المعايير المتاحة، حيث تمكن الباحثون من توثيق الفجوات التي تم التعرف عليها مسبقًا في الأدبيات العلمية، مثل حالات التملق (sycophancy)، بالإضافة إلى اكتشاف فجوات جديدة لم يتم توثيقها من قبل.

كما ساعدت هذه المنهجية في الكشف تلقائيًا عن فجوات المعايير، مسلطةً الضوء على المفاهيم الأساسية التي ينبغي أن تتواجد ضمن نطاق كل معيار. وذلك، يُظهر كيف يمكن لأسلوب "فجوات الكفاءة" أن يُكمل المعايير الحالية من خلال تقديم تحليل مفصل لسلوك النموذج، مما يساعد مصممي المعايير في تحسين تصاميمهم.

لمن يرغب في استكشاف المزيد، يمكنكم الاطلاع على الكود الخاص بهذه الدراسة عبر الرابط: https://competency-gaps.github.io.