تقييم موثوقية نماذج اللغات الكبيرة: كيف يتم قياس جودة إيضاحات المحاور الرقمية؟

مع تزايد أهمية نماذج اللغات الكبيرة (LLMs) في مجالات الذكاء الاصطناعي، أصبحت الحاجة إلى تقييم موثوقية الإيضاحات المولدة بواسطة تلك النماذج أمرًا بالغ الأهمية. على الرغم من أن هناك عدة طرق لتقييم هذه الإيضاحات، إلا أن المقارنة بين النتائج تظل تحديًا كبيرًا.

الأدوات الحالية، مثل مقاييس الموثوقية اللينة (soft-perturbation faithfulness metrics) مثل Soft-NC وSoft-NS، قد تكون مضللة، حيث تتداخل جودة الإيضاح مع عدد الكلمات المحتفظ بها أثناء التعديل. بحيث يمكن أن تحقق طرق الإيضاح التي تحتفظ بعدد أكبر من الكلمات نتائج مرتفعة، مما يسبب تضخيمًا غير مبرر في الدرجات.

لتجاوز هذه المعضلة، تم تقديم تقنية جديدة تُدعى π-Soft-NC وπ-Soft-NS، حيث يعمل هذا الإطار على مقارنة طرق الإيضاح تحت نفس احتمالية الاحتفاظ المتوقعة، مما يضمن التحكم في عدد الكلمات المحتفظ بها.

إضافةً إلى ذلك، تم إدخال Grad-ELLM، وهي طريقة تعتمد على التدرجات لتقديم إيضاحات مخصصة لنماذج اللغات الكبيرة ذات المحاور الرقمية فقط، حيث تجمع بين أهمية القنوات المستمدة من التدرجات وأهمية الرموز المستندة إلى الانتباه في كل خطوة من خطوات الاستخراج.

تظهر التجارب التي أُجريت على مهام التصنيف والتوليد المفتوح باستخدام نماذج Llama وMistral أن Grad-ELLM تحقق موثوقية قوية وتركز على شمولية النتائج تحت π-Soft-NC. بالمقابل، لم يثبت وجود طريقة مهيمنة تحت π-Soft-NS.

إن مقياس التقييم الذي تم تطويره يمثل إطار عمل دقيق يقارن بين طرق الإيضاح القابلة للتفسير (XAI) بالنسبة لنماذج اللغات الكبيرة، مما يدعم تقدم هذا المجال بشكل مُستدام.