في عالم الذكاء الاصطناعي، يُعد تقييم مدى دقة التفسيريات التي تعكس تفكير النماذج موضوعًا لا يزال بحاجة إلى المزيد من البحث. حيث لم تكن المعايير الحالية تُجري اختبارات إحصائية دقيقة، مما يعيق القدرة على تمييز أداء النماذج الحقيقي عن الأداء العشوائي.

أطلق الباحثون إطار العمل الجديد المعروف باسم ICE (تقييم الشرح المتسق مع التدخل) لإحداث ثورة في هذا المجال. يعرض هذا الإطار طريقة تقييم تفسيريات النماذج من خلال قياسها ضد معايير عشوائية مكافئة تحت عدة طرق عملياتية.

في دراسة شملت 7 نماذج لغوية كبيرة (LLMs) عبر 4 مهام مختلفة، تم استخدام أسلوب الحذف وملء البيانات المسترجعة. وقد أظهرت النتائج أن تغيير الأساليب العملياتية أدى إلى تجاوز عتبة الأدلة الإيجابية في 18% من التكوينات، مع وجود فرق بلغ 44 نقطة مئوية.

من المثير للاهتمام أن المعايير العشوائية كشفت عن عدم الموثوقية (anti-faithfulness) في ما يقرب من ثلث تكوينات الحذف باللغة الإنجليزية، وهو ما كان غير مرئي بدون المقارنات العشوائية. وتواصل هذه الأنماط عبر 6 لغات غير إنجليزية و2 من طرق الإسناد.

تشير النتائج الأولية التي تم الحصول عليها في تقييمات فاصلة من خلال سلسلة من الأفكار إلى أن الدقة العالية في التوقعات لا تعني بالضرورة أن النماذج تمتلك تفكيراً موثوقًا.

هل أنتم مستعدون لمتابعة هذه الاكتشافات الجديدة في مجال الذكاء الاصطناعي؟ شاركونا رأيكم في التعليقات!