في عالم الذكاء الاصطناعي الحديث، تخضع نماذج اللغة الكبيرة (Large Language Models) لتقييمات دقيقة تساهم في تشكيل مستقبل هذه التكنولوجيا. ولكن دراسة جديدة تجلب الضوء على ضرورة إعادة التفكير في كيفية تقييم هذه النماذج، وبالأخص معيار GSM-Symbolic.

تكتشف الدراسة أن الأداء المتدني الذي تم الإبلاغ عنه عبر 25 نموذجاً للغة، والذي أشار إليه الباحثون من ميرزاده وآخرون في عام 2025، كان غير دقيق إلى حد كبير. حيث استخدم الباحثون نماذج خطية مختلطة عمومية (Generalised Linear Mixed Models) مع تأثيرات عشوائية لكل سؤال لإعادة تقييم 20 نموذج مفتوح الوزن. النتائج تظهر أن نصف هذه النماذج فقط تعكس تغييرات ذات دلالة إحصائية تحت صيغة التقديم الأصلية.

أحد الاكتشافات المثيرة هو أن البيانات المستخدمة في دراسة GSM-Symbolic تحتوي على توزيع غير متوازن للأعداد الكبيرة في نصوص المسائل، مما يتعارض مع ما ادعاه المؤلفون الأصليون. بالتحكم في تأثير هذه الأعداد الكبيرة، تبين أن النتائج الإحصائية تتغير بشكل ملحوظ في نصف الحالات المتبقية.

علاوة على ذلك، تم تحديد سمات محددة لنماذج معينة تتعلق بمشكلات الأداء، مثل هشاشة ربط المتغيرات وحدود الحساب والتداخل في تنفيذ المهام المزدوجة، مما يدلل على أن الادعاءات العامة حول قدرات التفكير لدى هذه النماذج قد تكون غير دقيقة وغير موثوقة.

هذه النتائج تدعو المجتمع العلمي إلى إعادة تقييم كيفية تفسير نتائج أداء نماذج اللغة الكبيرة وإلى التحذير من الاستنتاجات المسبقة التي قد تؤدي إلى فهم خاطئ لنطاق قدراتها. كيف تعتقدون أن تأثير العوامل الإحصائية سيغير من إدراكنا لآداء نماذج الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات.