في عالم الذكاء الاصطناعي، تواجه نماذج اللغة الضخمة (LLMs) تحديات جديدة تتعلق بالدقة وعدم اليقين. وفقًا لدراسة نشرت على منصة arXiv، تكشف نتائج مثيرة عن سلوك هذه النماذج عندما تتعرض لإدخالات متطابقة. أظهرت النتائج أن تشغيل نفس النموذج على إدخالات متشابهة يمكن أن يؤدي إلى تباين في سلوك النموذج، حيث أظهرت التجارب أن هناك 2.3 إلى 4.2 تسلسل مختلف من الإجراءات لكل عشرة محاولات.

هذه الفروقات السلوكية تُعتبر إشارة عدم يقين، مما يتيح تصنيفًا انتقائيًا وتقديرًا خاليًا من التوزيع للنماذج. من خلال 8000 تجربة على 200 سؤال من أسئلة HotpotQA، تبين أن المهام المتسقة (حيث لا توجد سوى طريقتين فريدتين كحد أقصى) حققت دقة تراوحت بين 82% و87%، بينما كانت المهام غير المتسقة (أربعة طرق أو أكثر) تحقق دقة بين 41% و65%، مما يدل على وجود فجوة ملحوظة تستمر حتى بعد التحكم في صعوبة المهام.

تركز الانحرافات بشكل كبير عند الخطوة الثانية، حيث سجلت نماذج Llama معدل إنحراف بنسبة 50.5%. أيضًا، تمكنت مقاييس الاستمرارية من اكتشاف الفشل بدقة 0.62-0.78 من خلال مقياس التشغيل المعتمد على المنطقة تحت منحنى ROC (AUROC).

باستغلال إشارة عدم اليقين هذه، حقق التحليل الانتقائي (الذي يقوم بالإجابة فقط عندما تتفق ثلاثة محاولات على نفس النتيجة) دقة تتراوح بين 87% و88% مع تغطية تتراوح من 54% إلى 62%، مما يظهر تحسنًا يتراوح بين 6 و14 نقطة مئوية مقارنة بأسس التشغيل الفردي. كما أوضح التحقق المشترك عبر المعايير (SWE-bench) انحيازات الاستمرارية على الرغم من وجود تفاوت بمعدل 8 مرات في طول المسار المتوسط عبر النماذج، مما يدل على أن التقييمات الفردية تخطئ في ترتيب النماذج بنسبة تصل إلى 29.3%.

هذا البحث يعزز فهمنا لكيفية تحليل سلوك نماذج الذكاء الاصطناعي لتحديد مدى عدم اليقين، ويفتح الباب لدراسات مستقبلية حول تحسين دقة تلك الأنظمة. ما رأيكم في هذا التطور؟ شاركونا في التعليقات!