في عالم الذكاء الاصطناعي، تعتبر نماذج اللغة الضخمة (LLMs) أدوات قوية تُستخدم لتقديم شروحات بعد اتخاذ القرار في السياسات المتتابعة. توفر هذه النماذج تفسيرات بلغة طبيعية حول أسباب اتخاذ إجراء معين، مما يساعد المستخدمين على فهم كيفية عمل هذه الأنظمة. ومع ذلك، يُعاني العديد من هذه النماذج من مشكلة إنتاج بيانات قد تبدو مقبولة لكنها في النهاية غير صحيحة، مما يثير الحاجة إلى منهجية فعالة لاختبار دقة هذه الشروحات.

يهدد وجود تحديين رئيسيين قدرة نماذج اللغة الضخمة على تقديم تفسيرات موثوقة. الأول هو عدم وجود مرجع للتأكد من صحة الشرح، والثاني يتعلق بنقص البنية اللازمة لتوليد حالات اختبار منظمة من المدخلات الاستفسارية التي تتعلق بسلوك السياسات.

مؤخراً، توصل فريق من الباحثين إلى حل يقوم على استخدام التحقق النموذجي الاحتمالي كمرجع لعملية الاختبار. يتمثل دور هذا التحقق في حساب نتائج مرجعية دقيقة يتم بناءً عليها تقييم الإجابات التي تقدمها نماذج اللغة. كما طور الباحثون تصنيفًا لفئات الاستفسارات بعد اتخاذ القرار والذي يُنظم فضاء المدخلات حول الحقائق الأساسية المحيطة المكونة للتفسيرات.

تجري هذه الاختبارات عبر سبعة بيئات مختلفة، مما يظهر الأداء المتفاوت لثلاثة نماذج لغة ضخمة. حيث يحقق نموذج التفكير نسبة نجاح تبلغ 85%، بينما سجل نموذج متوسط الحجم 70%، بينما ينخفض أداء نموذج بوزن 1 مليار عن مستوى العشوائية. هذه النتائج توضح الثغرات في موثوقية الشروحات المولدة في إعدادات بدون مرجعية، مما يفتح المجال لمزيد من البحث والتحليل في هذا المجال الواعد.

بينما تزداد استخدامات نماذج اللغة الضخمة، تعكس هذه الدراسة أهمية تحسين موثوقية الشروحات وتوفير أدوات فعالة للاختبار تجعل من الممكن الاعتماد بصورة أكبر على التقنيات الجديدة.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.