في عالم الذكاء الاصطناعي، تعتبر نماذج اللغات الضخمة (Large Language Models) من أبرز التطورات التقنية. ومع ذلك، فإن أحد التحديات التي تواجه هذه النماذج هو ظاهرة "الهلوسة" والتي تتمثل في تقديم معلومات غير دقيقة أو خاطئة. هنا يأتي دور PHRBench، الأداة الجديدة التي تم تقديمها لتقييم كيفية تعامل هذه النماذج مع السياقات المُهلوسة.

تُعتبر PHRBench Benchmark هي مرجع سلوكي مصمم خصيصًا لقياس سلوكيات نماذج اللغات الضخمة بعد الهلوسة عبر أربعة مجالات مختلفة و18 نموذج مختلف. تركز الأداة على تفكيك مسارات التفكير بشكل مستقل عن صحة الإجابة النهائية، من خلال معايير مثل التوافق مع الهلوسة (Hallucination Compliance)، وتجنب الهلوسة (Hallucination Avoidance)، وتصحيح القياس (Heuristic Correction).

من خلال دراسة 4820 حالة مسيطرة، تبين أن استعادة السياق الصحيح تبقى نادرة، وهي مرتبطة في كثير من الأحيان بتحديثات معتقدات مستمرة أثناء مسار التفكير. والأكثر إثارة للدهشة، هو وجود إشارات تنبؤية واضحة من خصائص الطلب المهلوس تشير إلى إمكانية النجاح في الاستعادة، حيث حقق مُنبئ خفيف الوزن دقة قدرها 0.847 من AUROC.

توفر هذه النتائج رؤية سلوكية جديدة في تفكير نماذج اللغات الضخمة بعد الهلوسة، كاشفةً عن كيفية تعامل هذه النماذج مع السياقات الخاطئة ومتى يمكن أن يحدث النجاح في الاستعادة.

إن PHRBench تمثل خطوة مهمة نحو تحسين أداء نماذج اللغات الضخمة، وتعزز الفهم الشامل لكيفية عمل هذه التقنيات المتقدمة. فما هي توقعاتكم بشأن مستقبل نماذج اللغات الضخمة في مواجهة تحديات الهلوسة؟ شاركونا آرائكم في التعليقات!