في عالم الذكاء الاصطناعي المتطور، يزداد استخدام وكلاء النماذج اللغوية الكبيرة (Large Language Models) لمحاكاة التفاعلات الاجتماعية الواقعية. ولكن، هل تحافظ هذه المحاكاة على أنماط المحتوى وديناميات التفاعل المعتادة بين البشر؟ في دراسة جديدة، تم تقديم MiroBench، معيار مبتكر يقيم جودة النقاشات التي يقوم بها الذكاء الاصطناعي بناءً على بيانات حقيقية من منصة Reddit.

تعد نقاشات Reddit غنية بتفاعلات متعددة الأطراف حيث يتبادل الأفراد الخبرات، ويتجادلون، ويبحثون عن النصائح، ويعبرون عن مشاعرهم. مما يجعلها مرجعاً مثيراً للاهتمام لاختبار قدرة نماذج الذكاء الاصطناعي على إعادة إنتاج هذه الديناميات.

يتكون MiroBench من تحليل 4,292 نقاشاً حقيقياً على Reddit، ويقوم بإجراء اختبارات إحصائية لمقارنة النقاشات المنتَجة بالنقاشات الحقيقية عبر أربعة جوانب رئيسية: التكرار والاتساق الدلالي، محتوى السرد، السمية والعدوانية، وتعقيد التركيب.

أظهرت التجارب التي أُجريت على خمس مجالات وخمس نماذج أن المحاكاة الحالية لا تزال لا تتطابق مع التوزيعات الحقيقية للنقاشات على Reddit، بينما توفر إجراءات التحسين القائمة على التوجيهات نصيباً ضئيلاً من التحسن.

تقدم MiroBench أداة عملية لقياس وتشخيص وتحسين واقعية محاكاة المجتمع باستخدام نماذج الذكاء الاصطناعي، مما يُعدّ خطوة مهمة نحو تطوير تفاعلات أكثر طبيعية وتطابقًا مع السلوك البشري.