في عالم الذكاء الاصطناعي، تتطور أنظمة الإجابة على الأسئلة باستمرار، حيث تقوم بمعالجة تساؤلات تتعلق بمجموعة من الوثائق بدلاً من مصدر واحد فقط. لذا، يصبح من الضروري أن تكون هذه الأنظمة قادرة على التعامل مع المشتتات المختلفة وطول النصوص دون التأثير على دقة الإجابات. في هذا السياق، يبرز معيار MUDDLE كابتكار جديد يهدف إلى قياس فعالية هذه الأنظمة بطريقة منهجية.

يستخدم معيار MUDDLE 270 سؤالًا تم وضع علامات عليها بأيد بشرية، مرتبطة بوثيقة واحده، حيث يتم اختبار كل سؤال تحت خمسة شروط مختلفة. هذه الشروط تشمل الوثيقة المصدر وحدها، الوثيقة مع اثنين أو أربعة مشتتات مشابهة في الموضوع، والوثيقة مع اثنين أو أربعة مشتتات عشوائية. تعتبر هذه المشتتات العشوائية مشابهة في الطول والخلفية للمشتتات الصعبة، مما يسمح بتحليل تأثير التشابه الموضوعي مقارنة بطول النص.

تظهر النتائج أن المشتتات الصعبة تؤدي إلى انخفاض الدقة بشكل أكبر مقارنة بالوثائق العشوائية المطابقة في الطول، خاصةً في نموذج GPT-5-mini. هذه النتائج تشير إلى أن التشابه الموضوعي له تأثير أكبر على دقة الإجابات من الطول الفعلي للنص.

مع تقديم البيانات وكود التقييم لأول مرة، يتيح معيار MUDDLE فرصًا لدراسات أكثر تكرارًا حول تدهور السياق في أنظمة الذكاء الاصطناعي. يُعتبر هذا التطور خطوة هامة نحو تعزيز قدرة أنظمة الإجابة على الأسئلة في التعامل مع البيانات المعقدة والبيئات المتغيرة.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.