في عالم الذكاء الاصطناعي، نجد أن نماذج لغة كبيرة (Large Language Models) قد تواجه صعوبة في تقديم إجابات ثابتة ومطابقة عند طرح نفس السؤال مرات متعددة. هذا ما تم تسليط الضوء عليه من خلال بحث حديث تم نشره تحت عنوان "ما ينقص النافذة: تدقيق الأصالة في معيار عدم الاستقرار المبني على الوثائق".

لقد تم تطوير معيار جديد يسمى **Probity**، يتضمن 60 مهمة و470 عنصرًا مستندًا إلى معلومات حقيقية من وثائق تمويل المشاريع. الهدف الرئيسي من هذا المعيار هو قياس مدى تباين إجابات النموذج عند استعراض نفس الوثيقة. ومن خلال عملية تدقيق صارمة للبيانات، تم الكشف عن عيب شائع يمكن أن يؤثر في أي معيار يعتمد على الاقتباسات: العناصر التي تفتقر إلى الأدلة المطلوبة في نص الوثيقة التي يتم عرضها على النموذج.

أجريت عملية تدقيق حددت 36 عنصرًا في البيانات، قسمتها إلى نوعين من الفشل: الأدلة الغائبة والتي لا يمكن تكوينها بناءً على الأرقام المعطاة. كان هناك فرق ملحوظ في تباين الإجابات، حيث أظهرت العناصر الم flagged تباينًا أعلى بمعدل 0.255 مقارنةً بالعناصر النظيفة.

ومع محاولة فهم العلاقة بين الأدلة المفقودة وعدم الاستقرار، تم إجراء تجربة لإعادة تشكيل كل نافذة لتشمل الأدلة المتاحة. لكن النتائج جاءت مخيبة للآمال: لم يحدث أي تحسين ملحوظ، حيث انخفض تباين الإجابات بمعدل بسيط جدًا.

تم إطلاق هذا المعيار، جنبًا إلى جنب مع 112,800 استجابة خام، كأداة اختبار قابلة للتشغيل لكل معيار يعتمد على الوثائق. يسعى هذا العمل إلى تحسين فهمنا لتوازن الدقة والاستقرار في نماذج اللغة، ويطرح سؤالًا مهمًا: هل ستؤدي هذه النتائج إلى إعادة التفكير في تصميم نماذج الذكاء الاصطناعي؟