في عصر يعد فيه استخدام نماذج اللغات الضخمة (Large Language Models) جزءًا أساسيًا من العديد من التطبيقات، أصبح تفاعل المستخدم مع هذه النماذج يعتمد بشكل كبير على كيفية تصنيف الدعوات (prompts). في دراسة جديدة نُشرت على منصة arXiv، تم استعراض قضية هامة تتعلق باستقرار تصنيف الدعوات تحت تأثير تغيرات بسيطة في ظروف التقييم.

تستعرض الدراسة كيفية تأثير مصادر التباين المختلفة، مثل البذور العشوائية (random seeds) ومجموعات التقييم المحدودة، على استقرار تصنيف الدعوات. وعلى الرغم من أن التوافق العام في التصنيفات قد يكون معتدلاً إلى مرتفع، إلا أن هوية الدعوة الأفضل أداءً تتغير بشكل متكرر مما يؤدي إلى قرارات اختيار غير موثوقة.

للتصدي لهذه المشكلة، اقترح الباحثون استراتيجية سهلة تعتمد على حدود الثقة المنخفضة، تأخذ في الاعتبار كلًا من الأداء والتباين في النتائج. وتوضح نتائجهم أن هذه الاستراتيجية تعزز من متانة الاختيار في البيئات غير المستقرة، بينما تظل تنافسية في البيئات الأكثر استقرارًا.

تُبرز هذه النتائج أهمية مراعاة عدم اليقين في التقييم عند اختيار الدعوات وعند إجراء مقارنة بين نماذج اللغات الضخمة، مما يفتح آفاق جديدة لتحسين نتائج النماذج وتطبيقاتها العملية.