في عالم الذكاء الاصطناعي، تعتبر نماذج تحويل النص إلى صورة (Text-to-Image Models) من الإنجازات التقنية المدهشة. ومع ذلك، كانت معايير التقييم التقليدية تركز بشكل كبير على قدرة النماذج على تلبية الطلبات المباشرة، متجاهلة في كثير من الأحيان التحديات المرتبطة بعمليات النفي. هنا يأتي دور معيار NegT2IBench.

تم تصميم NegT2IBench لتقييم نماذج تحويل النص إلى صورة من خلال قياس مدى قدرتها على تلبية قيود النفي، مثل توليد "كوب غير أحمر". يتضمن هذا المعيار 4800 مطالبة منظمة بحيث تغطي نوعين من الخصائص وأربع فئات للعلاقات. تتنوع المطالبات بناءً على القطبية، حيث يتم تقييم عدد الجمل الإيجابية والسلبية التي يجب تحقيقها، مما يتيح دراسة تأثير النفي بشكل مستقل عن تعقيد المطالبات.

علاوة على ذلك، تتميز عملية التسجيل المعتمدة على الكشف بأنها قابلة للتكرار، وقابلة للتدقيق، ويمكن من خلالها تحديد المتطلبات التي لم يتم تلبيتها بدقة. تم اختبار المعيار على 600 صورة مقيمة من قبل ثلاث مقيّمين، وأثبت توافقه العميق مع الأحكام البشرية، متفوقاً بمقدار 30 مرة على نماذج رؤية اللغة التقليدية.

عبر تحليل 211,200 صورة من احد عشر نموذجًا لتحويل النص إلى صورة، تبين أن تسعة نماذج لم تحقق نتائج مرضية في حالة وجود بيان سلبي واحد مقارنة بالإيجابي بالإضافة إلى أن 41.5% من البيانات التي لم تُلبي الطلبات كانت تنفذ ما يُمنع.

بفضل NegT2IBench، أصبح من الممكن إجراء اختبارات مضبوطة لتحديد وفهم اختلالات النفي في نماذج تحويل النص إلى صورة، مما يفتح أفقًا جديدًا لتحسين هذه النماذج وتجاوز العقبات التي تعوقها.