في عالم الذكاء الاصطناعي، تتزايد أهمية تقييم نماذج اللغة الكبيرة (LLMs) في مجالات متخصصة مثل القضايا القانونية، والرعاية الصحية، والهندسة البرمجية. ولكن ما زالت السينما تُعد مجالاً غير مستكشف بشكل كاف، رغم الحاجة الملحة لفهم السرد الطويل ودمج الثقافات المتعددة.

هنا يأتي دور **CineSubBench**، معيار جديد صُمم خصيصًا لتقييم قدرة نماذج الذكاء الاصطناعي على فهم الأفلام من خلال ترجمات الأفلام المتعددة اللغات. يتيح هذا المعيار التقييم من خلال آلاف الاقتباسات الزمنية التي تصف القصص والشخصيات والعلاقات والأحداث دون هيكلية واضحة لمشاهد الفيلم.

تتضمن **CineSubBench** 1,012 فيلمًا يشمل تغطية كاملة للترجمة بإجمالي 6,072 مسارًا و8.13 مليون إدخال مترجم مؤرخ. ويتميز بوضع تقييم متعدد المهام، متعدد اللغات، ومتعدد الثقافات. تشمل المهام إعادة بناء السرد وتوقع الأنواع وتقييم ملاءمة العمر، بالإضافة إلى تصنيفات الأفلام الوطنية.

تظهر النتائج أن نماذج الذكاء الاصطناعي يمكنها استعادة الحبكات بشكل أكثر موثوقية من تقديم ملخصات الحدث الكاملة، لكن مدى التناسق عبر اللغات والنماذج يظل متباينًا بشكل كبير. هذا التطور يسلط الضوء على ضرورة تطوير نماذج قادرة على الارتباط الأشياء في سياقات ثقافية متعددة, مما يسهل عملية فهم الفنون السمعية والبصرية بشكل أكبر.

بفضل **CineSubBench**، يبدأ الذكاء الاصطناعي بإعادة تحديد كيفية تقييم الأفلام بدقة، مما يتيح للنماذج فهم التعقيدات الثقافية واللغوية بشكل أفضل.