في عالم العلوم والتكنولوجيا المتقدمة، تتسابق الشركات لتطوير نماذج لغوية متعددة الوسائط (Multimodal Large Language Models - MLLMs) قادرة على تحويل لقطات صفحات الويب إلى كود برمجي بدقة متناهية. ولكن، ما يحدث عندما تتكرر الأنماط في تصميمات واجهات المستخدم (UI)؟ أظهرت دراسة جديدة أن هذه الأنماط المتكررة قد تؤدي إلى مخرجات غير دقيقة، رغم توافقها البصري.

الدراسة تسلط الضوء على مشكلة تُعرف باسم "تحيز إكمال الأنماط"، حيث تم اختبار خمسة نماذج MLLM في مهمة تحويل لقطات الشاشة الخاصة بصفحات الويب إلى كود برمجي، لكن هذا التحويل كان يعاني من تأثير الأنماط المتكررة التي قد تؤدي إلى مخرجات غير صحيحة. باستخدام مجموعة بيانات مكونة من 30 صفحة ويب تم جمعها، قام الباحثون بإنشاء 1440 لقطة شاشة تم تقييمها، واكتشفوا أن النماذج تميل بشدة نحو الأنماط المتكررة.

تشير النتائج إلى أن معدل التحيز وصل إلى 69.78% في الحالات المتعلقة بعرض البطاقة و80.22% عند الحديث عن حجم الخط. ورغم أن نموذج Codex-5.3 أظهر أفضل أداء، إلا أنه انخفض معدل دقته من 68.61% للأزرار إلى 13.89% للنصوص.

عندما تم إضافة ضوضاء إلى الأنماط، أو تم تعديل موضع العناصر، زاد معدل التحيز بشكل أكبر. الأبحاث تشير أيضاً إلى أن الجهد التفكير العالي قد يقلل من التحيز، ومع ذلك، يمكن للنماذج التعرف على العنصر الغير طبيعي ولكنها تستمر في الاعتماد على الإجابة المتوافقة مع النمط.

هذه النتائج تشير إلى ضرورة إعادة تقييم نماذج MLLM وابتكار أساليب جديدة للتعامل مع هذه المسألة، حيث أن الدقة العالية أصبحت تحدياً في عصر الذكاء الاصطناعي.