تشكل النماذج المعتمدة على CLIP ثورة في مجال تقييم جودة الصور، حيث تُعتبر CLIPscore واحدة من المعايير الأوسع استخدامًا. لكن هل تساءلت يومًا عن الضعف الذي قد تواجهه هذه النماذج في تحديد التلاعب في الصور؟ هنا يأتي دور FoCLIP، الإطار المبتكر الذي يعالج هذه المشكلة.

تعمل FoCLIP على تعزيز دقة تقييم جودة الصور من خلال تنفيذ ميزة المحاذاة المفقودة في فضاء الميزات. يعتمد هذا الإطار على تقنية تدرج النزال العشوائي (Stochastic Gradient Descent)، ويشمل ثلاثة مكونات رئيسية: محاذاة الميزات كجزء أساسي لتقليل الفجوات بين صياغات الصورة والنص، وتحقيق توازن في توزيع الدرجات ودمج تنظيم بيكسل-غارد. كل ذلك يساهم في تحسين التوازن بين أداء CLIPscore وجودة الصور.

تجري التجارب على عشرة من روائع الفنون ومجموعات صور ImageNet، حيث يستعرض الإطار كيف يمكن للصور المحسّنة أن تحقق تحسينات كبيرة في CLIPscore مع الحفاظ على دقة بصرية عالية.

علاوة على ذلك، أثبتت الأبحاث أن تحويل الصور إلى درجات رمادية قد يؤدي إلى تدهور كبير في الميزات، ما يسبب انخفاضًا ملحوظًا في CLIPscore، رغم أن ذلك يحافظ على التناسق الإحصائي مع الصور الأصلية. بناءً على ذلك، تم اقتراح آلية للكشف عن التلاعب تعتمد على حساسية قنوات الألوان، التي حققت دقة تصل إلى 91% على المعايير القياسية.

باختصار، يفتح هذا العمل بابًا جديدًا في مجال الأنظمة المعتمدة على CLIP من خلال تقديم طرق لكشف التلاعب بجودة الصور.