في عالم نماذج الرؤية واللغة الكبيرة (Large Vision-Language Models)، تعتبر مشكلة "الهلوسة"، حيث يقوم النموذج بإنشاء محتوى لا يتناسب مع الصورة المدخلة، واحدة من أكبر التحديات. هنا تأتي تقنية ReWEIGH لدخول الساحة كمبتكر حقيقي يهدف لتقليل هذه الظاهرة غير المرغوبة.

تقوم برمجة نموذج ReWEIGH بتقديم مقاييس مرجعية خاصة بكل رمز (token)، مما يسمح بتقييم مدى دعم الصورة لكل رمز قيد النظر. يتم استخدام حالات الرموز البصرية التي ينتجها النموذج كمصدر طبيعي لهذه الأدلة، حيث يساهم كل منها في توجيه النموذج بشكل أكثر دقة.

بدلاً من استخدام المعلومات العامة، تقوم ReWEIGH بتجميع النقاط المرجعية لكل رمز عبر المواضع البصرية. وفي مرحلة الاستدلال، يُحفظ الدليل البصري أثناء عملية المعالجة الأولية، ويُطبق عقوبة محدودة فقط على الرموز التي تقع دون مرجعها. هذه الآلية المكثفة تساهم في تقليل الهلوسات بنسبة تصل إلى 21.3% بينما تحافظ على جودة الأداء.

مع إضافة الدليل، يكون متوسط التأخير الإضافي لكل رمز حوالي 1.33%، وتظهر الفوائد عبر ست عائلات معمارية مختلفة تصل إلى 32B من المعلمات. إن هذه التقنية لا تعزز فقط دقة النموذج بل تفتح أيضًا أفقًا جديدًا أمام بحوث الذكاء الاصطناعي.

هل تعتقد أن هذه التقنية ستغير من كيفية استخدام نماذج الرؤية واللغة في المستقبل؟ شاركونا آرائكم في التعليقات!