هل تقرأ نماذج التعلم الرؤيوي أم تعيد كتابة النصوص؟ استقصاء عن دقة النسخ في نماذج اللغة البصرية

في الآونة الأخيرة، أصبحت نماذج التعلم الرؤيوي (Vision Language Models) خياراً متزايداً لتحسين فهم الوثائق بدلاً من الاعتماد على تقنيات التعرف الضوئي على الحروف التقليدية. ولكن، هل يمكن الوثوق في هذه النماذج للقيام بالمهمة بشكل موثوق؟

تظهر الأبحاث الجديدة أن هذه النماذج لا تعمل دائماً كمجرد ناسخين موثوقين. في مناسبات عديدة، وعندما يكون النص غير مثالي، تميل هذه النماذج إلى إعادة كتابة النص بأسلوب أكثر plausibility - مما يعني أنها قد تُعدل العبارات بدلاً من نسخها بدقة. وهذا السلوك لا يمكن اكتشافه بسهولة عند استخدام معايير الأداء التقليدية لتقنية التعرف الضوئي على الحروف.

للتعمق في هذه الظاهرة، تم تقديم معيار جديد يُسمى FaithC4، الذي يتضمن 1,455 وثيقة من لغات متعددة، بما في ذلك الإنجليزية والصينية والكورية، ويحتوي على ثلاث فئات من الاضطرابات: الخلط، الاستبدال العشوائي، والاستبدال المرئي المشابه. وتم تقييم 15 نظامًا, حيث شملت بعض الأنظمة نماذج التعلم الرؤيوي العامة، ونماذج مخصصة للتعرف الضوئي، بالإضافة إلى التقنيات التقليدية.

بتحليل النتائج، اتضح أن نماذج التعلم الرؤيوي العامة تعاني من تدهور بنسبة تصل إلى 6.9 نقطة عند التعرض للاضطراب. بينما كانت نماذج التعرف الضوئي المتخصصة تظهر تغيراً ضئيلاً يتراوح بين 0.1 إلى 3.4 نقاط. ومن المثير للاهتمام، أن تقنيات التعرف الضوئي التقليدية حققت أقل من 0.8 نقطة في اللغة الإنجليزية.

عند تحليل نموذج Qwen3-VL-4B خطوة بخطوة، تم التعرف على نمط متسق: يعيد النموذج كتابة الكلمات فقط عندما يكون تمثيل الطبقة النهائية للكلمة المتضررة قريبًا من الترميز الأصلي؛ وعندما يحدث انحراف ملحوظ، فإن النموذج ينقل النص بدقة.

كما يؤثر طول الكلمة على معدل إعادة الكتابة بنسبة ملحوظة؛ حيث تتم إعادة كتابة الكلمات القصيرة (4-6 أحرف) حتى 10% من الوقت، مع انخفاض حاد عند 8 أحرف، حيث تصل نسبة إعادة الكتابة إلى 0%.

إن هذه النتائج تثير حيرة كبيرة حول مدى موثوقية نماذج التعلم الرؤيوي في تطبيقات معالجة النصوص وتثير تساؤلات حول ضرورة اعتماد معايير تقييم جديدة.