كيف يؤثر التدريب على الكفاءة الفضائية لنماذج الرؤية واللغة؟

في عالم الذكاء الاصطناعي، تكتسب نماذج الرؤية واللغة (Vision-Language Models) أهمية متزايدة. ولكن ما يحدث عندما نقوم بتدريبها على مهام إضافية بعد مرحلة التدريب الأساسية؟ في دراسة جديدة نُشرت على arXiv، تم استكشاف مسألة فهم العمق بعد عملية ما يُعرف بتدريب ما بعد العمل (Action Post-Training).

تتمثل الفكرة الرئيسية في قياس كيفية تأثير عملية تدريب نماذج الرؤية واللغة على كفاءة فهمها للعمق، وهو جزء أساسي من إدراك الفضاء الهندسي. الدراسة تركز على نموذجين: Molmo2-ER و MolmoAct2-LIBERO، حيث تم مقارنة أدائهما في فهم العمق عبر مختلف طبقات الرؤية.

أظهرت النتائج أن نموذج العمل VLA (Vision-Language-Action) يعاني من تدهور مستمر في فهم العمق في كل طبقة، مما يتسبب في ظهور فجوة تُعرف باسم "الأرضية". بينما يتحسن فهم العمق في نموذج VLM الأساسي عبر الطبقات النهائية، يتدهور في نموذج VLA، مما يشكل "جرفًا" آخر، مما يشير إلى أن نماذج VLA ليست فعالة بنفس القدر لدى الطبقات المتأخرة.

للتحقيق في سبب هذا التدهور، تم التعرف على تداخل MLP (Multi-Layer Perceptron) في الطبقات المتأخرة، مما يؤدي إلى فقدان كبير في دقة فهم العمق. تبين أن إلغاء تداخل MLP في الطبقات المتأخرة يستعيد جزءًا كبيرًا من دقة العمق المفقودة، في حين أن أنواع التدخل الأخرى لم تحقق نفس النتيجة.

بإيجاز، يوفر هذا البحث رؤى قيمة حول العلاقة المعقدة بين التدريب الإضافي وفهم النماذج للعمق، مما يفتح أبوابًا لاستكشاف آليات أكثر فعالية لتحسين نماذج الرؤية واللغة. فهل أنتم مستعدون لاستكشاف المزيد حول كيفية تطوير الذكاء الاصطناعي في هذا المجال؟ شاركونا آراءكم في التعليقات!