في عصر النماذج التقنية الأساسية (Foundation Models)، أصبحت هندسة التحفيز (Prompt Engineering) من الأساليب الأساسية لتعزيز أداء نماذج اللغة. وبتزايد أهمية نماذج الفيديو كنماذج أساسية للمهمات البصرية، يتساءل الباحثون عما إذا كانت هذه النماذج تستفيد أيضًا من هندسة التحفيز البصري.

ما نعنيه بهندسة التحفيز البصري هو تعديل الصورة المستخدمة في المهمة لتحسين أداء النموذج. على سبيل المثال، إذا كانت لديك مهمة تتطلب الاستدلال الفيزيائي حول مكان هبوط كرة بعد تجاوزها عدة عقبات، يمكنك ببساطة تحويل مشهد تخيلي إلى نسخة فوتوجرافيّة عبر استخدام نموذج لتعديل الصور.

تظهر الدراسات أن هندسة التحفيز البصري، والمعروفة اختصارًا بـ VIPE، تحسن من أداء الاستدلال البصري عبر مختلف المهمات. وقد تبين من خلال التجارب أن هندسة التحفيز البصري يمكن أن تكون أكثر فعالية مقارنةً بهندسة التحفيز النصية التقليدية.

بالأخص، مثلما تعمل هندسة التحفيز النصية على تحسين أداء نماذج اللغة بشكل منهجي، يمكن أن تكون هندسة التحفيز البصري وسيلة بسيطة واقتصادية لتحفيز أداء الاستدلال البصري في نماذج الفيديو. لمزيد من المعلومات، يمكنك زيارة صفحة المشروع الخاصة بنا على الرابط: [https://visual-prompt-engineering.github.io/]. ما هي آراؤكم حول هذه التقنية الجديدة؟ شاركونا في التعليقات!