في عالم الذكاء الاصطناعي المتطور، يبدو أن التعلم المرئي (Visual In-Context Learning) يشهد تحولاً رائعًا مع ظهور T2T-VICL. يعتمد هذا النموذج الجديد على القدرة على معالجة المهام البصرية من خلال استغلال بعض الأمثلة المدخلة والمخرجات، دون الحاجة إلى تدريب نماذج جديدة.

على الرغم من أن النماذج الضخمة للغة والرؤية (Vision-Language Models - VLMs) أظهرت تفوقًا في تعزيز هذه القدرات عند التعامل مع أمثلة متوافقة، إلا أن الأمور قد تتعقد في حالات الاستخدام الواقعي عندما تتباين الأمثلة المقدمة. هل ينبغي على VLM تقليد التحويلات المعروضة أو استنتاج واحدة جديدة من الاستعلامات المختلفة؟

للإجابة على هذا السؤال الجوهري، تركز الدراسة على مفهوم التعلم المرئي عبر المهام المتباينة (Cross-Task VICL) وتقدم T2T-VICL، إطار عمل مبتكر يقوم بتحويل العروض البصرية غير المتطابقة إلى إرشادات نصية ضمنية دون الحاجة لتسمية المهام بشكل صريح.

كيف يتم ذلك؟ يقوم نموذج VLM المعلم بتوليد أوصاف منظمة للتغيرات البصرية والفروق بين المهام، مما يتيح بناء مجموعة بيانات للعلاقات المتنوعة عبر المهام. بعد ذلك، يتم تصفية هذه القدرة في نموذج VLM خفيف الوزن يقوم بإنتاج توجيهات تعتمد على المحتوى من زوج عرض مهمته (task-A) واستعلام مهمته (task-B). هذه التوجيهات تستخدم لإرشاد نموذج VLM لتحرير الصور، حيث تم تقديم استراتيجية استنتاج تعتمد على تصنيف المرشحين.

التجارب التي أجريت على 12 مهمة بصرية منخفضة المستوى وأكثر من 20 زوجًا عبر المهام أظهرت أن T2T-VICL يحسن بشكل مستمر توافق المهام بالمقارنة مع التوجيه الثابت، وغالبًا ما يحسن أيضًا دقة الصورة. يكشف البحث عن الإمكانات الكبيرة والحدود التي تحيط بعمليات التعلم عبر المهام.

يمكنكم الاطلاع على الكود الكامل على GitHub لاستكشاف المزيد حول هذا الابتكار.