في عالم الذكاء الاصطناعي، تعد تحديد أفعال الاستخدام (Affordance Grounding) خطوة أساسية نحو تحقيق فهم دقيق للصورة، حيث يمكن للذكاء الاصطناعي تحديد المناطق في الصور التي تدعم إجراءات معينة. عانت الأساليب التقليدية والتي تعتمد على التعلم غير المشرف من بعض التحديات، خاصةً في الصور التي تحتوي على أفعال متزامنة أو غير واضحة. في هذا السياق، يقدم الباحثون تقنية مبتكرة تُعرف باسم TokAG، والتي تتعامل مع هذه التحديات. تعتمد TokAG على نماذج اللغة البصرية الكبيرة (Large Vision-Language Models) لتحديد المواقع ذات الصلة بالأفعال دون الحاجة لإشراف خارجي.

تكمن قوة هذه التقنية في استخدامها للإشارات الدلالية والمكانية الموجودة على مستوى التوكين (Token-level)، مما يعطي القدرة على تحديد الدلالات الخاصة بالأفعال بدقة أكبر. وقد أظهرت الخرائط الناتجة عن انتباه النماذج (Attention Maps) اختلافات كبيرة بين مخرجات التوكين المختلفة، والتي يمكن أن توجه عملية الانتقاء بشكل فعال، بحيث يتم اختيار التوكين الذي يركز على الكائن المستهدف بدلاً من الاعتماد على خريطة الانتباه العشوائية.

وفي اختبار الأداء، أثبتت إطار العمل الصفر-طلبي (Zero-Shot) الخاص بـ TokAG تفوقه على الأساليب التقليدية السابقة، حيث سجلت تحسينات ملحوظة تصل إلى 10.7% على مجموعة بيانات AGD20K و29.7% على مجموعة بيانات HICO-IIF.

هذا الابتكار يعد ثورة في مجال الذكاء الاصطناعي، حيث يمكن أن يفتح آفاق جديدة في التطبيقات المستقبلية. سيتم نشر الكود والنماذج الخاصة بهذه التقنية للجمهور قريباً.