اكتشاف تفاعلات البشر والأجسام: خطوة جديدة في مسار الذكاء الاصطناعي">اكتشاف تفاعلات البشر والأجسام: خطوة جديدة في مسار الذكاء الاصطناعي
يُعدّ اكتشاف تفاعلات البشر والأجسام (Human-Object Interaction Detection - HOID) واحداً من التحديات الكبيرة في مجال الذكاء الاصطناعي. تقليدياً، كان يتم صياغة هذا الاكتشاف كمشكلة مراقبة (supervised detection) مع فئات تفاعلات مُعرّفة مسبقًا. بينما تحققت مثل هذه النماذج أداءً جيدًا في اختبارات محددة مغلقة (closed-set benchmarks)، بقيت قدرتها على التعميم إلى مشاهد مفتوحة ومعقدة محدودة.
نماذج اللغة المتعددة الوسائط؟">من التقييد إلى التحرر: كيف يمكن أن تساعد نماذج اللغة المتعددة الوسائط؟
محاولات حديثة في تطوير كاشفات HOI تبحث عن الاستفادة من النماذج اللغوية متعددة الوسائط (Multimodal Large Language Models - MLLMs) باستخدام استراتيجيات توجيه (prompting strategies) لنقل المعرفة الخاصة بالتفاعل. ومع ذلك، تركز هذه المقاربات بشكل أساسي على استخراج التمثيلات التمييزية من النماذج المدربة مسبقًا، مما يقلل من استكشاف قدراتها التفسيرية المتعددة الوسائط.
نموذج AgentHOI">الحل الجديد: نموذج AgentHOI
في هذا العمل، نقدم نموذج AgentHOI، وهو إطار عمل غير تدريبي يهدف إلى نقل القدرات التفسيرية العامة للنماذج الأساسية إلى اكتشاف تفاعلات البشر والأجسام في مشاهد الحياة الواقعية. بدلاً من تعلم مصنفات التفاعل، يقوم AgentHOI بتنظيم وحدات الرؤية التأسيسية بشكل متكامل لأداء تفكير دلالي مفتوح وتحديد مكاني منسق.
#### الوقوف على التحديات
لمعالجة التحديات المتعلقة بالاكتشاف غير المكتمل للتفاعل والموقع الغامض في مشاهد معقدة، قدمنا آليتين رئيسيتين:
1. **التفكير متعدد الجولات القائم على السياق**: الذي يقوم بتحسين فرضيات التفاعل بشكل تدريجي لضمان اكتشاف شامل وتكميلي.
2. **تحديد التفاعل متعدد الأوجه**: الذي يعزز دقة التثبيت من خلال إنتاج أوصاف محددة للأنماط التي تدمج بين المعلومات الدلالية والمكانية ومظاهر الشكل.
نتائج متفوقة في العالم الحقيقي
تظهر التجارب الواسعة أن AgentHOI يحقق أداءً متفوقًا مقارنةً بأساليب المراقبة شبه المُشرفة والأكثر تطوراً، بالرغم من عدم الحاجة إلى بيانات HOID للتدريب. هذا التطور يبشر بمستقبل واعد لتطبيقات الذكاء الاصطناعي في حياتنا اليومية.