شهد مجال الذكاء الاصطناعي قفزة نوعية مع إطلاق RefineRank، الحل الجديد الذي يعالج التحديات التقليدية في تحديد مواقع الأجسام خلال الإجراءات الجراحية. يعتمد هذا الابتكار على مفهوم التوجيه الزمني المكاني للعمليات الجراحية (Surgical Spatio-Temporal Grounding)، حيث يهدف إلى إيجاد وتحليل الأجسام حسب الطلبات المقدمة عن طريق الأسئلة الإجرائية.

تعاني الطرق الحالية من مشاكل متعددة؛ فبينما توفر نماذج اللغة المرئية (Vision Language Models) فهمًا جيدًا للسياق، إلا أنها غالبًا ما تنتج إحداثيات غير دقيقة. من ناحية أخرى، يكافح الكاشف المفتوح (Open-Set Detector) لتقديم إحداثيات موثوقة تعكس ما تبحث عنه الأسئلة.

RefineRank يأتي ليغلق هذه الفجوة عبر تطوير مكون قابل للتدريب يعرف باسم RefineNet. حيث يقوم هذا المكون بجمع ميزات اللغة والميزات الإقليمية من نموذج اللغة المرئية الطبية، مع اقتراحات كاشف مفتوح مجمّد، ليقوم بتوقع تصحيحات للإحداثيات وتقويم الجودة لكل صندوق مرشح.

حظيت الأداة باختبارات مبهرة، حيث سجلت أعلى نسبة في دقة تحديد موقع الأجسام على MedVidBench. فعلى الرغم من القيود، استطاع RefineRank تحقيق 0.421 STG mIoU، وهو الأفضل في هذا السياق. كما أظهرت البيانات أن تصحيح الإحداثيات يمكن أن يرفع من الحد الأقصى للاتصال بين الحدود من 0.6772 إلى 0.7302.

بفضل هذه النتائج المذهلة، لا شك أن RefineRank يمثل خطوة كبيرة نحو تحسين نتائج العمليات الجراحية، حيث إنه يوفر خيارات دقيقة وموثوقة دون الحاجة لإعادة تدريب النماذج الأساسية. يمكنكم الاطلاع على الكود المصدر للمشروع عبر رابط الكود.