في خطوة ثورية نحو تطوير تقنيات الرعاية الصحية، تم تقديم طريقة جديدة تجمع بين نموذج SAM 3D Body وتقنية الحساب العكسي (Inverse Kinematics) لتحسين تتبع حركة الأصابع باستخدام فيديو أحادي. رغم أن تتبع حركة اليد من الفيديو له تطبيقات سريرية كبيرة، بما في ذلك مراقبة الأنشطة اليومية وقياس نطاق الحركة، إلا أن الطرق الحالية تبقى غير متطورة بالشكل المطلوب.

تستند هذه التقنية على نموذج ميكانيكي حيوي كامل الجسم، حيث يتم استخراج زوايا المفاصل للأصابع بطريقة دقيقة من مقاطع فيديو مستعرضة. بالإضافة إلى ذلك، تم نقل نموذج SAM 3D Body من بيئة PyTorch إلى JAX، مما يتيح تحسين الأداء باستخدام تسريع GPU، كما تم تطوير خريطة جديدة تربط بين مخرجات نموذج Momentum Human Rig (MHR) وعلامات النموذج البيوميكانيكي.

تمت التحقق من دقة الأداء من خلال مقارنة النتائج مع بيانات متعددة الزوايا التقطت بواسطة 8 كاميرات، حيث شملت الدراسة 4,590 إطارًا من 7 مشاركين يقومون بأداء مجموعة متنوعة من وضعيات اليد ومهام التعامل مع الأجسام. وأظهرت النتائج أن خطأ زوايا المفاصل كان حوالي 10 درجات، وخطأ في موضع اليد حوالي 6 مم، مما يؤكد على فعالية هذه التقنية عبر الزوايا المختلفة للكاميرات.

يمثل هذا العمل توسيعًا لتحليل البيوميكانيكا الأحادية إلى تتبع مفصل للأصابع، مما يتيح الوصول إلى تقييم كمي لحركات اليد باستخدام فيديو متاح بسهولة. يبدو أن المستقبل يعد بالكثير في مجال الرعاية الصحية والذكاء الاصطناعي من خلال هذه الإنجازات المثيرة.