في عالم يتسارع فيه تطور الذكاء الاصطناعي، تأتي ثورة جديدة في معالجة مشكلات الإدراك من خلال منصة تفاعلية مبتكرة تستهدف مرضى الفصام (Schizophrenia). حيث تعمل التقنيات الحالية على تحسين قدرة هؤلاء المرضى على تنفيذ المهام المعقدة التي تتطلب التفكير النقدي والتسلسل الزمني. تقدم هذه الورقة البحثية نظامًا آليًا يعتمد على نماذج الرؤية واللغة (Vision-Language Models) للتحقق من صحة الإجراءات العلاجية المستخدمة خلال عمليات التأهيل الإدراكي.

يعاني مرضى الفصام من عجز شديد في الوظائف الإدراكية، ولتجاوز هذه العقبة، طُورت منصة تعتمد على بيئة مراقبة تعتمد على الكاميرات. هذه البيئة تتضمن مشاهد مصغرة منظمة، مثل الطرق، والدورات، والحدائق، والمركبات الصغيرة. يتلقى المرضى تعليمات صوتية تصف الإجراءات المكانية الهادفة التي يجب عليهم تنفيذها من خلال التلاعب بمركبة لعبة. هذه الأنشطة التفاعلية تهدف بشكل خاص لتحفيز الوظائف الإدراكية المستهدفة مثل الانتباه المستمر، التنسيق الحركي، الملاحة المكانية، ومرونة التفكير.

للتحقق من صحة الإجراءات التي يقوم بها المرضى دون الحاجة إلى إشراف سريري مستمر، يقوم النظام بتحليل الفيديو المنتَج من خلال تتبع حركة يد المريض والمركبة. ويقوم نموذج الرؤية واللغة المتخصص بتفسير تسلسلات الفيديو المسجلة وتوليد أوصاف دلالية للأنشطة الملاحظة، مما يمكّن من إجراء تحقق دقيق للإجراءات المنفذة بناءً على التعليمات النصية الأولية.

تم جمع مجموعة بيانات شاملة من 4634 سيناريوً في هذا الإطار لفحص كفاءة الأسلوب المقترح. تُظهر النتائج التجريبية أن هذا الإطار المتخصص ينجح في ربط الدقة الفيزيائية بملاحظات سريرية عالية المستوى، مما يوفر حلاً قابلاً للتطوير وموضوعيًا للعلاج الإدراكي المتقدم.