تتطور تقنيات الذكاء الاصطناعي بوتيرة سريعة، ومعها يبرز نموذج جديد يحمل اسم SignLlama، الذي يعد بمثابة طفرة في عالم ترجمة لغة الإشارة الخالية من اللمحات (Gloss-Free Sign Language Translation - GFSLT). يأتي هذا النموذج لمواجهة التحديات الكبيرة التي كانت تعيق فعالية نماذج اللغات الضخمة (Large Language Models - LLMs) في معالجة الفروق بين المدخلات البصرية والنصية.

تسلط الورقة العلمية الجديدة الضوء على مشكلتين رئيسيتين تواجهان نماذج LLMs عند استخدامها في ترجمة لغة الإشارة. الأولى هي الفجوة التوزيعية الموجودة بين المدخلات المرئية والنصية، مما يجعل من الصعب على هذه النماذج فهم المدخلات البصرية. أما الثانية، فتتعلق بكيفية دمج الميزات المرئية والنصية ضمن إطار autoregressive، مما يؤدي إلى إهمال الإشارات المرئية لصالح المدخلات النصية.

لمعالجة هذه التحديات، اقترح المؤلفون استراتيجية مبتكرة تُسمى Filtered Pseudo-Gloss CTC Pretraining، والتي تستخدم تسلسلات دلالية تم تصفيةها من النصوص لتوجيه تدريب المكونات البصرية. كما تم تطوير استراتيجية تدريب جديدة تُعرف باسم Visual-Prioritized Distillation، حيث يُطلب من النموذج أن يعتمد على المدخلات البصرية فقط خلال عملية التنبؤ، مما يشجع النموذج على إعطاء الأولوية للمزايا البصرية.

تظهر النتائج التجريبية والدراسات النوعية فعالية هذه المقاربة، حيث تمكن SignLlama من تحقيق أداء تنافسي مع العديد من مجموعات البيانات لمهام GFSLT، دون الحاجة إلى أي أنماط إضافية أو مجموعات بيانات خارجية لتعليم لغة الإشارة. إن هذا التقدم يعد خطوة هامة نحو جعل لغة الإشارة أكثر قابلية للاستخدام وفهمها من قبل الآلات.

ما رأيكم في هذا التطور الكبير في عالم الذكاء الاصطناعي؟ شاركونا في التعليقات!