في عالم الذكاء الاصطناعي، تظل آليات التعميم خارج النطاق (Out-Of-Distribution - OOD) واحدة من أكبر التحديات التي تواجه الباحثين. يعتمد هذا المقال على دراسة تقدم تحليلاً عميقًا باستخدام نظرية القياس وكيفية تطبيقها على نماذج اللغات الضخمة (Large Language Models - LLM).

تركز الدراسة على كيفية استنتاج المعلومات من أنظمة معقدة باستخدام تقنيات رياضية مثل النقل الأمثل (Optimal Transport). تستند الفرضيات إلى مبدأ قياس التغيرات بين المجالات باستخدام مسافة وارسشتاين (Wasserstein-1 Distance). من خلال الاستناد إلى ثنائية كانتورفيتش (Kantorovich Duality)، تم وضع حدود على التعميم خارج النطاق اعتمادًا على استمرارية ليبشيتز المعمارية (Architectural Lipschitz Continuity) وحدود التقريب الوظيفية.

تعرض النتائج قيودًا رئيسية تؤثر على أداء النماذج في السيناريوهات المعقدة. أولاً، آليات الانتباه المعتمد على الموضع مثل التشفير المطلق للموضع (Absolute Positional Encoding) تفتقر إلى الحفاظ على ثبات التحول، مما يؤدي إلى خطر مرتفع في الأداء. بالمقابل، الآليات الثابتة التحول (Shift-Invariant Mechanisms) مثل التشفيرات الدائرية (Rotary Embeddings) تحتفظ بدرجات من الثبات وتقيد الخطأ.

علاوة على ذلك، من خلال ربط التعقب التسلسلي بلغة ديك-$k$ (Dyck-$k$ Language)، تم تحديد حد أدنى صارم لعمق الدائرة يمكن تحقيقه لـ Transformers في فئة TC^0. يُعتبر زيادة عمق الطبقات الفيزيائية أمرًا ضروريًا لتفادي انهيار التمثيل، وهو أمر لا يمكن تجاوزه من خلال زيادة عرض التمثيل بسبب حدود الاقتراب غير القابلة للتقليل في مساحات بارون (Barron Spaces).

تثبت التقييمات التي أجريت عبر 54 تكوينًا من Transformers في سياقات البحث التوافقي هذه الحدود، مما يظهر أن خطر التعميم ينخفض بانتظام مع تحولات مجال وارسشتاين.

إن هذا البحث يفتح الأبواب أمام استكشافات جديدة في كيفية تحسين نماذج الذكاء الاصطناعي وجعلها أكثر فعالية في التعامل مع البيانات المعقدة.
ما رأيكم في هذه الاكتشافات المثيرة؟ شاركونا في التعليقات!