تتبع الحالات أم تتبع المجموعات؟ اكتشاف رياضيات التعلم العميق في تتبع الحالات!

في عالم الذكاء الاصطناعي، يمثل "تتبع الحالات" (State Tracking) تحديًا تقنيًا يتطلب دمج سلسلة من التحديثات. لكن، هل يكشف مجرد دقة النماذج عما تعلمته؟ في دراسة مثيرة، قمنا بتحليل الشبكات العصبية المدربة على توقع ناتج العناصر المجمعة عبر خوارزميات تعلم عميقة مثل "ترانسفورمرز" (Transformers).

تقديم حلاً رياضيًا مبتكرًا، حددنا كيفية استعادة النماذج للفئة المجمعة بينما تتنبأ بشكل شبه متساوي بين أعضائها. مبدأ عبر قاعدة حجم الفئة يتنبأ بدقة جزئية دون الحاجة إلى معلمات مضبوطة، موسعًا النقاشات القائمة المتعلقة بالفئات غير المتناوبة.

تشير نتائجنا إلى أن تنبؤات نماذج الترنسفورمرز لدينا تتغير بشكل طفيف تحت إعادة ترتيب البادئات بعد حدود التتبع الدقيقة. لقد أثبتنا أنه بالنسبة للمجموعات المحدودة تحت إدخالات عشوائية موحدة، تقترب الدقة الأمثل من المقلوب لحجم فئة الـ "أبليان" (Abelianization) مع زيادة طول البادئة، وهو ما يتوافق مع البلاتوهات الملاحظة للفئات.

التحديثات المتسلسلة تتيح توسيع إمكانية معالجة البيانات، حيث أن أي تقسيم إلى مجموعات فرعية تبقى قوية حتى تحت التحديثات المتسلسلة. في مسحنا للترنسفورمرز القياسية، نجد أن كل تقسيم مستعاد يأتي من مجموعة فرعية طبيعية. في المقابل، تمر الشبكات العودية المتطابقة عبر مراحل متنوعة من المجموعات الفرعية.

في إطار تحليل المجموعة "A5"، حددنا الفضاءات منخفضة الأبعاد التي تشفر مجموعات غير طبيعية. في الحالات الثلاثية الأبعاد، تتكون متوسطات المجموعات من أشكال متعددة الوجوه تقريبًا، وهو ما يعكس التعقيد المميز الذي تستشعره النماذج عند معالجة المعلومات المعقدة.

تربط نتائجنا بدقة جزئية، مراحل التعلم، والحسابات الداخلية من خلال المجموعات الفرعية التي تتعلم النماذج تعقبها، ما يفتح الطريق لفهم أعمق لتفاعل الشبكات العصبية مع البيانات التي تعالجها.