افصل بين العناصر! فهم معمق للتشفير المكاني والتمثيلات الدلالية في نماذج المرمّزات

تعتبر عملية تشفير المواقع (Positional Encoding) من الأبعاد الأساسية التي تحدد كيف تمثل نماذج Transformers ترتيب التسلسلات. ومع ذلك، يظل الفهم التفصيلي لكيفية معالجة وتخزين المعلومات المكانية غامضًا حتى الآن. يحاول البحث الحالي تسليط الضوء على هذا الغموض من خلال تحسين آليات التشفير المكاني، حيث تستند إلى أدلة تظهر أن الإشارات المكانية والدلالية تحتل أماكن شبه متعامدة في نماذج Transformers المدربة.

أجرى الباحثون تعديلات على نموذج Transformer ليقوم بمعالجة ثلاث تدفقات مفصولة بوضوح: التدفق الدلالي، التشفير المكاني المطلق (Absolute Positional) والتشفير المكاني النسبي (Relative Positional). ومن خلال تركيز هدف نمذجة اللغة المعنونة (Masked Language Modeling) على التدفق الدلالي، تمكّن الفريق من القيام بدراسة منهجية تنطوي على ثلاث نتائج رئيسية:
1. الفضاء الفرعي المعزول للتشفير المكاني المطلق ينهار بشكل تلقائي إلى شكل ثنائي الأبعاد منخفض التردد يحتفظ بهيكل الوثيقة؛
2. تتخصص رؤوس الاهتمام في مجموعات موجهة نحو الهيكل والدلالة، حيث يدعم التشفير النسبي الأخير المجموعة الدلالية فقط؛
3. التشفيرات المكانية القياسية لا تحتفظ بشكل قوي بالهيكل الكلي: حيث إن RoPE و RP تقوم بتشفيرها بشكل ضعيف، بينما يفقد AP المتشابك هذا الهيكل في الطبقات النهائية تحت ضغط نمذجة اللغة المعنونة.

تسمح هذه الطريقة المفصولة بالحفاظ على تشفير المواقع، مما يؤدي إلى تحسين العرض اللغوي في 49 من أصل 65 ظاهرة لغوية في معيار Flash-Holmes.

مما لا شك فيه أن هذه النتائج تفتح آفاقاً جديدة لفهم وتحسين أداء نماذج الذكاء الاصطناعي. ما رأيكم في هذه التطورات؟ شاركونا في التعليقات!