في عالم الذكاء الاصطناعي، تلعب نماذج Transformers دورًا حاسمًا في معالجة البيانات، خصوصًا في السيناريوهات المعقدة ذات السياقات الطويلة. تعتمد هذه النماذج أساسًا على آليات دمج المواقع لتحديد العلاقات بين العناصر المختلفة في البيانات. ومن بين هذه الآليات، برزت تقنية دمج المواقع الدوارة (Rotary Position Embedding أو RoPE)، التي تميزت بتضمين المعلومات المكانية من خلال دورات ثنائية الأبعاد مستقلة، مما يمثل مصطلحات مواقع نسبية ضمن آلية الانتباه الذاتي.

لكن، كانت هناك قيود تفرضها هذه البنية على العمق والمرونة، مما أثر على قدرة النماذج على الاختلاط العميق والموثوقية عبر القنوات. في ظل هذه التحديات، تم تقديم تقنية جديدة تسمى HD-RoPE، التي تأخذ RoPE إلى آفاق جديدة من خلال توسيعها من دورات ثنائية الأبعاد إلى دورات عالية الأبعاد.

تمتاز HD-RoPE بإدخال قاعدة متعامدة من نوع Paley-I، مما يتيح دمجًا متوازنًا وكثيفًا بين مختلف الأبعاد الدوارة. هذه التقنية لا تعزز فقط تماسك القنوات وزيادة درجات الحرية الدورانية، بل تحتفظ أيضًا باستقرارها المتعامد وخصائص الإغلاق بالنسبة للمواقع النسبية.

بالإضافة إلى ذلك، يمكن تحسين HD-RoPE بسهولة من أجل كفاءة هندسية أفضل، دون الحاجة لإدخال معلمات قابلة للتدريب إضافية. وقد تم إجراء تقييم شامل أثبتت فيه HD-RoPE تحقيق تحسينات كبيرة في الأداء مقارنة بتقنية RoPE القياسية، وذلك عبر معايير مشهورة في كل من السياقات الطويلة والقصيرة.