في عالم الذكاء الاصطناعي، يتسم استخدام نماذج Transformer بتعقيداته الدقيقة، خاصةً عند التعامل مع آلية الانتباه التي تعمد إلى الربط بين المحتوى والموقع داخل التتابع. في دراسة جديدة، أظهرت النتائج أنه عند استخدام نقاط الإحداثيات القطبية (PoPE)، فإن هذه المعادلة يمكن أن تعزز الأداء إلى مستويات غير مسبوقة.
تعتبر نقاط الإحداثيات القطبية تحسيناً على نماذج RoPE التقليدية، حيث يتم فصل مفهومي 'ما' (what) و'أين' (where). هذا الفصل يعد خطوة هامة، خاصة عندما تتطلب بعض القرارات تطابقاً مستقلاً بين هذين العاملين. من خلال استخدام PoPE، تحقق نماذج Transformer أداءً أفضل في المهام التي تتطلب فهرسة فقط من خلال الموقع أو المحتوى.
تظهر أحدث الاختبارات أن نماذج الذكاء الاصطناعي التي تعتمد على PoPE تتفوق على الأساليب التقليدية، مثل RoPE، فيما يتعلق بخسارة التقييم (perplexity) وأداء المهام اللاحقة. وتحافظ هذه المزايا على استمرارها عبر مقاييس النماذج، من 124 مليون إلى 774 مليون معلمة.
الأهم من ذلك، أن PoPE تُظهر قدرات قوية في الاستقراء بدون عينة (zero-shot length extrapolation)، متفوقة ليس فقط على RoPE بل مقارنة أيضاً بطريقة YaRN المصممة للاستخراج ولكنها تتطلب تعديل إضافي وتداخل ترددي. هذا يفتح آفاق جديدة لتطوير تطبيقات أكثر قوة وابتكاراً في مجال الذكاء الاصطناعي.
تحرير الذكاء الاصطناعي: كيف غيرت نقاط الإحداثيات القطبية قواعد اللعبة!
أظهرت الأبحاث الجديدة أن فصل مفهوم 'ما' و'أين' في نماذج Transformer يعزز الأداء بشكل ملحوظ. النتائج تشير إلى تفوق نقاط الإحداثيات القطبية (PoPE) على الطرق التقليدية مثل RoPE.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
