جيت-لونج: ثورة في تحسين سياق النصوص الطويلة باستخدام تقنية روبي الهوائية الديناميكية

في عالم الذكاء الاصطناعي، تتطلب التطبيقات الحديثة مثل توليد النصوص المعززة بالاسترجاع (retrieval-augmented generation) وكتابة الأكواد على مستوى المستودعات (repository-level coding) طرقاً متقدمة للتعامل مع سياقات النصوص الطويلة. وقد اتضح أن الأساليب التقليدية لا تلبي احتياجات هذه التطبيقات؛ حيث أن استخدامها لثابت واحد لإعادة المقاييس يجعلها تتعثر في دقة النصوص القصيرة أو تفقد فعاليتها في النصوص الطويلة. هنا تأتي تقنية جيت-لونج (Jet-Long) كتطور مبتكر.

تقدم جيت-لونج طريقة جديدة خالية من التعديل للتعامل مع تحديات سياق النصوص الطويلة، حيث تجمع بين نافذة محلية تحافظ على ديناميكية تقنية روبي الهوائية (RoPE) مع نافذة طويلة المدى يتم تعديل معامل إعادة القياس فيها بشكل ديناميكي يعتمد على طول التسلسل الحالي. هذه التقنية تضمن دقة النموذج الأساسي في المدخلات القصيرة بينما تتيح توسيع فعّال للنصوص الطويلة.

ما يميز هذه الطريقة هو دمجها بين الانتباه والتصحيح الديناميكي للروبي الهوائية، مما يجعل البناء البصري ذا تكلفة شبه مجانية عند الاستدلال. وعند تضمينه في نواة CuTe الواحدة، تتمكن جيت-لونج من تحقيق زيادة في معدل الإنتاج تصل إلى $1.39 imes$ على أجهزة H100، بينما تبقى تكاليف الجيل لم تتجاوز 4% عند مختلف الأطوال.

علاوة على ذلك، سجلت جيت-لونج أفضل دقة على benchmark HELMET-RAG، ما يعكس كفاءتها العالية في تحقيق أداء طويل السياق. كما تمتاز هذه التقنية بقدرتها على التكيف مع بنى الانتباه الهجينة مثل Jet-Nemotron، مما يتيح تحسيناً إضافياً دون الحاجة إلى إعادة التدريب.

باختصار، تقدم جيت-لونج حلاً مبتكراً قادراً على تعزيز الأداء في مختلف المجالات من خلال تحسين معالجة النصوص الطويلة. ما هي توقعاتكم حول تأثير هذه التقنية على مستقبل الذكاء الاصطناعي؟ شاركونا آراءكم في التعليقات!