ثورة في كفاءة نماذج اللغة: ضغط السياق بشكل مبتكر!

في عالم التكنولوجيا السريع، يواجه نموذج اللغة طويل السياق (Long-context Language Model) تحديات كبيرة، خاصة عندما يتعلق الأمر بالذاكرة. فمع زيادة طول السياق، يتوسع تخزين الزوج المفتاح-القيمة (KV cache) بشكل يعيق الأداء. لذلك، ظهرت أساليب جديدة لضغط هذا التخزين، إلا أن العديد منها لم يكن كافيًا، حيث تؤدي إلى تقليل جودة النموذج أو تتطلب وقتًا وموارد ضخمة لتقليل أحجام السياقات الطويلة.

قد تبدو مقاربات ضغط البيانات المتمثلة في استخدام ضغوطات معينة (Encoder-decoder compressors) واعدة في المبدأ، حيث تقوم بتحويل تسلسل طويل من الرموز إلى تسلسل أقصر من التضمينات التي يستفيد منها جهاز فك التشفير (Decoder). لكن حتى الآن، لم تكن تلك الأساليب قادرة على المنافسة مع تقنيات ضغط تخزين المفتاح-القيمة من حيث الدقة والكفاءة.

في هذا السياق، أجرينا دراسة معمقة حول ضغط بيانات التشفير-فك التشفير، مما أدى إلى نتائج مبشرة. قام فريقنا بتصميم مسبق لمجموعة من النماذج التي تتضمن نموذج تشفير بقدرة 0.6 مليار ونموذج فك تشفير بقدرة 4 مليارات، تم تدريبها على أكثر من 350 مليار رمز لكل منها، وذلك بتحقيق نسب ضغط تبلغ 1:4، 1:8، و1:16.

نُقدم لكم نموذج اللغة المتضمن لضغط السياق (Latent Context Language Models - LCLMs)، الذي يمثل إنجازًا بارزًا في تحقيق التوازن بين الأداء، سرعة الضغط، واستخدام الذاكرة القصوى. وقد أثبتت LCLMs فعالية عالية، حيث أصبحت العمود الفقري للعملاء أصحاب النطاق الطويل، مما يسمح لها بتمرير السياق الطويل المضغوط واختيار المقاطع ذات الصلة عند الحاجة، وبالتالي فتح آفاق جديدة في عالم الذكاء الاصطناعي وعلوم البيانات.