اكتشاف OSCAR: ثورة في تصميم خوارزمية تخزين الكاش لتسريع نماذج الذكاء الاصطناعي

في الآونة الأخيرة، أقام الباحثون ثورة جديدة في مجال [تخزين الكاش](/tag/[تخزين](/tag/تخزين)-الكاش) في [نماذج](/tag/نماذج) الذكاء الاصطناعي، حيث تم تقديم [خوارزمية](/tag/خوارزمية) OSCAR: Offline Spectral Covariance-Aware Rotation. تهدف هذه [التقنية](/tag/التقنية) إلى [تحسين أداء](/tag/[تحسين](/tag/تحسين)-[أداء](/tag/أداء)) [نماذج [اللغات](/tag/اللغات) الضخمة](/tag/[نماذج](/tag/نماذج)-[اللغات](/tag/اللغات)-الضخمة) (Large Language [Models](/tag/models)) من خلال استخدام الطرق المنخفضة البت (Ultra-low-bit) في عملية [التخزين](/tag/التخزين).

بينما كانت [تقنيات](/tag/تقنيات) مثل التدوير البسيط (Simple Rotations)، مثل [تحويلات](/tag/تحويلات) هادامارد، تعمل على تقليل القيم الشاذة، إلا أنها لا تزال تُظهر تدهوراً في [الأداء](/tag/الأداء) عند استخدام INT2، حيث لا تتماشى مع [الانتباه](/tag/الانتباه) التفاعلي (downstream attention). ومع ذلك، تقدم OSCAR طريقة مبتكرة لحل هذه المشكلة من خلال تقدير البنى التلافيفية (Covariance Structures) التي تأخذ في الاعتبار [الانتباه](/tag/الانتباه).

تقوم الخوارزمية OSCAR بتحديد دورات ثابتة وفواصل قص (Clipping Thresholds) لتخزين الكاش، مما ينسجم مع البنى التي يحتاجها [الانتباه](/tag/الانتباه) الفعلي. بالإضافة إلى ذلك، يوجد تبرير نظري لهذه المنهجية، كما تم [تطوير](/tag/تطوير) نظام OSCAR بالكامل بحيث يتماشى مع [أنظمة](/tag/أنظمة) الخدمة الحديثة مثل [SGLang](/tag/sglang) و [vLLM](/tag/vllm).

تم [تقييم](/tag/تقييم) طرق OSCAR على [نماذج تفكير](/tag/[نماذج](/tag/نماذج)-[تفكير](/tag/تفكير)) حديثة بأثر تصل إلى 32 ألف توكن [عبر](/tag/عبر) 5 مهام مختلفة. وأسفرت النتائج عن تقليص [الفجوة](/tag/الفجوة) في [دقة](/tag/دقة) BF16 إلى 3.78 و1.42 نقطة على التوالي، بينما انهار [الأداء](/tag/الأداء) مع التقنيات التقليدية المتمثلة في التدوير البسيط. وعند تطبيق OSCAR على [نماذج](/tag/نماذج) أكبر مثل Qwen3-32B و GLM-4.7، أظهرت النتائج تفوق أداءً في [الدقة](/tag/الدقة).

على صعيد النظام، ساهمت OSCAR في تقليل استهلاك [ذاكرة](/tag/ذاكرة) [تخزين الكاش](/tag/[تخزين](/tag/تخزين)-الكاش) بحوالي 8 مرات، وزيادة [الإنتاجية](/tag/الإنتاجية) حتى 7 مرات أثناء العمل بأحجام دفعات كبيرة، مع [تسريع](/tag/تسريع) عملية [فك الشيفرة](/tag/[فك](/tag/فك)-الشيفرة) بحجم دفعة يبلغ 1 حتى 3 مرات مقارنةً بـ BF16. هذه التطورات تفتح آفاق جديدة في عالم الذكاء الاصطناعي، مما يعزز [كفاءة](/tag/كفاءة) [نماذج [اللغات](/tag/اللغات) الكبيرة](/tag/[نماذج](/tag/نماذج)-[اللغات](/tag/اللغات)-الكبيرة).

في ضوء هذه الابتكارات، ما رأيكم في قدرة OSCAR على تغيير [مستقبل](/tag/مستقبل) [نماذج الذكاء الاصطناعي](/tag/[نماذج](/tag/نماذج)-الذكاء-الاصطناعي)؟ شاركونا في [التعليقات](/tag/التعليقات).