تعتبر نماذج الأساس الكبيرة (Large-scale foundation models) إحدى أهم التطورات في مجال الذكاء الاصطناعي، حيث تتمتع بأداء قوي يتجاوز مجالات متنوعة. ومع ذلك، فإن حجم هذه النماذج يجعل من عملية الاستدلال أمرًا مكلفًا، خاصةً بسبب عمليات ضرب المصفوفات الكثيفة (Dense Matrix Multiplications) المطلوبة.

تتجه الأبحاث السابقة إلى تقليل هذه التكاليف من خلال استبدال المصفوفات الكثيفة بأشكال مبنية على هياكل فعالة، مثل تحليل الدرجة المنخفضة (Low-rank Factorizations). إلا أن هذه الطرق تركزت على تقريب الأوزان، مما لا يؤثر بشكل مباشر على دقة النتائج النهائية الناتجة عن إدخالات النماذج.

في هذا الإطار، تقدم DyRA (Dynamic Residual Approximation) نهجًا جديدًا يتكيف مع ادخالات البيانات، حيث تعزز من دقة تقريب ضرب المصفوفات الهيكلية عن طريق تصحيح الأخطاء الناتجة أثناء عملية الاستدلال. توصلت الدراسات إلى أن العمليات القائمة على تحسين العوامل ذات الدرجة المنخفضة للعائدات يمكن أن تؤدي إلى تحسين أكبر في النتائج.

تقوم DyRA بتصحيح الأخطاء المضافة الناتجة عن التقريبات الهيكلية، مما يجمع بين حسابات فعالة وبين تصحيحات تعتمد على الإدخال، ويسهم ذلك في تحقيق تقريب أكثر دقة لعمليات ضرب المصفوفات ضمن نفس الميزانية الحاسوبية. وقد أظهرت DyRA زيادة في أداء النماذج بما في ذلك نماذج الرؤية والكلام واللغة، مما يحسن بشكل مستمر من تعادل الدقة والكفاءة مقارنة بطرق التقريب الهيكلية الأخرى.

من المثير للاهتمام أن DyRA تمكنت من تحقيق زيادة تصل إلى 1.5x في سرعة الأداء باستخدام وحدات معالجة الرسوميات (GPU) لنموذج DINOv3، بينما قللت من فقدان الدقة بأكثر من 3x مقارنة بالأساسيات القائمة على الأوزان فقط. يشير هذا الأنموذج إلى مستقبل واعد في تحسين أداء نماذج الذكاء الاصطناعي الكبيرة، مدعومًا بكفاءة وتقنيات مبتكرة.