في مجال الذكاء الاصطناعي والتعلم الآلي، تعد عملية الكوانتيزات (Quantization) من أهم العمليات التي تؤثر على أداء النماذج. تُعتبر التخفيفات العشوائية للزوايا خطوة فعالة قبل البدء في الكوانتيزات، حيث تساعد على تحويل توزيعات الإحداثيات إلى توزيعات قريبة من الغاوسي (Gaussian)، مما يمكّن من استخدام كودبوك (Codebooks) تم تحسينه مسبقاً.
يقدم الإطار الجديد TORQUE نهجاً مبتكراً يحسّن الأساليب السابقة في الكوانتيزات التي تستخدم التدويرات العشوائية. يركز TORQUE على تحسين عدد أي من الإحداثيات التي ينبغي الحفاظ عليها بدقة عالية، سواء قبل أو بعد إجراء التدوير، مع الالتزام بميزانية معينة للبتات.
فكرياً، عندما نقوم بالتدوير، فإن الحفاظ على الإحداثيات الكبيرة بدقة عالية قبل التدوير يمكن أن يساعد في تقليل الأخطاء بشكل كبير، حيث يمنع زحف القيم عبر العديد من الإحداثيات. كذلك، بعد إجراء التدوير، فإن الاحتفاظ بنسب صغيرة من أكبر الإحداثيات دقةً عالية يسمح للقيم المتبقية بأن تُكوانت بدقة أكبر، باستخدام كودبوك تم تحسينه مسبقًا لتوزيع الغاوسي المقتطع الناتج.
يستند الإطار إلى حد أعلى لخطأ الكوانتيزات ويدلل على أن الاحتفاظ بأفضل $k$ من الإحداثيات قبل التدوير يمكن أن يقلل من تلك الأخطاء. يتم تقليل البحث في مجموعة الإحداثيات إلى تحسين على $k$، مما يمكّن من استخدام مُحسّن سريع يعتمد على كودبوك خارجي واختيار معلمات متوازٍ لتنفيذ عملي وفعال.
من خلال التجارب العددية تحت نموذج الغاوسي، تظهر النتائج تحسناً ملحوظاً في التوازن بين الدقة في الاسترجاع وتكاليف التخزين، مما يجعل TORQUE إضافة قيمة إلى أدوات الذكاء الاصطناعي الحديثة.
TORQUE: إعادة هندسة الكوانتيزات لتحسين دقة التخزين وتقليل التكاليف
تقدم TORQUE إطاراً مبتكراً لتحسين عملية الكوانتيزات من خلال اختيار النقاط الأكثر أهمية للحفاظ عليها بدقة عالية. هذا الأسلوب الجديد يعد بتحقيق توازن أفضل بين دقة الاسترجاع وتكاليف التخزين.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←# تكنلوجيا# تكميم# دوران عشوائي# ذكاء اصطناعي# TORQUE# Quantization# Gaussian# Deep Learning# AI Framework
جاري تحميل التفاعلات...
