تحولات هادامارد العشوائية: استراتيجية مبتكرة لتعزيز كفاءة الكمات!

تُعد التحولات العشوائية (Randomized Hadamard Transforms) من الأدوات الثورية في عالم الذكاء الاصطناعي، حيث تُستخدم بشكل متزايد في مجالات مثل ضغط الدرجات، تسريع الاستدلال، وضغط ذاكرة KV-Cache. يُعتبر الحفاظ على التوجه المعياري أمراً بالغ الأهمية لتقديم الأداء الأمثل، ولهذا تُستبدل عادةً عمليات الدوران العشوائي المنتظم (Uniform Random Rotations) بـ RHTs، التي تقدم تنفيذات سريعة مع الحفاظ على التوجيه.

ومع ذلك، تبقى هناك تساؤلات حول أداء هذه التحولات في أسوأ الظروف. في الواقع، تقوم URRs بتوزيع كل إحداثية كمتغير يعتمد على توزيع بيتا المُزاح، مما يتقارب نحو توزيع غاوسي في الأبعاد العالية. لكن عند استخدام RHT وحيد، قد تكون النتائج أقل دقة؛ حيث يمكن أن تكون الإحداثيات بعيدة عن هذه التوزيعات.

لكن الباحثون أظهروا أنه عند تركيب تحولين من RHT على أي متجه إدخال بحجم $d$، فإن التوزيع الهامشي لكل إحداثية ثابتة يتم تدويره سيكون قريباً من توزيعات غاوسية بشكل ملحوظ. وهذا يعني أنه من الممكن تحقيق أداء يقارب URRs باستخدام تحولين من RHT. ومع ذلك، تبين أن هذا قد لا يكون كافياً لتقنيات الكمات الشبيهة بالشبكات (Vector Quantization)، والتي تتطلب تبايناً ضعيفاً عبر كتل الإحداثيات المُرسخة.

لذلك، أظهرت الدراسة أن تركيب ثلاثة RHTs يمكن أن يقلل من التباين بين الإحداثيات، مما يضمن احتمالية خطأ مشابهة لتلك التي تحققها URRs. وأخيراً، اقتُرح استخدام فحص خطي لمدى الدخل لضبط عدد RHTs المستخدمة في فترة التشغيل، مما يساعد على تحسين الأداء بشكل ديناميكي.

هذه النتائج الجديدة لا تفتح فقط آفاقاً جديدة لتحسين تقنيات الكم، بل تُبرز أيضاً أهمية البحث المستمر في هذا المجال. كيف ترى تطور هذه الاستراتيجيات في عالم الذكاء الاصطناعي؟ شاركونا آرائكم!