في عالم الذكاء الاصطناعي المتطور، تمثل طريقة شامان-كي (ShamAN-Q) نقلة نوعية في مجال قياس الأوزان للنماذج اللغوية. تعتمد هذه الطريقة على تقنية كمية جديدة تحت 1 بت، حيث تحل خطط القياس الكمية التقليدية بإعادة تصميم هندسة الاسترجاع باستخدام مقياس انحناء كثيف قابل للمعالجة، مستلهمًا من نموذج شامبو (Shampoo) الشهير.

آلية عمل شامان-كي تتضمن تعديل كل وزن خطي عبر تركيب كراكنر (Kronecker product) على مصفوفة معلومات فيشر (Fisher information matrix) من مجموعة معايرة صغيرة، مما ينتج عنه فقدان استرجاع موهالانوبس (Mahalanobis reconstruction loss) من النتائج.

تعد التحديثات المستمرة باستخدام أسلوب ADMM من شامان-كي حلولًا لمعادلات سيلفستر (Sylvester equations)، بينما يبقى تنسيق الإسقاط والتطبيق كما هو دون تغيير. بفضل كون الانحناء محليًا لمجموعة معينة من الأوزان، تعيد شامان-كي قياس إحصائيات منحنى المدخلات لكل طبقة قبل عملية تحليل الطبقات، مما يضمن تحديث كل الإحصائيات بشكل دوري على النموذج الجزئي الكمي.

علاوة على ذلك، تقوم شامان-كي بإعادة توزيع الرتبة الموحدة عبر الطبقات مع الحفاظ على العدد الإجمالي للبتات. تجاربها على نموذج Qwen3-Base أثبتت فعالية مذهلة، حيث خفضت درجة تعقيد (perplexity) WikiText-2 بشكل ملحوظ من 27.56 إلى 22.96 باستخدام 0.6B، مع تحسين أداء دقة التقيمات.

بينما تتحد شامان-كي مع أو أحدث مخرجات NanoQuant، تفتح هذه التقنية آفاقًا جديدة في عالم نماذج الذكاء الاصطناعي.

هل أنتم مستعدون لاستكشاف هذه التقنية المبتكرة؟ شاركونا آراءكم وتجاربكم في التعليقات!