في السنوات الأخيرة، حققت نماذج اللغات الكبيرة (Large Language Models - LLMs) إنجازات ملحوظة في العديد من المجالات، ومع ذلك، فإن متطلبات الموارد المرتفعة لهذه النماذج تعيق نشرها على الأجهزة ذات الموارد المحدودة. وعليه، يبرز الترميز الكمي كنهج فعال، إلا أن الطرق التقليدية عادةً ما تؤدي إلى تدهور الأداء ملحوظ بسبب استخدام عرض بتات موحد أو تقييم حساسية بسيط.

في هذا السياق، نقدم تحسنًا ثوريًا يتمثل في خوارزمية FAMPWQ (Fisher Information-based Adaptive Mixed Precision Weight Quantization) التي تعتمد على مقياس معلومات فيشر لأداء تحويل وزن نموذج اللغة الكبيرة بفعالية على وحدات معالجة الرسوميات الشائعة.

تقوم هذه التقنية بإجراء تحويل وزن ملائم لكل طبقة، حيث نستعرض أولاً نموذجًا نظاميًا يستخدم مقياس معلومات فيشر لقياس الحساسية للكمية على مستوى الطبقات. كما نقدم محرر لتخصيص عرض البتات يعتمد على التعلم المعزز (Reinforcement Learning) في FAMPWQ، مما يتيح استراتيجية تخصيص عرض بتات متكيفة بناءً على مقياس حساس المعلومات.

أظهرت التجارب الواسعة على سبع نماذج وخمسة مقاييس أن FAMPWQ تتفوق بشكل كبير على سبع طرق أساسية من حيث تقليل PPL (حتى 3.39 أقل) وزيادة الدقة (حتى 6.87% أعلى) ومقارنة نماذج LLM كحكم (تصل إلى 76% معدل فوز).

إن FAMPWQ ليست مجرد تقنية جديدة، بل تمثل خطوة مهمة نحو تعزيز إمكانية استخدام نماذج اللغة الكبيرة على نطاق واسع، مما يسهل الاستفادة منها في التطبيقات التي تتطلب موارد محدودة. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.