في عالم الذكاء الاصطناعي الحديث، تأخذ نماذج اللغة المتكررة (LoopLMs) خطوة إلى الأمام من خلال تحسين كفاءة المعلمات عن طريق إعادة استخدام كتل الـTransformer بشكل متكرر. هذا التقدم منذ بزوغ أفكار نماذج اللغة، يعكس دعماً كبيراً لتقنيات التعلم الآلي، إلا أن التحديات الجديدة قد اكتسحت الساحة.

تتجاوز قضية إعادة الاستخدام البسيطة مخاوف الأداء، حيث تجعل LoopLMs أكثر هشاشة أثناء الكوانتيزايشن بعد التدريب (Post-training Quantization PTQ). لذا، تمّت دراسة هذه القضايا النظامية للمرة الأولى، وتعريف تحديات ثلاث رئيسية: انتقال التوزيع عبر الأدوار، إعادة استخدام الحالة عبر تحولات الحلقة، وتراكم الأخطاء المتكررة.

للتصدي لهذه التحديات، أُطلق على هذا الابتكار اسم LoopQ، وهو إطار عمل لوعي الحلقات يسمح بالحفاظ على بنية مشتركة كمية مع إدخال تعديلات بسيطة. يجمع LoopQ بين تقنيات مثل توسيع التنشيط، التحويل الانتقائي، محاذاة الحالة عبر الحلقات، وتحسين مستند إلى مسار الحركة، مما يقلل الفجوة التوزيعية داخل الحلقات وتراكم الأخطاء عبرها.

أظهرت التجارب التي تم إجراءها على سبعة معايير مختلفة أن LoopQ، باستخدام كوانتيزايشن W4A4، قد حسّن دقة الأداء بنسبة 68.8% بينما قلّل الارتباك بنسبة 87.7% مقارنة بأقوى قاعدة بيانات ثابتة لـ PTQ.

إن هذه الإنجازات تمثل خطوة عملاقة نحو تحسين نماذج التعلم الآلي، مما يفتح آفاق جديدة للتطبيقات العملية في مجالات متعددة.