تشهد نماذج اللغات المكممة (Quantized Large Language Models) ارتفاعًا في استخدامها ضمن مجالات التحليل النوعي، نظرًا لسرعتها وكفاءتها في استخدام الموارد الحاسوبية. وفي دراسة جديدة تناولت تفاصيل أداء نموذج LLaMA-3.1 (8B) تحت مستويات تكميم مختلفة (8-بت، 4-بت، 3-بت، و2-بت)، أشارت النتائج إلى تحديات تتعلق بمعدل حدوث الأخطاء (hallucinations) وعدم الاستقرار، خاصة عند التعامل مع نصوص غير متخصصة تحتوي على مصطلحات غير واضحة.

لتحسين أداء هذه النماذج، اقترح الباحثون استخدام طريقة تحقق متعددة الخطوات (multi-pass prompt verification) تركز على تقليل الأخطاء. تتضمن هذه الطريقة خطوات منضبطة لضمان التدقيق في النتائج قبل الانتقال إلى النصوص التالية، مما يسهل الحصول على معلومات دقيقة وموثوقة.

لتأكيد فعالية الطريقة، قام الباحثون باستخدام مبرمجي نصوص بشرين (human coders) لتحليل المقابلات باستخدام برنامج NVivo، ووجدوا أن نموذج BF16 LLaMA-3.1 أنتج نتائج دقيقة ولكن مع بعض الأخطاء الممكنة في المعاني، والتي تمت تصحيحها يدويًا. ونتيجة لدمج النتائج المصححة مع البيانات المبرمجة بواسطة البشر، تم إنشاء قاعدة بيانات ذات معيار ذهبي (Gold-Standard Ground Truth) لاستخراج المواضيع وتحليل التكرار.

أظهرت النتائج أن نماذج 8-بت كانت الأقرب إلى المعايير الذهبية، بينما فقدت نماذج 4-بت بعض الدقة لكنها أصبحت أكثر استقرارًا عند تطبيق الطريقة المقترحة. من جهة أخرى، تراجعت أداء نماذج 3-بت و2-بت بسبب ضغط البيانات الشديد، إلا أن تطبيق التصميم والتحقق المقترح ساهم في تحسينها.

أخيرًا، أكدت الدراسة على أن النماذج ذات نفس مستوى التكميم قد تتصرف بشكل مختلف اعتمادًا على نوع التكميم المستخدم. بشكل عام، تسهم هذه الطريقة في جعل نماذج اللغات المكممة ذات الموارد القليلة أكثر استقرارًا ودقة وملاءمة لأبحاث الجودة بتكلفة أقل.