في السنوات الأخيرة، ازدادت استخدامات نماذج اللغات الضخمة (LLMs) بشكل ملحوظ، خاصة في مجال تحسين جودة البيانات. ولكن، هل هي فعلاً فعالة كما يُزعم؟ دراسة جديدة أجرتها مجموعة من الباحثين تسلط الضوء على تناقضات فعالية هذه النماذج عند تقييم جودتها في مهمتين مختلفتين.

تُستخدم نماذج اللغات الضخمة عادةً للكشف التلقائي عن مشكلات جودة البيانات. وقد ركزت هذه الدراسة على اختبار نموذج لغوي واحد في مهام ذات صلة بسوق التجارة الإلكترونية، وذلك لمقارنة أدائه بأدوات تقليدية تعتمد على القواعد وأيضًا بالتحقق البشري كمعيار مرجعي.

بدأت الدراسة بفحص نموذج مطابقة الكيانات باستخدام مجموعة بيانات "Abt Buy"، حيث أظهرت النتائج أن الأداء كان متقاربًا بين القاعدة الأساسية القائم على القواعد، والذي حقق نتيجة F1=0.950، والنموذج اللغوي عند استخدامه بتقنية "zero-shot prompting"، الذي حقق نتيجة F1=0.948. ووجد الباحثون أن تعديل التقنية بناءً على عينات صغيرة قد يكون مضللاً، حيث تراجعت النتائج بشكل ملحوظ إلى F1=0.914.

من جانب آخر، وفي تخصص اكتشاف الأخطاء في تصنيفات العلامات التجارية، أثبت النموذج اللغوي جدارته بوضوح، حيث حصل على نتيجة F1=0.833، متفوقًا على القاعدة الأساسية التقليدية التي حققت F1=0.721. هذا التفوق يعود إلى قدرة النموذج على فهم العلاقات بين المنتجات والعلامات التجارية، وهو ما لا تستطيع الأنظمة التقليدية القيام به.

عند دراسة اتساق النموذج عبر عمليات متعددة، تبين أن النموذج يتفق مع نفسه بنسبة 99.7% في المتوسط، حيث كانت 99% من الزوجات تعطي نفس الأجوبة في جميع المحاولات. ومع ذلك، ارتفعت تكلفة الاستنتاج بشكل كبير مع استخدام التصويت بالأغلبية لتحسين النتيجة، مما يثير التساؤلات حول جدوى هذا الأسلوب.

تشير هذه النتائج إلى أن الفائدة من استخدام نماذج اللغات الضخمة على الأساليب التقليدية تعتمد بشكل كبير على طبيعة المهمة. إذ تقدم LLMs مزايا واضحة في المهام التي تتطلب معرفة عميقة، في حين قد لا تكون ذات فائدة كبيرة عند وجود إشارات لغوية قوية بالفعل.