في عالم يزداد فيه الاعتماد على الذكاء الاصطناعي، أصبحت نماذج اللغة الضخمة (LLMs) أداة قوية لتحليل النصوص المؤسسية وتحويلها إلى متغيرات تجريبية. ولكن، هل نحن متأكدون من أن النتائج التي نحصل عليها متسقة عبر نماذج مختلفة؟

قام الباحثون بدراسة مدى تأثير اختيار النموذج على القياسات المستندة إلى النصوص باستخدام ثلاثة عشر مقياساً، تضمنت المشاعر، وضوح الإدارة، عدم اليقين، دقة الإجابات، والمخاطر المناخية والسياسية. وقد تم تقييم نصوص مكالمات الأرباح لـ 500 شركة من مؤشر S&P 500 عبر سبعة نماذج لغوية مُقدمة من مزودين مختلفين.

النتائج كانت مثيرة للدهشة! حيث أظهرت correlations (ترابط) عبر النماذج بلغ متوسطه فقط 0.52، في حين أن الاختلافات على مستوى النصوص، المشتركة عبر المزودين، تفسر 34% فقط من التباين في الدرجات. وهذا يعني أن التباين في النتائج ناتج بشكل رئيسي عن مكونات نموذجية خاصة بدلاً من غموض مشترك في الإفصاح.

علاوة على ذلك، يؤثر اختيار النموذج بشكل كبير على الاستنتاجات اللاحقة، حيث تختلف أحجام المعاملات، والإشارات، والأهمية الإحصائية بشكل واسع عبر النماذج. إن استخدام متوسط الدرجات عبر المزودين يجعل تصنيفات النصوص أكثر استقرارًا لمعظم المقاييس، لكن مستويات الدرجات تظل حساسة للنماذج المدخلة في المجموعة.

لذلك، من الضروري التعامل مع المتغيرات الناتجة عن نماذج اللغة الضخمة كقياسات تعتمد على النموذج، والتحقق من دقتها عبر مزودي الخدمة.

إذا كنت تعمل في مجال تحليل البيانات أو تمثل شركة تستثمر في هذه التكنولوجيا، ما رأيك في هذه النتائج؟ هل توافق على أهمية اختيار النموذج في تحليل النصوص؟ شاركنا برأيك في التعليقات!