أصبح استخدام نماذج اللغة الكبيرة (LLMs) في تقديم المعرفة السببية السابقة لاكتشاف الأسباب الهيكلية أمرًا شائعًا بشكل متزايد. ومع ذلك، لا يزال السؤال حول ما إذا كان يمكن الوثوق في أحكام النموذج المباشرة وثقتها أمرًا غير واضح. وقد قمنا بتقييم منهجي لـ 12 نموذجًا مفتوح الوزن تم ضبطه حسب التعليمات عبر ستة مخططات سببية مرجعية، وخمس استراتيجيات تحفيز، وأربعة مصادر للثقة.

بموجب بروتوكول المقارنة الثنائي الخاص بنا، توصلنا إلى ثلاثة اكتشافات رئيسية:

1. **الأحكام السببية تستند إلى الاسترجاع**: يبدو أن النماذج تفترض شبكات كثيفة للغاية، مع العديد من الحواف الإيجابية الزائفة، حيث يغير التحفيز في الأساس توازن الدقة والذكاء، بدلاً من حل مشكلة التنبؤ المفرط.

2. **تحديد العلاقات السببية بدقة**: الكثير من نماذج اللغة كبيرة الحجم تمر بتحديات في تحديد العلاقات المباشرة والاتجاه، حيث يتم تصنيف نحو 40% من الحواف غير المباشرة بشكل خاطئ، مع مستويات ثقة مرتفعة بشكل مبالغ فيه تصل إلى 80%.

3. **تقديرات الثقة التقليدية ليست موثوقة**: تظهر البيانات أن تقديرات الثقة القائمة على اللوجيت تتجه نحو 1.0 بغض النظر عن الدقة، مما يعني أن الاعتماد على الثقة ليس هو الحل الذكي.

بناءً على هذه النتائج، فإن نماذج اللغة الكبيرة يجب أن تُعتبر مصادر للمعرفة السببية المعتمدة خارجيًا بدلاً من أن تُعتبر دليلًا مباشرًا على الهيكل السببي، مما يفتح المجال لمزيد من البحث والتطوير في هذا المجال الحيوي. هل تعتقد أن هذه النماذج يمكن أن تتطور لتكون أكثر موثوقية في المستقبل؟ شاركونا آرائكم في التعليقات!