هل يمكن للتدريب بعد النموذج تحويل نماذج اللغة الضخمة إلى مسببين سببيين؟

في عالم الذكاء الاصطناعي، تُعد الاستدلالات السببية (Causal Inference) من المهارات الأساسية التي تساهم في اتخاذ القرارات الدقيقة، إلا أنها غالباً ما تمثل تحدياً للخبراء غير المتخصصين. لقد أظهرت نماذج اللغة الضخمة (LLMs) إمكانية واعدة في هذا المجال، لكن قدرتها على التقديرات السببية الدقيقة لا تزال محدودة.

تناولت دراسة جديدة سؤالاً مهماً: إلى أي مدى يمكن أن يحسن التدريب بعد النموذج (Post-Training) قدرة نماذج اللغة الضخمة على الاستدلال السببي؟

تقدم الدراسة مجموعة بيانات جديدة تُعرف باسم CauGym، والتي تحتوي على سبعة مهام سببية أساسية للتدريب وخمس مجموعات اختبار متنوعة. باستخدام هذه المجموعة، تم تقييم خمسة أساليب تدريب بعد النموذج وهي: SFT وDPO وKTO وPPO وGRPO.

أظهرت التجارب التي أجريت باستخدام مجموعة البيانات هذه أن التدريب بعد النموذج الموجه يمكّن نماذج اللغة الضخمة الأصغر من أداء الاستدلال السببي بشكل تنافسي، بل وغالبًا ما تتجاوز نماذجًا أكبر كثيرًا. على سبيل المثال، حقق نموذج مكون من 14 مليار معلمة دقة تصل إلى 93.5% في اختبار CaLM، مقارنةً بـ 55.4% التي حققها نموذج OpenAI o3.

علاوة على ذلك، تُظهر هذه النماذج المدربة بعد أنماط الاستدلال السببي قوة تعميم ومرونة في الظروف الواقعية، مثل الانزلاقات التوزيعية والبيانات المزعجة. وهذه النتائج تمثل أدلة منهجية لأول مرة على أن التدريب بعد النموذج الموجه يمكن أن يُنتج مسببين سببيين موثوقين وقادرين على التغلب على الصعوبات التقليدية المرتبطة بالاستدلال السببي. للمزيد من المعلومات، يمكنكم زيارة الرابط هنا.