اكتشاف الأسرار الكامنة في نماذج اللغات الضخمة: قياس عدم اليقين في توليد النصوص الطويلة

في عصر تكنولوجيا الذكاء الاصطناعي، تواجه نماذج اللغات الضخمة (LLMs) معضلة ملحة متعلقة بتوليد النصوص الطويلة. حيث يتطلب الأمر ليس فقط إنتاج نصوص طويلة، بل أيضاً قياس عدم اليقين (Uncertainty) الناجم عن هذه التوليدات بدقة.

تعتبر عملية قياس عدم اليقين أمرًا حيويًا يحمل في طياته تحديات كثيرة، إذ لا تقتصر على إلغاء الاستجابات غير الدقيقة. إنّما يتطلب الأمر تقييم الأخطاء على مستويات دقيقة للغاية تتراوح بين العناصر الفردية وصولاً إلى التوليد الكامل. ومع أن هناك طرقًا موجودة للتعامل مع هذه الأمور، إلا أن تقييم عدم اليقين يعتبر معقدًا وبالغ الحساسية للأخطاء في التسميات.

مؤخراً، تم تقديم معيار جديد يُدعى "هدف النص الطويل ذي الإجابة الفردية" (Single-answer Atomic Long-form Target - SALT)، وهو معيار يتضمن ستة مهام تم إنشاؤها بشكل إجرائي مع نصوص طويلة دقيقة، مما يتيح تقييمًا دقيقًا لتصحيح النماذج دون الحاجة إلى قضاة خارجيين.

من خلال استخدام SALT، تم تحليل أكثر من 50 نموذجًا من نماذج اللغات الضخمة، مما أدى إلى استخراج رؤى رئيسية حول كيفية تأثير عدم اليقين. اتضح أن تصنيفات الثقة (Confidence functions) تختلف في قوتها استنادًا إلى كل جانب من جوانب عدم اليقين. ومن المثير للاهتمام أن تصنيفات الثقة تميل إلى الانهيار عند مستوى العناصر الفردية، رغم أن فواصل أوضح تظهر عند تحليل الوحدات في مستويات أعلى.

كما تتيح SALT تدخلات مستهدفة على مستوى العناصر خلال عملية التوليد، مما يظهر محركات منفصلة تؤدي إلى الأخطاء المستقبلية. يتضمن ذلك انتشار الأخطاء من النصوص المتدهورة، وتأثير طول النص على دقة الإجابة.

ويضفي الطرح المنطقي عبر "التفكير المتسلسل" (Chain-of-Thought prompting) تأثيرات كبيرة، إذ أنه يعزز الدقة بينما يقوض تصنيف الثقة. هذه النتائج تحمل أهمية كبيرة للتطبيقات الحرجة التي تتطلب تحديد الأخطاء وإدارتها بشكل موثوق.

ما رأيكم في هذه التطورات الجديدة في نماذج اللغات الضخمة؟ شاركونا في التعليقات.