هل يمكن للذكاء الاصطناعي أن يقدم إجابات موثوقة؟ دراسة تكشف العلاقة بين نوع السؤال وموثوقية النماذج اللغوية!

في عالم الذكاء الاصطناعي، يُعتبر تقييم النماذج اللغوية (Large Language Models) أمرًا حيويًا لفهم فكرتها القيمية وموثوقيتها. لكن هل تساءلت يومًا عن مدى دقة هذه النماذج عند التعامل مع أنواع مختلفة من الأسئلة؟ في دراسة جديدة نُشرت على منصة arXiv، تم استقصاء العلاقة بين موثوقية الردود والمعايير المستخدمة في صياغة السؤال.

مبدئيًا، تناولت الدراسة تقييم أربعة عائلات من النماذج المُدربة باستخدام التعليمات على ثلاثة مجموعات بيانات موضوعية (مثل MMLU وARC وCulturalBench) وثلاث مجموعات بيانات ذات طابع شخصي (مثل Political Compass Test وValueBench وWorld Values Survey). وأوضحت النتائج أن موثوقية الإجابات تعتمد بشكل كبير على نوع السؤال، إذ إن الأسئلة الموضوعية التي لديها إجابات ثابتة تظهر استجابة أكثر استقرارًا مقارنة بالأسئلة الذاتية التي تستند إلى الآراء أو القيم.

عندما تم تغيير صياغة أو تنسيق الأسئلة، تم استخدام معادلات الحساب العام لتحديد التأثيرات، حيث أظهرت النتائج تباينات ملحوظة. هذا يُشير إلى أن ثبات الردود في النماذج اللغوية ليس ثابتًا، بل يتأثر بنوع السؤال، والتعديلات في الصياغة، وكذلك نوع النموذج المستخدم.

الخلاصة هي أن موثوقية استجابات النماذج اللغوية ليست مجرد مسألة تقنية، بل ترتبط إلى حد كبير بكيفية طرح الأسئلة. لذا، هذا يدعونا للتفكير في كيفية تحسين هذه الأسئلة لاستغلال القدرات الحقيقية للنماذج اللغوية.

ما رأيكم في هذا الاكتشاف؟ هل تعتقدون أن هناك عوامل أخرى يمكن أن تؤثر على موثوقية النماذج اللغوية؟ شاركونا في التعليقات.