هل تعرف نماذج الذكاء الاصطناعي ما تعرفه؟ كفاءة الوعي الذاتي تحت المجهر!

في عالم الذكاء الاصطناعي، يعد فهم كيفية استغلال نماذج اللغات الضخمة (Large Language Models - LLMs) لمعرفتها أمراً محورياً. غالبًا ما يتم الاعتماد على مقاييس معينة مثل دقة التقييم (مثلاً ECE وBrier score) لفهم مدى ثقة هذه النماذج في إجاباتها، ولكن هل تعكس هذه القيم واقع هذه النماذج بدقة؟

لتشكيل إجابة دقيقة، يستخدم الباحثون نظرية اكتشاف الإشارات (Signal Detection Theory - SDT) لتفكيك هذه القدرات. الهدف هو قياس درجة ثقة النماذج في إجاباتها من خلال نظرية تعين متغيرات الثقة على مستوى التوكن (token-level normalized log-probability) وتحديد صحة الإجابة كحالة يتم فيها فرقها.

تم تطبيق هذا التحليل على أربع نماذج من LLMs، هي: Llama-3-8B-Instruct وMistral-7B-Instruct-v0.3 وLlama-3-8B-Base وGemma-2-9B-Instruct، والتي خضعت لـ 224,000 تجربة سؤال وإجابة.

النتائج تحمل مفاجآت:
1. تتفاوت المعلومات المعرفية بشكل أكثر من ضعف بين النماذج، وتتعاكس مع دقة الإجابات، مما يعني أن أقل النماذج دقة هي الأكثر معلوماتية في ثقتها.
2. تكشف الإشارات عن هيكل عدم تجانس متنوع خاص بالنموذج، مما لا يمكن التقاطه من خلال المعايير التقليدية.
3. تكشف المعلومات المعرفية عن هيكل محدث بحسب المجالات، حيث تبرز بالخصوص في مجالات الفنون والأدب.
4. يظهر التأثير المعروف بـ ‘temperature’ عدم التماسك بين الدقة والمعلومات المعرفية، مما يعني أن الإيمان بما يعرفه النموذج يبقى مستقراً رغم تذبذب دقته.

تم نشر النتائج مع إحصائيات دقيقة وبعيداً عن أي تحيزات.

في ظل هذه النتائج المدهشة، ما رأيك في مدى قدرة نماذج الذكاء الاصطناعي على الإحاطة بما تعرفه؟ هل تعتقد أن الأنظمة الحالية قادرة على تحقيق هذه الكفاءة؟ شاركنا برأيك في التعليقات!