كيف تكشف نماذج اللغة عن ذاتها: تباين بين المعرفة الذاتية والتوقعات السلوكية

في دراسة مثيرة نشرت في arXiv، تم تناول قدرة نماذج اللغة (Language Models) على توصيف سلوكها الخاص ببلاغة ودقة. لكن هل تعكس تلك التوصيفات معرفة حقيقية بالنموذج ذاته؟ تم تحويل مفهوم المعرفة الذاتية إلى اختبار للتوقعات، حيث تم قياس سلوك النموذج عبر تسعة تقييمات سلوكية مختلفة.

إحدى النتائج المثيرة التي تم اكتشافها تتعلق بضعف دقة التقرير الذاتي للنموذج؛ إذ أظهر الاختبار ارتباطًا ضعيفًا (r = +0.04) وعند إظهار العناصر المحددة للنموذج، ارتفعت التوقعات إلى +0.24. لكن المقاربة التي تسأل عن "عملاء الذكاء الاصطناعي القادرين بشكل عام" حققت نتائج مشابهة (r = +0.28)، ما يشير إلى أن إجابات نماذج أخرى عن ذاتها يمكن أن تتنبأ بسلوك النموذج المستهدف بنفس جودة معرفته الذاتية.

علاوة على ذلك، لم تُظهر فروقات الحجم أي تغيير ملحوظ في هذا النمط؛ أي أن أي تحسينات في التوقعات لم تكن مرتبطة بتلك المعرفة الذاتية بل كانت متناسقة مع نظرية أفضل حول سلوك مساعدي الذكاء الاصطناعي. من جهة أخرى، كان للإطار الشخصي تأثير إيجابي وحيد، حيث يؤدي إلى تقليل الإبلاغ عن السلوكيات الضارة مقارنةً بنفس السؤال عن وكيل عام.

أخيرًا، يُظهر تحسين نماذج معينة بناءً على سجل سلوكها أنها يمكن أن تتعلم توقعات ضيقة، لكن تلك التعديلات أيضًا تغير من السلوك المُتوقع ولا تنقل تلك المكتسبات إلى نطاق أوسع.

هذه الدراسة تثير تساؤلات هامة: ما مدى معرفتنا عن نماذج الذكاء الاصطناعي وأي نوع من المعرفة تعبر عنه؟ وكيف يمكن أن تؤثر تلك التوقعات على تطبيقات الذكاء الاصطناعي في المستقبل؟ ما رأيكم في هذا التطور؟ شاركونا في التعليقات.