في عالم الذكاء الاصطناعي، تعتبر معالجة اللغة البشرية واحدة من أكثر المجالات تعقيدًا وتحديًا، خاصة عند استخدام نماذج اللغة الكبيرة (Large Language Models) في سياقات متخصصة. أحدثت دراسة جديدة على نموذج AMALIA، وهو نموذج للغة البرتغالية تم تطويره بتمويل عام، ضجة في الأوساط الأكاديمية والتقنية. حيث تشير النتائج إلى أن AMALIA، الذي يمتلك 9 مليارات معلمة، يتفوق في بعض الجوانب على النماذج الكبيرة الأخرى، ولكنها تثير تساؤلات عميقة حول موثوقية صلاحيته كمؤشر للقيم الأخلاقية.

تم استعراض أداء AMALIA في تحليل الأسس الأخلاقية للسلطة، حيث أظهر توافقًا ملحوظًا مع المدونين المدربين من البشر، وذلك بفارق لا يتجاوز ست نقاط على مقياس F1 مقارنة بالنماذج الأكبر حجماً. لكن هنا يأتي السؤال الرئيسي: هل هذا التوافق يعني أن AMALIA يقيس القيم الأخلاقية بفعالية؟

تتطلب المفاهيم النظرية التي يجب استنتاجها فهماً أعمق، حيث تم اختبار الفجوة في الاسترداد؛ وهي الفقد في الأداء عند تقسيم التحفيز الشامل إلى عبارات فرعية ثم دمجها حسب القاعدة النظرية. إذا تمكنت المعايرة من سد هذه الفجوة، فقد تظل بعض القابلية للنقل بين النماذج واللغات. المعطيات تشير إلى أن الأداء لم يكن متساويًا عند تطبيق أداة إنجليزية على AMALIA أو اللغة البرتغالية الأوروبية.

تمكن فريق البحث من استنتاج أن التشفير المجزأ استرجع حوالي نصف الأداء الشامل لـ AMALIA، مما يشير إلى الاعتماد على الارتباطات السطحية، خاصة خلال النقاشات الأخلاقية بالقرب من الشخصيات السلطوية. بينما استطاع نموذج مفتوح للغات متعددة تجاوز هذه الفجوة على نفس النصوص البرتغالية، مما يعني أن المشكلة قد لا تكمن في نصوص البيانات بحد ذاتها.

بالرغم من أن AMALIA يمكنه القيام بعملية الفرز والتشفير المسبق على نطاق واسع، إلا أنه لا يزال يحتاج إلى تحسين في قياس القيم الأخلاقية بدقة. تشير الدراسة إلى ضرورة أن تشمل بطاريات اختبارات نماذج اللغة السيادية التحقق من ليس فقط التوافق مع المدونين، ولكن أيضا الطرق الإثباتية التي يتم من خلالها تبرير هذا التوافق.