مع تزايد استخدامها في السياقات الحكومية، تبرز أهمية تقييم نماذج اللغات الضخمة (Large Language Models) بشكل يتماشى مع قيم الإدارة العامة ومتطلبات اللغة في السياقات غير الإنجليزية. قامت مجموعة من الخبراء في هولندا بتطوير إطار العمل المعروف باسم 'Grip on LLMs' لتقديم تقييم منهجي موجه لاستخدام هذه النماذج في الحكومة الهولندية.

يتضمن هذا الإطار ستة أبعاد تقييم رئيسية: الواقعية (factuality)، الأمانة (honesty)، التحيز الاجتماعي (social bias)، استهلاك الطاقة (energy consumption)، التكلفة (cost)، وشفافية بيانات التدريب (training data transparency).

تكشف النتائج أن لا نموذج واحد يتفوق على جميع الأبعاد، مما يعني أن التوازن بين الجودة والتأثير البيئي والتكاليف المالية أمر لا مفر منه. كما وجد الباحثون أن الواقعية والأمانة تتمتعان بخصائص متميزة؛ إذ لا تعني الواقعية العالية بالضرورة ارتفاع مستوى الأمانة.

لتسهيل فهم هذه النتائج للجمهور غير التقني، تم إطلاق نظرة عامة على النماذج تتسم بالوصول العام وسهولة الاستخدام، مصممة لتلبية احتياجات مجموعة واسعة من المعنيين في اختيار نماذج اللغات الضخمة الحكومية، بدءًا من المهندسين وانتهاءً بصانعي السياسات.

إن هذا الإطار يوفر أداة قيمة للحكومات، حيث يسهم بشكل فعال في عملية اتخاذ القرار بشأن نماذج اللغات الضخمة، ويساهم في تحسين الخدمات الحكومية بشكل عام.