شهدت نماذج اللغات الضخمة (Large Language Models - LLMs) تقدمًا كبيرًا في الإجابة على الأسئلة متعددة اللغات، ولكن قدرتها على فهم السياقات الاجتماعية اللغوية ذات الموارد المحدودة لا تزال دون الاستكشاف الكافي. في دراسة حديثة، تم اختيار كوريا الشمالية كحقل اختبار فريد حيث أوجدت عقود من الانقسام اختلافات واضحة بين كوريا الشمالية وكوريا الجنوبية في المفردات والأبجدية والمعايير والخطاب الأيديولوجي.

تقدم هذه الدراسة معيارًا جديدًا يُدعى LENS (Language and sociocultural Evaluation for North Korean Society)، يتمثل في تقييم موثق من قبل البشر يتضمن 1,765 سؤالًا لتقييم نماذج اللغات الضخمة عبر ثلاثة أبعاد: متانة اللغة، توافق المنظور الاجتماعي الثقافي، والمعرفة الخاصة بالمجالات.

عند تقييم نماذج LLMs المختلفة، وجدت الدراسة أن هناك تراجعًا معتدلاً في الأداء عند التعامل مع مدخلات اللغة الكورية الشمالية، بينما كانت الفجوة أكبر بكثير في توافق المنظور الاجتماعي الثقافي، ومعرفة المجالات كانت محدودة بشدة. وأظهرت التحليلات النوعية أن النماذج غالبًا ما تخلط بين المؤسسات الرسمية والواقع المعيشي، وتطرح افتراضات ليبرالية ديمقراطية، أو تعتمد على صور نمطية سطحية.

تظهر النتائج أن التشابه اللغوي وحده لا يضمن الفهم الاجتماعي الثقافي أو الفهم الخاص بالمجالات، مما يبرز الحاجة الملحة إلى موارد تقييم واقعية للسياقات الثقافية والسياسية التي لا تحظى بالتمثيل الكافي.