في عالم متزايد التعقيد، تتطور وسائل التواصل الاجتماعي الصينية بشكل سريع، مما ينتج عنه مفردات فريدة من نوعها تُعرف بمصطلحات الإنترنت (Internet Buzzwords) التي تحمل معانٍ عميقة وجذور ثقافية محلية. في هذا السياق، يأتي CIBuzzBench ليكون المعيار الأول من نوعه الذي يربط بين اللغة الصينية واللغة الإنجليزية، مُركزًا على تحقق قدرة نماذج اللغات الضخمة (Large Language Models) في نقل هذه المعاني عبر اللغات.

تستند الدراسات السابقة بشكل أساسي إلى تفسير هذه المصطلحات في إطار الثقافة الصينية فقط، مما يترك فجوة كبيرة في القدرة على نقل هذا الفهم إلى مجرد الآخرين عبر اللغات. وبالتالي، يمكن أن تؤدي التعبيرات الضارة والدلالات الخاصة بالثقافة إلى إغفال المحتوى المسيء، وذلك من خلال استعمال أسماء مماثلة، أو تورية، أو حتى السخرية.

يتضمن CIBuzzBench 3,001 مصطلحًا من الإنترنت الصيني، تم تصنيفها بمفاهيم إنجليزية ومواد تفسيرية تتعلق بالمعاني ودرجة الضرر. وقد تم تصميم 3 مهام تقييم رئيسية: تفسير المعنى، مطابقة المعادل اللغوي عبر اللغات، واكتشاف درجة الضرر الثقافي.

لكن النتائج كانت مقلقة، حيث أظهرت أن نماذج اللغات الضخمة ما زالت تعاني في فهم هذه المصطلحات عبر اللغات، تحديدًا في التفسيرات الدقيقة، والتطابق المتين في معالجة الخيارات وانتقاء العبارات الضارة بشكل دقيق. هذه النتائج تسلط الضوء على الصعوبات المستمرة التي تطرحها الظواهر اللغوية المعتمدة على الثقافة، وتؤكد أهمية التقييم الذي يركز على السلامة.

لكل الباحثين والمهتمين، يمكنك زيارة مستودع CIBuzzBench للوصول إلى مجموعة البيانات والكود ومزيد من المعلومات.