تأثير التشويش اللغوي على نماذج اللغة الضخمة: دراسة تجريبية تكشف خفايا الانتباه

في عالم الذكاء الاصطناعي، تلعب نماذج اللغة الضخمة (Large Language Models) دورًا متزايد الأهمية في مختلف التطبيقات من أنظمة الدعم الفني إلى توليد النصوص. لكن، ماذا لو تعرضت هذه النماذج لأشكال من التشويش اللغوي؟

تظهر دراسة حديثة أجراها باحثون في هذا المجال أن تأثير التشويش اللغوي يمكن أن يكون مدمرًا، خصوصًا في مهام التفكير متعددة الخطوات. حيث تم اختبار أربعة نماذج مفتوحة وذات أوزان تعليمية خاصة عبر أربع معايير ذات صلة، ووجد الباحثون أن التشويش على مستوى الأحرف (character-level perturbations) يؤدي إلى تدهور كبير في دقة النتائج.

تمت دراسة تأثيرات مختلفة للتشويش، مثل الضوضاء الناتجة عن لوحة المفاتيح، واستبدال الأحرف، وإدخال كلمات حشو. وقد أظهرت النتائج أن إدخال كلمات الحشو له تأثير بسيط مقارنة بالتشويش على مستوى الأحرف، الذي يؤدي إلى تشتت الانتباه (Attention Diversion) ويؤثر على تجزئة تسميات النصوص. هذه التجزئة تركز كتلة الانتباه بشكل غير متوازن في الطبقات المتوسطة والأخيرة من النموذج.

أظهرت تدخلات متعددة أن أضرار التجزئة صعبة العلاج، حيث تؤثر التجزئة على محتوى التسميات وتخصيص الانتباه بشكل موحد، مما يجعل من الصعب إعادة الحالة إلى ما كانت عليه قبل التشويش. وبالتالي، إن طرقًا مثل تعديل التفكير (chain-of-thought prompting) وتصحيح الأخطاء لا تُعيد الأداء بسيطًا، لأنها تتعامل مع قناة واحدة في كل مرة.

لمزيد من المعلومات والبيانات، يمكن زيارة منصة GitHub.