في عالم الذكاء الاصطناعي، لا يمكن اعتبار نماذج اللغة (Language Models) عرضة للعشوائية بشكل كامل. إذ كشفت دراسة جديدة عن مفهوم "الانحراف الإنتروبي" (Entropic Deviation)، الذي يُعتبر قياسًا للتفاوت بين توزيعة الرموز للنموذج والتوزيعة المتجانسة. هذه الدراسة تناولت تحليلاً شاملاً على 31,200 توليدًا عبر سبعة نماذج وأركان معمارية مختلفة (محول Transformer ومساحة الحالة State Space) بالإضافة إلى تسعة فئات من المدخلات، وثلاث درجات حرارة، وخمس لغات.

أظهرت الدراسة أن النماذج التحويلية (Transformers) تحت المدخلات غير المعنوية مثل النصوص الفارغة أو الرموز العشوائية لا تزال تحصل على انحراف إنتروبي قدره 0.30، مما يعني أن 88-93% من عدم العشوائية الراصدة تحت إشراف المدخلات المعنوية هو أصلاً متعلق بالأوزان المدروسة وليس ناتجًا عن السياق.

النماذج الثلاثة التحويلية (Gemma وLlama وQwen) توصلت إلى قيم متقاربة من الانحراف الإنتروبي على الرغم من الاختلافات في بيانات التدريب والمفردات. بينما نموذج مساحة الحالة (Mamba2) أظهر نمطًا نوعيًا مختلفًا تمامًا: ضعف في الانحراف الإنتروبي، وثلاث مرات أقل في تباين داخل التسلسل، وحساسية ضخمة تجاه درجة الحرارة.

التجارب متعددة اللغات مع Qwen-32B أظهرت تدرجًا مستقرًا عبر خمس لغات (الإنجليزية، اليابانية، الصينية، البولندية، والعربية) والذي لا يرتبط مع خصوبة الرموز ويستمر حتى عند مقارنة لغتين تشتركان في مجموعة رموز متطابقة.

هذه النتائج تحدد حداً هيكليًا أدنى للعشوائية في نماذج اللغة المدربة مسبقًا وتوضح كيفية اختلاف هذا الحد بين الأركان المعمارية، وتظهر كيف أن اللغة نفسها تعدل هذا الحد بشكل مستقل عن عملية تحويل الرموز.