مع التطورات المستمرة في نماذج اللغة الضخمة (LLMs)، يبدأ الباحثون في استكشاف السلوكيات الغامضة لهذه التقنية المتطورة. في بحث حديث من مختبر الأفكار Thinking Machines Lab، تم تسليط الضوء على ظاهرة مثيرة للانتباه: حتى عند استخدام درجة حرارة صفر (T=0)، يمكن أن تُنتج هذه النماذج مخرجات متباينة لنفس المدخلات.

هذا الالتباس يعود جزئيًا إلى مجموعة من العوامل على مستوى التنفيذ، مثل تباين حجم الدفعة (batch-size variation)، وعدم عدم الاستواء في النواة (kernel non-invariance)، وغير ذلك من المشكلات المُتعلقة بالتجمع العائم (floating-point non-associativity).

ولكي نوضح هذه الظاهرة، يقدم الباحثون مفهوم جديد يُسمى "درجة الحرارة الخلفية" (background temperature) T_bg، والتي تعكس التأثير الفعلي الناتج عن العمليات المختلة التي تعتمد على تطبيق النظام، حتى عندما تكون درجة الحرارة الاسمية T تساوي صفر.

يرى الباحثون أن T_bg تتعلق بعملية تذبذب عشوائية تخضع للبيئة الاستدلالية (inference environment) I، ويقترحون بروتوكولًا تجريبيًا لتقدير T_bg عبر درجة الحرارة المعادلة T_n(I) لنظام مرجعي مثالي.

تم إجراء مجموعة من التجارب الأولية على مجموعة من الموفرين الرئيسيين لنماذج اللغة الضخمة، مما يعكس الفكرة ويبرز آثارها في مجالات التكرارية والتقييم والنشر.

إذا كنت تعمل في مجال الذكاء الاصطناعي، فإن فهم هذه المفاهيم يمكن أن يعدل من كيفية بناء وتقييم الأنظمة، ويعزز من فهمك للأداء المتباين لهذه النماذج.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات!