تستمر أبحاث الذكاء الاصطناعي في السعي نحو تحقيق قدرة أكبر في معالجة اللغات، ومن بين أبرز التطورات الجديدة هو نموذج اللغات غير المحدود (Infinite-Parameter LLM). يعتمد هذا النموذج على مفهوم مدهش يُتيح له التعلم من البيانات التي يتم إدخالها في الوقت الفعلي، مما يجعله أكثر قدرة على التفاعل مع المستخدمين بشكل فعال.

للأعوام الماضية، أظهرت نماذج اللغة كيف أن زيادة عدد المعلمات (parameters) وكمية بيانات التدريب تعزز من قدرتها. نموذج Mixture-of-Experts (MoE) هو أحد هذه النماذج الذي حقق نتائج استثنائية عبر تنشيط جزء صغير من مجموعة ضخمة من المعلمات لكل مدخل. لكن في العالم الفعلي، تواجه النماذج التقليدية تحديات كبيرة، حيث تُعتبر أغلب البيانات المفيدة خارج مجموعة التدريب الخاصة بها.

تكمن المشكلة الرئيسية في أن النماذج التقليدية لا يمكنها التعلم من البيانات التي تتعامل معها في الوقت الحقيقي، حيث تظل أوزانها ثابتة بعد التدريب. وبذلك، يتم إدخال المعرفة والسلوكيات المتعلقة بالتفاعل ضمن معالجة الطلبات ولكن يتم فقدانها بعد انتهاء الطلب. هنا يأتي دور نموذج اللغات غير المحدود.

تستند الفكرة إلى تحويل البيانات المُعطاة في اللحظة إلى تعديل منخفض الرتبة لشبكة أساسية مشتركة، بحيث يتم إنشاء أوزان النموذج استنادًا إلى بيانات حية بدلاً من التخزين في قاعدة بيانات ثابتة. كما أننا نستخدم اعتقاد بايزي لتحديث المعلومات الخاصة بالمولد في الوقت الحقيقي، مما يسمح للنموذج بتعديل الوزن بشكل مستمر على مدار الجلسة بدلاً من أن يكون ثابتًا.

هذا التصميم يضمن أن النماذج يمكنها الاستفادة القصوى من البيانات الحية المتاحة، مما يُحرر مجال السياق، ويستمر عبر الجولات المتعددة، كما يُمكنها من التعميم بشكل أفضل مقارنة بالطرق التقليدية.