تشهد نماذج الذكاء الاصطناعي الأساسية (Foundation Models) تزايدًا كبيرًا في استخدامها في مجالات تتطلب فهمًا عميقًا لمدى عدم اليقين في مخرجاتها. يأتي هنا دور تقنيات بايزية (Bayesian Methods) والتي تقدم منهجيات مدروسة لقياس عدم اليقين، ومع ذلك، فإن الأعباء الحاسوبية المرتبطة بها تجعلها غير عملية للاستخدام في نماذج ذات حجم كبير.

تسعى النماذج الحديثة إلى تحقيق عدد كبير من المعلمات، يصل إلى تريليونات من خلال تطبيق تقنيات هندسية متطورة مثل مزيج الخبراء (Mixture-of-Experts – MoE). وفي هذا السياق، تقدم تقنية "VMoER" (Variational Mixture-of-Experts Routing) كخيار مبتكر لتمثيل عدم اليقين في طبقات مزيج الخبراء.

تقوم VMoER بالتركيز على مرحلة اختيار الخبراء خلال عملية الاستدلال، والتي عادة ما تتم عبر شبكة توجيه حتمية (Deterministic Routing Network). تتضمن هذه التقنية استراتيجيتين للاستخدام: الاستدلال المتغير المنقسم (Amortised Variational Inference) عبر اللوغاريتمات التوجيهية، واستنتاج معامل درجة الحرارة (Temperature Parameter) لاختيار الخبراء بشكل عشوائي.

أظهرت نتائج التجارب على نماذج الذكاء الاصطناعي الأساسية تحسنًا ملحوظًا في استقرار التوجيه بنسبة تصل إلى 38%، وتقليل الخطأ في المعايرة بنسبة 94%، وزيادة نسبة AUROC خارج التوزيع بمقدار 12%، مع أقل من 1% من الزيادة في FLOPs. تشير هذه النتائج إلى أن VMoER تقدم نهجا قابلًا للتوسع نحو نماذج قوية ومدركة لعدم اليقين.

أصبح من الواضح أن تقنية VMoER تمثل خطوة هامة نحو تحسين أداء وموثوقية نماذج الذكاء الاصطناعي، مما يستدعي انتباه الباحثين والمطورين في هذا المجال. ما هي آراؤكم حول إمكانية تطبيق هذه التقنية في المجالات المختلفة؟ شاركونا في التعليقات!