تشير الأبحاث الأخيرة التي نُشرت على منصة arXiv إلى بعض التحديات الهامة المتعلقة بنماذج الانتشار (Diffusion Models) المستخدمة في الذكاء الاصطناعي. تركز هذه الدراسة على كيفية تأثير الاعتمادات المتأصلة بين الرموز (Tokens) في توزيع البيانات. ونلاحظ أن هذه النماذج تستخدم تقنيات مثل إعادة الأقنعة (Remasking) والعينات الحالة الموحدة (Uniform-State Samplers) لتوليد تسلسل من الرموز من خلال كتابة مواقع متعددة في كل خطوة.

تحتوي البيانات في مجالات واسعة مثل الصور (Pixels) والأصوات (Phonemes) والكلمات (Words) على اعتمادات طبيعية بين الرموز. وتظهر النتائج أن الخطوات التي تتطابق مع توزيع التدريب تحدث فقط عندما تكون المواقع المدخلة مستقلة شرطيًا بالمقارنة مع الرموز التي تم تثبيتها بالفعل. وبالتالي، لا يُمكن لمجموعات تعتمد على التوزيعات الخاصة بالموقع أن تتطابق مع مجموعة تعتمد أخرى.

عند دراسة مهمة ScanAndAdd، التي تعد مهمة اصطناعية يمكن تحديد توزيعها المشترك، قمنا بتحليل تأثير الاعتماد بين مجموعات الرموز غير المحددة. وتؤكد البيانات التي تم توليدها تحت مستوى ضجيج العينة أن تصنيف الثقة المكتوب لكل مجموعة مكونة من رمزين أو أكثر يُظهر اعتمادًا واضحًا.

تفتح هذه النتائج آفاقًا جديدة لفهم كيفية تحسين أداء نماذج الذكاء الاصطناعي وجعلها أكثر دقة وفعالية من خلال معالجة الاعتمادات بين الرموز بشكل أفضل. فكيف يمكن تطبيق هذه الاكتشافات في تطوير أدوات وأنظمة ذكاء اصطناعي مستقبلية؟