في عالم الذكاء الاصطناعي، تعد تقنيات تجميع الرموز (Token Aggregation) من العوامل الأساسية لتحقيق فعالية أكبر في تحليل البيانات. وقد تم تقديم تقنية جديدة باسم "Frequency-Domain Latent-attention Gated Pooling" أو باختصار FLaG، والتي تعد بديلاً مبتكرًا لتجميع الرموز يعتمد على تحويل النتائج إلى المجال الترددي (Fourier Domain) قبل عملية التجميع النهائية.

بدلاً من الاعتماد على تقنيات التجميع التقليدية التي تعمل فقط في فضاء الرموز الأصلي، يتيح FLaG إعادة التعبير عن مخرجات المشفرين ليتم توضيحها عبر الطيف الترددي باستخدام مكونات حقيقية وتخييلية مترابطة. تعتمد هذه الطريقة على استنتاج قنوات موائمة للعينة من خلال استخدام استفسارات متعلمة، مما يعزز الاستجابة الإيجابية للنموذج.

تم اختبار هذه التقنية عبر مجموعة متنوعة من المهام، بما في ذلك توقع نشاط الببتيدات المضادة للميكروبات (AMP) باستخدام بنية ESM2، وتصنيف الصور باستخدام ResNet18 على مجموعات بيانات CIFAR-10 وCIFAR-100، بالإضافة إلى ثلاث مهام لغوية مستندة إلى RoBERTa. سجلت FLaG أفضل النتائج في عدة مقاييس، مثل معامل الارتباط سبيرمان (Spearman correlation coefficient) وأعلى دقة (top-1 accuracy).

أظهرت التحليلات الميكانيكية العالية الحساسية للتنبؤ عند التردد المنخفض عبر معظم طبقات المشفرين، مما يشير إلى قوة FLaG في تعزيز الأداء في المهام المختلفة. تقول النتائج إن هذه التقنية توفر انحيازًا قابلاً للنقل عبر تمثيلات البروتينات والبيانات المرئية والنصوص، مما يعكس أهمية FLaG كأداة حيوية في تعزيز تقنيات الذكاء الاصطناعي.

للمزيد من المعلومات والتفاصيل التقنية، يمكن الاطلاع على المواد الإضافية وكود المصدر المتاح على الروابط:
https://www.healthinformaticslab.org/supp/ وhttps://github.com/Kewei2023/AMPCliff/tree/FLaG. هل أنتم متحمسون لتطبيقات FLaG في مجالات الذكاء الاصطناعي؟ شاركونا آرائكم!