في عالم الذكاء الاصطناعي، تمثل [تقنيات الانتباه](/tag/[تقنيات](/tag/تقنيات)-[الانتباه](/tag/الانتباه)) تحدياً مهماً، خاصةً في [سياقات](/tag/سياقات) [البيانات](/tag/البيانات) طويلة [السياق](/tag/السياق) مثل الجيل المدعوم بالاسترجاع ([Retrieval-Augmented Generation](/tag/retrieval-augmented-generation) - [RAG](/tag/rag)). يسلط [بحث](/tag/بحث) [جديد](/tag/جديد) الضوء على كيفية [تحسين](/tag/تحسين) [تقنية](/tag/تقنية) [الانتباه](/tag/الانتباه) الكتلي (Block [Attention](/tag/attention)) وعدد من العناصر الأخرى التي تلعب دوراً حيوياً في [معالجة النصوص](/tag/معالجة-النصوص) بشكل أكثر فعالية.

[الانتباه](/tag/الانتباه) الكتلي يعتمد على معالجة الإدخال ككتل منفصلة لا تتفاعل مع بعضها البعض، مما يفتح الأبواب لتحسين استخدام [ذاكرة](/tag/ذاكرة) [التخزين](/tag/التخزين) المؤقت في [سياقات](/tag/سياقات) طويلة. ومع ذلك، كانت هناك [تحديات](/tag/تحديات) كبيرة تقف في طريق تطبيق هذه [التقنية](/tag/التقنية) بشكل أوسع، أبرزها صعوبة تقسيم النصوص إلى كتل ذات معنى، وعدم فعالية طرق [التدريب](/tag/التدريب) الحالية التي قد تؤدي إلى تدهور [الأداء](/tag/الأداء).

للتغلب على هذه التحديات، قام الفريق البحثي بتطوير [مجموعة بيانات](/tag/مجموعة-[بيانات](/tag/بيانات)) جديدة تدعى SemanticSeg، تتضمن أكثر من 30,000 حالة [عبر](/tag/عبر) 16 فئة، مثل الكتب، الشفرات، النصوص من الويب، والمحادثات، بمدد نصية تتراوح بين 2,000 إلى 32,000 رمز. تم استخدام هذه المجموعة لتدريب نظام تقسيم خفيف الوزن يمكنه تقسيم النصوص بشكل تلقائي إلى كتل تتماشى مع الفهم البشري، مع إمكانية [التحكم](/tag/التحكم) في درجة التفاصيل.

علاوة على ذلك، اقترح الباحثون إطار [عمل](/tag/عمل) [جديد](/tag/جديد) يعرف بـ Block Distillation، الذي يعد أكثر [كفاءة](/tag/كفاءة) من طرق [تدريب](/tag/تدريب) الكتل التقليدية، حيث يعتمد على [نموذج](/tag/نموذج) معلم (Teacher [Model](/tag/model)) ذو [انتباه](/tag/انتباه) كامل لتوجيه [نموذج](/tag/نموذج) الطلبة الخاص بالانتباه الكتلي. يتضمن هذا الإطار ثلاث مكونات جديدة: [رموز](/tag/رموز) كتل الغمر (Block Sink [Tokens](/tag/tokens)) لتقليل فقدان [المعلومات](/tag/المعلومات) عند حدود الكتل، وسقوط الكتل (Block Dropout) للاستفادة من [إشارات](/tag/إشارات) [التدريب](/tag/التدريب) من جميع الكتل، ووزن فقدان الرموز (Token-Level Loss Weighting) للتركيز على [تعلم](/tag/تعلم) الرموز الحساسة للانتباه الكتلي.

أظهرت [التجارب](/tag/التجارب) التي أجريت [عبر](/tag/عبر) عدة [نماذج](/tag/نماذج) ومعايير أن النظام الجديد يتفوق على القواعد الإرشادية والإحصائية، كما يحقق الـ Block Distillation [أداء](/tag/أداء) قريباً من [الأداء](/tag/الأداء) باستخدام [الانتباه](/tag/الانتباه) الكامل، مما يفتح الطريق أمام [تطبيقات عملية](/tag/[تطبيقات](/tag/تطبيقات)-عملية) وقابلة للتوسع للانتباه الكتلي. هل أنتم مستعدون لثورة [معالجة النصوص](/tag/معالجة-النصوص) الجديدة؟