في عالم معالجة اللغة الطبيعية (Natural Language Processing)، تسلط الأضواء حالياً على تقنية جديدة تدعى "التوسع الانتباهي" (Attention Expansion) والتي تُحدث ثورة في استخراج العبارات الرئيسية (Keyphrase Extraction) من الوثائق الطويلة. يعتمد الأداء القوي للنماذج اللغوية المدربة مسبقاً (Pre-trained Language Models) على قدرتها على إنشاء تمثيلات سياقية غنية، لكن لا تزال هناك تحديات كبيرة في التعامل مع الوثائق التي تحتوي على محتوى ممتد.

تواجه تقنيات استخراج العبارات الرئيسية التقليدية صعوبة عندما يكون الدليل على العبارات الرئيسية مت散رة عبر أقسام بعيدة من الوثيقة، وهو ما يجعل من المستحيل تقريباً التقاط كل الأدلة ضمن نافذة سياق محدودة. بينما توفر نماذج اللغة الكبيرة التي تدعم سياقات طويلة (Long-context Large Language Models) القدرة على معالجة نصوص أوسع، إلا أن تكلفتها الحاسوبية العالية تجعلها غير عملية للاستخدام الفعال.

لمعالجة هذه القيود، اقترح الباحثون آلية التوسع الانتباهي كحل مبتكر، حيث تقوم بتعزيز تمثيلات الرموز الخاصة بالنموذج المدرب مسبقاً بمعلومات من أجزاء خارج السياق. هذه الآلية تعمل على زيادة نطاق السياق الفعّال لنماذج استخراج العبارات الرئيسية دون الحاجة إلى اهتمام شامل بالوثيقة أو استخدام استدلال باهظ التكلفة عبر نماذج اللغة الكبيرة.

أظهرت التجارب الميدانية على خمسة نماذج لغة مدربة مسبقاً، تشمل نماذج عامة وعلمية، ومرتكزات محددة المهام ونماذج سياقية طويلة، نتائج تتجاوز التوقعات، حيث أظهرت هذه التقنية تحسيناً ملحوظاً في الدقة، متفوقة على النماذج الحديثة.

في النهاية، تؤكد هذه النتائج فعالية وكفاءة التوسع الانتباهي كاستراتيجية لاستخراج العبارات الرئيسية من الوثائق الطويلة، مما يجعلها إضافة قيمة لمجال معالجة اللغة الطبيعية وتطبيقاتها المتعددة. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.