تشهد نماذج اللغات الضخمة (Large Language Models) تزايدًا مستمرًا في استخدامها، إلا أن التعامل مع السياقات الطويلة لا يزال يمثل تحديًا حقيقيًا. فالتكاليف الحسابية المرتفعة غالبًا ما تعيق قدرتها على معالجة الإدخالات الطويلة بشكل موثوق. لذلك، يأتي ضغط السياق (Context Compression) كحل حيوي للتغلب على هذه المعوقات.
تقليديًا، تعتمد approaches الضغط المتاحة على نماذج مدربة مسبقًا أو على تقنيات انتقاء تعتمد على استرجاع كثيف، وهو ما غالبًا ما يؤدي إلى فقدان التناسق بين الجمل والحفاظ على التغطية الموضوعية أثناء العمل ضمن ميزانية محددة من الرموز.
لتقديم حل بديل، طُور إطار عمل مبتكر لا يعتمد على التدريب ويكون غير مرتبط بنموذج محدد. هذا النظام يستخدم رسومًا بيانية هجينًا لاختيار مجموعة مضغوطة من الجمل، مستفيدًا من البنية الهيكلية.
يعتمد هذا النموذج على إنشاء رسم بياني لجمل نادرة يجمع بين الحواف الدلالية المتبادلة دالة k-NN (k-Nearest Neighbors) مع الحواف التسلسلية قصيرة المدى. كما يستخرج هيكلًا موضوعيًا من خلال التجميع (Clustering) ويقوم بترتيب الجمل باستخدام نقاط تفسيرية تستند إلى جوانب مثل الصلة بالمهام، وتمثيلية المجموعات، وأهمية الروابط المركزية، وعرض التغطية الدورية.
تتضمن عملية الاختيار أيضًا ذكية الميزانية مع تقليل التكرار، مما ينتج عنه سياق مضغوط يمكن قراءته بطريقة مرتبة. أظهرت التجارب على أربع مجموعات بيانات أن هذا الأسلوب يُظهر تنافسية عالية مع الأساليب القوية المتاحة، مما يُعزز فعاليته في معالجة المستندات الطويلة.
تحويل البيانات الضخمة: تقنيات مبتكرة لضغط السياق في نماذج اللغات الطويلة
تقدم الدراسة الجديدة إطار عمل فريداً لضغط السياق في نماذج اللغات الطويلة دون الحاجة إلى تدريب مسبق. يعتمد هذا النظام على بنى هجينة تعتمد على الرسوم البيانية، مما يُحسّن من كفاءة معالجة النصوص الطويلة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
