في عالم الذكاء الاصطناعي، يبقى تحدي ضغط السياق أحد أبرز التحديات التي تواجه نماذج اللغات الضخمة (Large Language Models). وقد تم طرح تقنية جديدة تُعرف باسم سنكل (Sentinel) بهدف تحسين فعالية النماذج من خلال ضغط سياق الاسترجاع بطريقة مبتكرة. يعتمد سنكل على تحليل أنماط الانتباه في نماذج اللغة المجمدّة لفهم كيفية استخدام السياق خلال المرحلة الزمنية للاستدلال.

تتميز تقنية سنكل بخفة وزنها، حيث يُنظر إليها على أنها إطار عمل لضغط الجمل مستوى الجملة، مما يجعلها منزلة في عالم البحث المتقدم. يعتمد هذا النظام على تدريب مؤشرات خفيفة باستخدام أمثلة من أسئلة وأجوبة، حيث ينجح النموذج فقط عند توفر السياق المسترجع.

ما يميز سنكل هو أنه يعتمد في عملية الضغط على مرور أمامي غير تكراري (non-autoregressive forward pass)، مما يعني أنه لا يحتاج إلى تدريب خاص على ضغط السياق أو تقديرات تكرارية. وقد أظهرت التجارب أن الإشارات الفعالة للاستخدام السياقي تظل متاحة حتى في النماذج الصغيرة المضغوطة.

على سبيل المثال، تمكنت تقنية سنكل من تحقيق ضغط يصل إلى 5 مرات مع نماذج proxy تعمل بقدرات 0.5 مليار، بينما تحافظ على أداء عالي التكافؤ في أسئلة وأجوبة مقارنة بالطُرق الأخرى التي تعتمد على نماذج بحجم 7 مليار.

ورغم أنه تم تدريب سنكل فقط على بيانات أسئلة وأجوبة باللغة الإنجليزية، أثبتت نتائجها فعالية أيضاً في اللغة الصينية وفي حالات خارج نطاق التدريب. هذه التطورات تفتح آفاقاً كبيرة لإعادة التفكير في كيفية استفادتنا من نماذج اللغة في معالجة كميات كبيرة من المعلومات بشكل أكثر كفاءة.