في عالم إدارة النماذج الذكية، تبرز تقنيات تقليم الرموز (Token Pruning) باعتبارها أدوات حيوية لتحسين الأداء مع الحفاظ على الموارد. ومع ذلك، كان هناك تحدي كبير يتعلق بعدم استقرار هذه التقنيات عند العمل بميزانيات رمزية منخفضة جداً. ومع ظهور الأبحاث الحديثة، يتم تسليط الضوء على تقنية DCP-Prune، التي تقدم حلاً فعالًا لمعالجة هذه المشكلة.

تكمن الفكرة الرئيسية وراء DCP-Prune في التأكيد على الحفاظ على تصنيفات موثوقة (Distribution Consistency) حتى عندما يُقلِّل عدد الرموز بشكل كبير. تظهر الأبحاث أن تقليص الميزانية غالبًا ما يؤدي إلى تدهور دقيق في الأداء، ويُظهر ذلك تحولًا كبيرًا في توزيعات الميزات.

لذا، تم تطوير مقياس خفيف لقياس اتساق التوزيعات، مما يتيح لنا تقييم التغيرات في التوزيع بين الرموز المحفوظة وتلك التي تم إزالتها. ينقسم إطار عمل DCP-Prune إلى مرحلتين: المرحلة الأولى هي استعادة المعلومات السياقية عبر نموذج 'Anchor-Context Graph Recovery' (ACGR) التي تعمل على تحويل المعلومات قبل إزالة الرموز. أما المرحلة الثانية، 'Text-Aware Token Cluster Selection' (TATCS)، فتعيد اختيار الرموز التمثيلية ديناميكيًا عند رصد تحول كبير في التوزيع.

تسجل الاختبارات التي أُجريت على نموذج LLaVA-1.5-7B نجاحًا كبيرًا حيث احتفظت DCP-Prune بنحو 92.1% من الأداء الأقصى، حتى مع استخدام 16 رمزاً بصرياً فقط. هذه النتائج تدلل على الأهمية المتزايدة لتقنية DCP-Prune في سياق دقيق مثل تقليم الرموز، وهو ما يجعلها ابتكارًا يستحق المتابعة في عالم الذكاء الاصطناعي.