في عالم النماذج اللغوية الضخمة (Large Language Models)، تمثل إدارة سياقات العمل الطويلة تحديًا حقيقيًا، حيث تواجه الجلسات الممتدة قيدًا أساسيًا: النوافذ الزمنية لإنجاز العمل محدودة. هذا يعني أنه عندما تتجاوز المعلومات التاريخية الحد الأقصى للنوافذ الفعالة (Maximum Effective Context Window - MECW)، تُفقد المعلومات الهيكلية الحيوية مثل القرارات المعمارية والانتقالات بين المهام أو تاريخ الملفات بشكل صامت وغير ملحوظ.

في ظل هذه التحديات، يأتي نظام TokenMizer كنجم ساطع في سماء الذكاء الاصطناعي. يمثل TokenMizer نظامًا منهجيًا مفتوح المصدر يقوم بنمذجة تاريخ جلسات الذكاء الاصطناعي كنموذج معرفة مهيكل من نوع المخططات (knowledge graph). يعتمد هذا النظام على مخطط يحدد 14 نوعًا من العقد و7 أنواع من الحواف، مما يسهم في تحسين تنظيم المعلومات بشكل كبير.

يستخدم TokenMizer مجموعة من العمليات الاستخراجية الهجينة لتعبئة هذا النموذج بشكل تدريجي، بينما يعتمد على نظام نقاط تفتيش ثلاثي الطبقات لتحويل المعلومات إلى كتل استئناف مضغوطة. يتضمن نظام الضاغط المكون من 8 طبقات تقليل الحمل الزائد من الرموز (tokens)، في حين يعمل ذاكرة سياقية (semantic cache) على تقليل زمن استجابة الاستفسارات المتكررة.

لتقييم فاعلية TokenMizer، تم اختباره على مجموعة تحكم تشمل 21 جلسة عبر 5 مجالات، ليظهر نتائج رائعة في تقليل استخدام الرموز. حصلت كتل الاستئناف التي أنتجها على متوسط يصل إلى 78 رمزًا، مما يعني أنها أصغر بنحو مرتين من الخيارات الأساسية الأخرى.

تكمن النقطة الأهم في أن TokenMizer لا يحتفظ فقط بالإشارة إلى التقنيات المستخدمة، بل أيضًا يحفظ مبررات تلك القرارات. في جميع الجلسات، حقق TokenMizer متوسط استرجاع المهام بنسبة 51%، واسترجاع القرارات بنسبة 46.6%، واسترجاع الملفات بنسبة 58.7%. وتجدر الإشارة إلى أن الأداء يختلف باختلاف مجالات الاستخدام، حيث تحقق العبارات الصريحة في البرمجة مكاسب أفضل مقارنةً بأشكال التفكير الضمني في البحث.

تُظهر دراسات التحقق مما إذا كانت الفوائد تخدم جزءًا من الدافع الرئيسي (+33%) في استرجاع المهام. بينما تمكّن تقنيات الضغط من تحقيق تقليل بنسبة 47.3% في الاستخدام، فإن TokenMizer يمثل بديلاً يمكن استفساره في إدارة المعلومات بتكلفة رمزية أقل بكثير من الحلول التقليدية.