تمكن فريق من الباحثين من تطوير محول نصوص جديد يسمى "جيغاتوكن" (Gigatoken)، وهو محول نصوص مبني بلغة Rust ويتميز بسرعة غير مسبوقة تصل إلى 24.53 جيجابايت في الثانية. هذه السرعة المذهلة تم تحقيقها من خلال تشغيل المحول على معالج AMD EPYC 9565 الذي يحتوي على 144 نواة، مما يجعله الأسرع في معالجة النصوص بشكل ملحوظ.

يتجاوز جيغاتوكن جميع المحولات الأخرى مثل "هوغنغفايس" (HuggingFace) حيث يتفوق عليه بمعدل يصل إلى 989 مرة، وأيضاً يتفوق على "تيكتوكين" (tiktoken) بمعدل 681 مرة. هذه الإنجازات تثير الدهشة، فهي تأتي بفضل استخدام تقنيات مبتكرة مثل "التحويل المسبق اليدوي" (hand-written pretokenization) وتقنية "تخزين ما قبل التحويل" (pretoken caching) بدلاً من الاعتماد فقط على الحلقات الأسرع في دمج الرموز (BPE merge loop).

جيغاتوكن ليس مجرد تحديث برمجي؛ بل يمثل نقلة نوعية في كيفية معالجة النصوص عبر الذكاء الاصطناعي، مما يفتح آفاق جديدة لتطبيقات الذكاء الاصطناعي في مجالات متعددة مثل التعليم، الطب، والابتكار.

ما رأيكم في هذه التقنية الجديدة؟ هل تعتقدون أنها ستحدث ثورة في عالم الذكاء الاصطناعي؟