في خطوة جديدة نحو تحسين كفاءة نماذج اللغات الضخمة (Large Language Models)، تم اختبار طبقة ذاكرة مبتكرة باستخدام الحزمة العامة galahad-kv التي تحتفظ بالحالة الداخلية لنموذج الذكاء الاصطناعي.

عندما يتعامل نموذج لغوي مع نص، فإنه غالبًا ما يقوم بإعادة حساب حالته (key-value state) لكل نص يتم إرساله له. ولكن بفضل هذه الطبقة الجديدة، أصبح بالإمكان تخزين الحالة في قرص NVMe محمي وتستعيد لاحقًا بدون إعادة حساب، مما يوفر الوقت والطاقة.

التجربة التي أجريت على 50 مليون توكن من نصوص عامة أظهرت نتائج مذهلة. عبر استخدام إصدارين مختلفين من نموذج Gemma (الذي يحمل 12B و31B من البارامترات)، تم تحميل كل كتلة من البيانات بسرعة تفوق من 2.8 إلى 4.3 مرة مقارنة بإعادة الحساب. كما استهلكت الطاقة أقل بمقدار يتراوح بين 8.8 إلى 12.3 مرة، مما جعل الذاكرة ثابتة أثناء تدفق البيانات.

عند اختبار النموذجين بخصوص معلومات قد تم إدخالها قبل مليون توكن، أظهر النموذج 12B دقة بنسبة 82% في الإجابة بينما النموذج 31B حقق دقة مذهلة تصل إلى 98%. وهذا يؤكد فعالية النظام الجديد وعدم وجود إجابات مصنوعة.

من المهم ملاحظة أن هذه التقنية ليست مجرد توسيع لنوافذ الانتباه، حيث تُحمَل حالة واحدة في كل مرة، وتعتمد جودة الإجابة على أداء النموذج نفسه. لكن تكلفة كتابة الذاكرة تعتبر مرة واحدة، فيما يتطلب التخزين سعات ضخمة من قرص NVMe.

باختصار، هذه التقنية تعتبر خطوة ثورية في مجال الذكاء الاصطناعي وسرعته.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات!