في ظل تطور الذكاء الاصطناعي وتزايد الحاجة لتدريب نماذج فعالة، يعتمد الباحثون على استراتيجيات جديدة لتقليل الموارد اللازمة. قدم الباحثون في ورقة بحثهم الجديدة تقنية مبتكرة تُدعى Phase-HDC، والتي تهدف إلى استبدال التاريخ المُسجل لتدرجات المُحسِّن (Optimizer) بعوامل عتبة تعتمد على التغييرات البسيطة في الزوايا.

تواجه نماذج التعلم العميق تحديًا كبيرًا في استهلاك الذاكرة؛ حيث تحتاج النماذج المُصغرة إلى سعة ذاكرة أكثر بكثير من مجرد تخزينها، نظرًا لأن المُحسِّن يحتفظ بسجلات من التدرجات السابقة. تعتمد المرحلة الجديدة المعروفة بـ ذكرة المرحلة (Phase Memory) بشكل رئيسي على زوايا منخفضة البت.

لكن ماذا عن كيفية تدريب النموذج دون الحاجة لتخزين أي شيء سوى النموذج نفسه؟ هنا تأتي Phase-HDC لتغيير قناعاتنا! تقترح هذه الطريقة تحويل كل زاوية مخزّنة بمقدار خطوة واحدة فقط لكل تحديث، مع مراعاة إشارة التدرج الحالي، وأيضًا عند توفر شرط عتبة معينة.

تمتاز Phase-HDC بأنها تطابق دقة المُحسِّن الشهير أدم (Adam) مع لحظات 6-بت، بينما تحتفظ بمساحة تخزين أقل بمعدل يتراوح بين 16-23 مرة أقل من طراز أدم 32-بت القياسي. أظهرت النتائج أنها تتخطى دقة نظام أدم 8-بت في ستة من أصل أحد عشر مجموعة بيانات، مما يسلط الضوء على فعالية هذه الطريقة في البيئات الأكثر تحديًا، مثل التنبؤ بالنص على مستوى البايت.

تتضمن النتائج تجربتين للمدربين تفصل كيف أن التحديثات بدون ذاكرة قادرة على تحقيق أداء ممتاز، بحيث تعتمد الخوارزمية الجديدة على حالة منطقية سهلة بدلاً من الاعتماد الكامل على السعة التخزينية للأجهزة.

بفضل Phase-HDC، نرى خطوة جديدة نحو نماذج أكثر كفاءة وأقل استهلاكًا للذاكرة. كيف سيكون أثر ذلك على مستقبل الذكاء الاصطناعي؟ دعونا نتحدث عن ذلك في التعليقات أدناه!