اكتشف قوة نماذج الترنسفورمر الخفيفة في كشف الأعطال: دراسة مرجعية مثيرة!

في عالم التكنولوجيا المتطور، أصبحت الحاجة إلى أنظمة كشف الأعطال القابلة للتنفيذ على الأجهزة أمرًا ملحًا. تمكن هذه الأنظمة من تشخيص الأعطال في الوقت الحقيقي دون الاعتماد على السحب، لذلك يعتبر اختيار النموذج المناسب من الأمور الأساسية. في هذا السياق، قامت دراسة جديدة بتقديم مقارنة شاملة بين تقنيات التعلم الآلي التقليدية مثل Random Forest و XGBoost ونماذج الترنسفورمر الخفيفة مثل DistilBERT و TinyBERT.

تضمنت التجارب التي أُجريت على ثلاثة مجموعات بيانات عامة تُعنى بالكشف عن الأعطال: مجموعة بيانات NASA C-MAPSS المتخصصة في تدهور محركات التوربين، ومجموعة SECOM لعمليات التصنيع، بالإضافة إلى مجموعة UCI AI4I 2020 لصيانة المعدات المتوقعة. تم تقييم الأداء بناءً على مقاييس متعددة تشمل دقة التصنيف (F1-score و AUC) وحجم النموذج وزمن التنفيذ عبر وحدة المعالجة المركزية (CPU).

أظهرت النتائج أن نماذج الترنسفورمر الخفيفة تمكنت من الوصول إلى دقة تصل إلى 87.8% (F1-score)، ولكن بحجم أضعاف النموذج التقليدي وزمن تنفيذ يفوق 9000 مرة. ومن بين النماذج المدروسة، يُعتبر TinyBERT-4L هو الأنسب من حيث قابلية الاستخدام بفضل حجمه الذي يبلغ 55 ميغابايت وزمن التنفيذ الذي يصل إلى 18 مللي ثانية.

تُظهر الدراسة أيضًا التأثير الإيجابي لتقنية التكميم الديناميكي INT8 والتي أدت إلى تقليص حجم النموذج بنسبة 25% مع الحفاظ على 86.9% من دقة التصنيف. من جهة أخرى، تطبيق تقنية أنابيب الاستدلال التكيفي استهدف توجيه 97.9% من التوقعات عبر نموذج تكميم ذكي، مما حقق دقة إجمالية قدرها 87.6% وزمن تنفيذ متوسط ​​قدر بــ 19.5 مللي ثانية.

ومع ذلك، فإن النماذج التقليدية والترنسفورمر وجدت صعوبة في التعامل مع مجموعات البيانات ذات التوزيع غير المتوازن بشكل كبير، مما يسلط الضوء على القيود الأساسية في الطرق الحالية لكشف الأعطال في مثل هذه الحالات. كل الأكواد المستخدمة في هذا البحث متاحة للجمهور، مما يتيح للمهتمين إمكانية الاطلاع والمساهمة.