في عصر تتزايد فيه أهمية نماذج المحولات (Transformers) في تطبيقات الذكاء الاصطناعي، يصبح التحقق الرسمي من دقتها أمرًا ضروريًا. تكمن التحديات الرئيسية في تعقيد العمليات الحسابية التي تتضمنها، مثل ناتج الضرب في طبقات الانتباه الذاتي، مما يجعل عملية التحقق مهمة صعبة.تلبي العديد من الأساليب الحالية الحاجة إلى تقنيات تقريب زائدة، حيث يتم بناء حدود مقعرة للتحكم في نطاقات مخرجات النماذج. بالرغم من كفاءتها العالية، إلا أنها قد تفرض مقايضات تؤدي إلى دقة منخفضة وزيادة في الأخطاء الزائفة.

نقدم في هذا البحث نهجًا متطورًا لتحقيق دقة أعلى في التحقق من نماذج المحولات، يتمحور حول استخدام خوارزمية ReLU (Rectified Linear Unit) الجديدة التي تتيح تمثيل حدود غير خطية دقيقة للضربات النقطية. هذا التقدم يمكّننا من استغلال مجموعة غنية من الأدبيات حول الاسترخاء المقعر لخوارزمية ReLU للحصول على حدود دقيقة.

تمتد مقاربتنا لتشمل طريقتين كلاسيكيتين، واحدة قائمة على القواعد والأخرى معتمدة على الأمثلية، مما ينتج إطارين جديدين للتحقق بكفاءة وبدقة. لقد قمنا بتقييم مقاربتنا على نماذج متعددة ومجموعة من خصائص المتانة المشتقة من مجموعتين بيانات حول تحليل المشاعر، وقارنّا النتائج مع أحدث الأساليب المُعتمدة.

تشير النتائج إلى أن نهجنا يمكن أن يُحقق تحسنًا ملحوظًا في الدقة لمعظم مهام التحقق، مع إجراء مقايضات مقبولة من حيث الكفاءة، مما يظهر فعالية طريقتنا.

إذا كنت مهتمًا بالتطورات في مجال الذكاء الاصطناعي وكيفية تحسين دقة النماذج، ما رأيك في هذه الاستراتيجية الجديدة؟ شاركنا آراءك في التعليقات!