في عالم الذكاء الاصطناعي، تُعتبر مشفرات الناقل النادرة (Sparse Autoencoders) واحدة من الأدوات البارزة التي تُستخدم لاستخراج مفاهيم قابلة للتفسير من نماذج الرؤية واللغة. ومع تزايد استخدامها، تظهر الحاجة لتقييم فعاليتها بطرق لا تقتصر فقط على المقاييس التقليدية أو الفحص الكيفي. ولذلك، قام الباحثون بتقديم إطار تقييم جديد يرتكز على قياس محاذاة النتائج مع المفاهيم المعلنة من قبل البشر، دون الحاجة لإجراء دراسات تعتمد على المستخدم، مما يمثل خطوة تطورية مهمة.

يعتمد هذا الإطار على طرق مبتكرة تشمل تدخلات من خلال تغييرات مستهدفة على الخصائص، حيث تم تطوير مجموعات بيانات صناعية مثل synCUB وsynCOCO، التي تحتوي على صور متزاوجة تختلف في خاصية واحدة فقط. هذا يمكن من إجراء تقييمات دقيقة تُظهر مدى توافق النتائج المستخرجة عن المشفرات مع المفاهيم المعرفة.

من خلال استخدام خوارزمية جديدة تُدعى Fully-Binary Matching Pursuit (FBMP)، يضمن الباحثون أن العملية تستطيع دعم الخرائط بين العديد من النتائج المشتقة من المشفرات والمفاهيم المعلنة بشكل فعال. وقد أظهرت النتائج أن هذه الطريقة تتفوق بانتظام على الطرق التقليدية.

علاوة على ذلك، تم تطوير مقياس جديد يُعرف باسم Targeted Attribute Perturbation Alignment Score (TAPAScore)، الذي يُتيح اختبار ما إذا كانت المفاهيم المتطابقة تستجيب بشكل انتقائي لتغييرات محددة، مما يُعزز من موثوقية تقييم المشفرات.

تشير التحليلات إلى أن هناك توازنًا مثاليًا في حجم المجموعات القاموسية، مما يؤكد أهمية استخدام الأحجام المتوسطة للحصول على أقصى قدر من القابلية للتفسير. يمكنكم الاطلاع على الشيفرات والبيانات المستخدمة في هذه الدراسة من خلال زيارة GitHub.