أصبح من الواضح أن النمو الهائل لنماذج اللغة الكبيرة (LLMs) قد خلق بيئة غير متجانسة وتفتقر إلى الوثائق اللازمة لتسهيل فهم تلك النماذج. ومع تزايد الحاجة إلى المقارنات المنهجية لأغراض التدقيق والتقييم الأمني، شهدنا تحديات فريدة في التعامل مع هذا التنوع. بينما تتيح الطرق الحالية تحليل المعلمات الداخلية، فإنها تواجه عوائق عندما يتعلق الأمر بتنوع الهياكل. هذا ما يجعل الأساليب الجديدة مثل ABLE (Attribution-Based Large-model Embedding) ذات أهمية كبيرة.

يقدم ABLE إطارًا يسهم في تمثيل النماذج من خلال استخدام مساحة التفسير لبناء تجسيدات فعالة. حيث يقوم بتجميع تقديرات الميزات المستندة إلى التدرجات عبر محاذاة قائمة على الكلمات دون الاعتماد على أداة تحليل واحدة (tokenizer)، مما يمكنه من التقاط أنماط حساسية محددة لكل نموذج بدلاً من التركيز فقط على المخرجات السطحية.

تقدم هذه الطريقة تحليل استقرار، مما يضمن أن خريطة المعلمات إلى التجسيدات تحقق استمرارية محدودة تحت بعض الافتراضات القياسية لنماذج Transformer. تظهر التجارب الواسعة التي أجريت على 239 نموذجًا مفتوح المصدر أن هذا النهج، الذي لا يحتاج إلى تدريب، يحقق أداءً تنافسيًا أو حتى متفوقًا في مجالات تحليل العلاقة، توجيه النماذج، وتوقع درجات المعايير.

باختصار، ABLE يمثل قفزة نوعية في فهم كيفية عمل نماذج اللغة الكبيرة، مما يسهل على الباحثين والمطورين تقييمها واختيار الأنسب لاحتياجاتهم. ما رأيكم في هذا التطور الثوري؟ شاركونا في التعليقات.