في عالم النماذج اللغوية، أصبحت عملية "الدقة" (Finetuning) معيارًا ذهبيًا لتحسين السلوكيات الحالية وإدخال سلوكيات جديدة. ومع ذلك، تظل العديد من الأسئلة حول الأبعاد الخفية التي تظهر خلال هذه العملية.

في ورقة بحثية جديدة تم تقديمها تحت عنوان "Diff Mining"، تم الكشف عن إطار عمل بسيط ولكنه فعال يُستخدم لتمييز ما تعلمه نموذج متقن عبر مقارنة مؤشرات اللوجيت (logits) مع مؤشرات النموذج الأساسي. ما يميز Diff Mining هو قدرته على تسليط الضوء على الرموز البارزة التي تتزايد في النموذج المتقن، مما يتيح لنا فهمًا أفضل لما تم تعلمه، حتى في النصوص غير المرتبطة بمجال الدقة.

يعتمد هذا الإطار على مرحلتين رئيسيتين: أولاً، يتم استخراج فروق اللوجيت بين النموذج المتقن والنموذج الأساسي وفقًا لمجموعة مرجعية، ثم يتم تجميع الإشارات الناتجة لإنشاء مجموعة رموز مفهومة تمثل مجال الدقة. ويعتمد في التجميع على طريقتين، الأولى تعتمد على أعلى تردد (Top-K Frequency)، والثانية تعتمد على تقنية تحليل المصفوفة غير السلبية (Non-negative Matrix Factorization) لتفكيك أهداف الدقة المتعددة إلى مجموعات رمزية متميزة.

نتائج Diff Mining أظهرت نجاحًا ملحوظًا في مجموعة متنوعة من البيئات: في اكتشاف مجال الدقة، تفوق بشكل كبير على أساليب تحليل النماذج الحالية من حيث تحديد الرموز ذات الصلة وتحقيق أداء متميز في عملية التفكيك لعتاد المراقبة (interpretability agent). كما استطاع الكشف عن أكثر من ثلث التحيزات الموجودة في النماذج، دون الحاجة إلى اختبارات مستهدفة.

إن Diff Mining يبشر بآفاق جديدة في تطوير أدوات تدقيق فعالة للكشف عن أهداف الدقة وتوفير رؤية أوضح حول الممارسات المستخدمة في تطوير نماذج الذكاء الاصطناعي.