تكلفة موثوقية تكييف النماذج اللغوية الصغيرة: دراسة تجريبية مثيرة عبر المعماريات!

أصبح تكييف النماذج اللغوية الصغيرة (Small Language Models - SLMs) خياراً عملياً لتطوير أنظمة معالجة اللغة الطبيعية (Natural Language Processing - NLP) في بيئات ذات موارد محدودة والتي تتطلب دقة عالية مثل الرعاية الصحية والخدمات القانونية. بينما تم تحديد الفوائد الناتجة عن تحسين الأداء من خلال تقنيات التكيف الفعالة، لا تزال التأثيرات على موثوقية النموذج (trustworthiness) موضوعاً يحتاج لمزيد من الفهم.

تسرد هذه الدراسة المبتكرة أول دراسة تجريبية شاملة تقيّم تكلفة موثوقية تكييف النماذج عبر ثلاثة معمارية (TinyLlama 1B، Gemma-2 2B، وLlama 3.2 1B) وعبر ثلاثة مجالات (الرعاية الصحية، القانونية، والتمويل). قامت الدراسة بفحص تأثير حالة بيانات التدريب (البيانات السليمة والبيانات المعرضة للهجمات) وأربعة استراتيجيات للتكيف، بما في ذلك
Baseline LoRA وSafety-DPO وDark Experience Replay وTask Arithmetic LoRA (TA-LoRA).

تم تقييم موثوقية النموذج باستخدام اختباري TruthfulQA MC2 (لقياس الدقة الواقعية) وHarmBench ASR (لقياس متانة النموذج ضد الهجمات) في جميع 216 تهيئة تجريبية مع استخدام ثلاث بذور عشوائية.

تقدم الدراسة ثلاث نتائج رئيسية:
1. أظهرت تكييفات QLoRA الأساسية تغيراً ضئيلاً جداً في نتائج TruthfulQA MC2 عبر جميع التوليفات.
2. بيانات التدريب المعرضة للهجمات حسنت دائماً جودة التكيف دون التأثير سلباً على معايير الموثوقية.
3. لم تنجح أي من استراتيجيات الحفاظ على السلامة في تقليل تعرض النموذج للهجمات، بل إن بعض الاستراتيجيات زادت من تعرض النموذج للخطر.

تفتح هذه النتائج آفاقاً جديدة لفهم العلاقة بين تكييف النماذج الصغيرة وموثوقيتها، مما يتطلب مزيداً من الأبحاث لفهم كيفية تحسين هذه النماذج في بيئات حيوية دون المساس بجودتها وموثوقيتها.