تحويل التيار: استخراج المعرفة بين نماذج الذكاء الاصطناعي المختلفة بطريقة مبتكرة

أصبحت نماذج اللغات الكبيرة (Large Language Models) أداةً أساسية في عالم الذكاء الاصطناعي، حيث تتميز بتقنيات التشفير الثنائي والسياق المتوازن. ومع ذلك، فإن النماذج الحديثة تتطلب مليارات المعلمات للوصول إلى أداء تنافسي، مما يثير الحاجة لتقنيات استخراج المعرفة بشكل أكثر كفاءة.

في هذا الإطار، تمتلك طرق الاستخراج التقليدية لنماذج اللغات الكبيرة مح limitations حيث تركز على تقليل خطوات الاستنتاج ضمن نفس الهيكل المعماري. لكن، لا توجد طرق فعّالة لتبادل المعرفة بين النماذج ذات الهياكل المختلفة. هنا يأتي دور TIDE، الإطار الأول من نوعه الذي يقوم باستخراج المعرفة عبر معماريات مختلفة من نماذج اللغات الكبيرة.

يتكون إطار عمل TIDE من ثلاثة مكونات رئيسية:
1. **TIDAL**: يقوم بتعديل قوة الاستخراج بناءً على تقدم التدريب والوقت التشتتيت، مما يأخذ في اعتباره موثوقية النموذج المدرس (teacher).
2. **CompDemo**: يعمل على إثراء سياق المعلم من خلال تقسيم القناع المكمل لتحسين التوقعات تحت القناع الثقيل.
3. **Reverse CALM**: يركز على الأهداف عبر تنسيق الرموز، حيث يقلب مطابقة احتمالية مستوى الكتل، مما يؤدي إلى تدرجات محدودة وتصفيات مزدوجة للنقرة.

نتيجةً لهذه المكونات، تم استخراج معلمات من نماذج بحجم 8 مليار و16 مليار إلى نموذج بنفس حجم 0.6 مليار، مما أدى إلى تحسين الأداء بمعدل 1.53 نقطة في متوسط ثمانية معايير تقريبًا. كما شهدت عمليات توليد الشفرات (code generation) تحسنًا ملحوظًا، حيث وصلت درجات HumanEval إلى 48.78 مقارنة بـ 32.3 لخط أساس AR.

إن هذا الابتكار يعد خطوة عملاقة في تكامل نماذج الذكاء الاصطناعي، ويفتح آفاقاً جديدة لتحسين الأداء وتقليل التشغيل.
هل تعتقد أن هذه التقنيات ستؤثر في المستقبل على كيفية تطوير نماذج الذكاء الاصطناعي؟ شاركونا في التعليقات!