تحويل المعرفة: كيف تساهم تقنيات التقطير في تطوير نماذج الرؤية واللغة المتقدمة؟

في عالم الذكاء الاصطناعي، تجذب نماذج الرؤية واللغة (Vision-Language Models) الانتباه بفضل قدرتها على معالجة مجموعة متنوعة من المهام، مثل الإجابة على الأسئلة البصرية (Visual Question Answering - VQA). لكن، تظل متطلبات الذاكرة والمعالجة من التحديات الرئيسية التي تواجه تطبيق هذه النماذج عمليًا.

توفر تقنيات التقطير المعرفي (Knowledge Distillation) حلاً واعدًا لهذه المشكلة، حيث يتم نقل المعرفة من شبكة ذات قدرة عالية (Teacher) إلى شبكة أصغر بكثير (Student). ومع ذلك، هناك تحدي يتمثل في الفجوة الكبيرة بين القدرتين: فكلما كانت شبكة الطالب أصغر، كانت كفاءتها أفضل، لكن زيادة قدرة معلم الشبكة يمكن أن تسهم في نقل معرفة أكثر. للأسف، بعد نقطة معينة، تؤدي الفجوة الكبيرة إلى ضعف في عملية نقل المعرفة.

لهذا السبب تم تقديم إطار جديد يُعرف بالتقطير المعرفي المتسلسل من الأسفل إلى الأعلى (Bottom-Up Cascaded Knowledge Distillation - CKD). بدلاً من الاعتماد على معلم واحد ذو قدرة عالية، يستلهم هذا الإطار من الأنظمة التعليمية البشرية، حيث يتم تضمين معلمين ذو قدرة متوسطة ليقوموا بدورهم في تعزيز شبكة الطالب تدريجياً. وبعد ذلك، يمكن للمعلم الذي يتمتع بقدرة أعلى أن يستحوذ على العملية فيما بعد.

تم إجراء تحليل نظري لدراسة تأثير عملية التقطير المتسلسل على أداء التعميم لشبكة الطالب، وتم تطبيق الإطار المقترح على نماذج تستند إلى منهجية LLaVA. وقد أظهرت هذه النماذج أداءً متميزًا خلال سبعة معايير متاحة للاختبار، مما يبرز أدائها المتميز والمنافسة في هذا المجال.