تكامل نماذج اللغات الضخمة وشبكات الالتواء البيانية: ثورة جديدة في تصنيف الصور

في عصر البيانات الضخمة، ومع تزايد انتشار صور البيانات، يظل تصنيف هذه الصور تحدياً كبيراً، إذ يتطلب تكلفة ووقت كبيرين لتوفير بيانات مصنفة بشكل كافٍ. لذلك، ظهرت الأساليب شبه المراقبة مثل شبكات الالتواء البيانية (Graph Convolutional Networks - GCNs) كحل واعد يساعد في التعلم من البيانات المصنفة وغير المصنفة.

من أبرز الصعوبات التي تواجه استخدام GCNs في تصنيف الصور هي طريقة بناء الرسوم البيانية، حيث أن الصور لا تأتي عادةً مع تمثيل هيكلي محدد مسبقًا، مثل الشبكات الاقتباسية. لذلك، تعتمد معظم الدراسات على إنشاء رسوم بيانية بناءً على تشابه المتجهات المميزة من النماذج العميقة المدربة مسبقًا، باستخدام خوارزميات الأقرب الجيران (kNN) أو الأقرب الجيران المتبادلة (reciprocal kNN).

برغم النجاحات الملحوظة التي حققتها نماذج اللغات الضخمة (LLMs) في فهم المعاني على المستويات العالية، إلا أن دمجها مع GCNs في مجال تصنيف الصور لم يتم استكشافه بشكل كافٍ. لذا، تهدف هذه الدراسة لسد تلك الفجوة عبر استخدام نموذج اللغة المرئية (Vision Language Model - VLM) لإنتاج أوصاف نصية للصور، التي يتم معالجتها بعد ذلك بواسطة LLM لتقدير درجات التشابه الدلالي بين الصور المتصلة.

تساعد هذه الدرجات على تقليم الحواف في الرسوم البيانية المعتمدة على kNN وreciprocal kNN، مما يسمح بتصفية الجيران غير ذوي الصلة دلاليًا. أظهرت النتائج التجريبية أن استخدام LLMs لتصفية الرسوم البيانية يمكن أن يزيد من دقة التصنيف، خاصة لرسوم kNN وبعض نماذج الشبكات العميقة.

للباحثين والمطورين، الكود المصدر متاح للجميع عبر الرابط: [http://gcnllm.lucasvalem.com].

ما رأيكم في هذه الطريقة الجديدة؟ هل تعتقدون أنها ستحدث فرقًا في مجال تصنيف الصور؟ شاركونا في التعليقات!