تجاوز الحدود: كيف يعيد التدريب على البيانات الخاصة تشكيل نماذج اللغة الكبيرة!

حقق الذكاء الاصطناعي تقدمًا ملحوظًا في الآونة الأخيرة، وخصوصًا من خلال نماذج اللغة الكبيرة (LLMs). لكن السؤال الذي يطرح نفسه، ما هي الحدود التالية لتطوير هذه النماذج؟ وفقًا لدراسة جديدة تم نشرها على arXiv، يتوجه الباحثون للاستفادة من البيانات الخاصة التي تكمن وراء أبواب المؤسسات، وخاصة في مجالات الصحة والمالية حيث تحتوي البيانات على معلومات حساسة مثل سجلات المرضى أو اتصالات العملاء.

تعتبر البيانات الخاصة من أغلى المعلومات في العالم، ومع ذلك، التحدي الكبير هو أنها لا يمكن تبادلها بسبب القوانين والتشريعات التي تحمي الخصوصية. وهذا ما يعيق تقدم نماذج اللغة الكبيرة التي تعتمد عادةً على مجموعات البيانات العامة.

لكي يحقق الباحثون تقدمًا في استغلال هذه البيانات، اقترحوا إطارًا عمليًا يتيح التعاون الفيدرالي عبر البيانات الموزعة. باستخدام منصة Sherpa.ai للتعلم الفيدرالي، يمكن للنقاط (nodes) إجراء تكييف مشترك لنموذج لغة مشترك دون الحاجة لتبادل البيانات الخاصة. وتمت تجربة هذه الاستراتيجية عبر دراسة نطاق عبر مجالات مختلفة تشمل الصحة والمالية.

باستخدام أربع مجموعات بيانات للإجابة على الأسئلة وتصنيف المحاور: MedQA، MedMCQA، FPB، وFiQA-SA، مقارنة الباحثون ثلاثة استراتيجيات فعّالة للتكييف مثل LoRA وQLoRA وIA3. أظهرت النتائج أن التكييف الفيدرالي يمكن أن يؤدي أداءً قريبًا من التدريب المركزي، ومع ذلك يفوق التعلم المنعزل في مؤسسة واحدة. وبالنظر إلى كفاءة الطاقة، نجد أن استراتيجيات QLoRA وIA3 تُحسن الكفاءة مع انخفاض طفيف في الدقة، مما يجعل التكييف الفيدرالي خيارًا قابلاً للتطبيق في الحالات التي لا يمكن فيها مشاركة البيانات.

إن هذه التطورات تفتح آفاق جديدة لتوظيف الذكاء الاصطناعي في مجالات حيوية، مما يزيد من عمق الخبرة ويعزز الفائدة العملية في العالم الحقيقي. ما رأيكم في هذا التطور المثير؟ شاركونا آراءكم في التعليقات!