تعد نماذج اللغة الكبيرة (Large Language Models) من أهم الأدوات في عالم الذكاء الاصطناعي، ولكنها تواجه تحديات عند تطبيقها على مجالات متخصصة نظرًا لعدم كفاءة التقطيع (Tokenization) الناتجة عن المفردات العامة. في هذا السياق، يبرز البحث الجديد الذي يهدف إلى معالجة هذا التحدي من خلال تقديم نهج فعال لتكييف المفردات.

يعتمد هذا النهج على دمج تكييف المفردات مع ما يسمى التدريب المستمر (Continual Pretraining) بهدف تحسين أداء النماذج في تلخيص النصوص، وخاصة في مجالات القانون والطب. يتم تطوير إطار عمل موحد يقوم بتغزيز أدوات التقطيع المدربة مسبقًا بإضافة كلمات متعلقة بالمجال، واستبدال الكلمات غير المدربة أو التي يصعب الوصول إليها، مما يسهل التحكم في زيادة عدد المعاملات.

أظهرت التجارب التي أجريت على نموذج لاما (Llama-3.1-8B) ونموذج كوين (Qwen2.5-7B) تحسنًا كبيرًا في جودة التلخيص، حيث ازدادت الدقة في الفهم والمعنى بين الملخصات والمرجعيات. كما أظهرت النتائج أن النموذج الجديد يقلل من وقت التدريب بنسبة تتراوح بين 35% و55% مقارنة بالتدريب المستمر التقليدي، كما يقلل عدد المعاملات بنسبة تصل إلى 37% مقارنة بطرق التوسع فقط.

في الختام، يمثل هذا البحث خطوة هامة نحو تحسين نماذج الذكاء الاصطناعي لتعزيز الفهم والتفسير الدقيق للنصوص المتخصصة، مما يفتح آفاق جديدة للتطبيقات العملية. ما رأيكم في هذا التطور المشوق؟ شاركونا في التعليقات.