في عالم النماذج اللغوية الضخمة (Large Language Models)، تلعب التكنلوجيا دوراً محورياً في كيفية معالجة المعلومات اللغوية. لكن هل تعلم أن تكاليف استخدام هذه النماذج تختلف بشكل كبير حسب اللغة المستخدمة؟

تكشف دراسة جديدة نشرت على arXiv عن التأثيرات المالية المرتبطة باختيار اللغة، حيث تم تحليل تكاليف التوكنات (tokens) للعناصر اللغوية ضمن سبعة من أشهر النماذج المنتظرة لعام 2026. تشمل هذه النماذج: OpenAI o200k، Llama 3، Qwen3، DeepSeek V3/V4، Gemma 3، Mistral Tekken، وClaude generation-5 عبر واجهة برمجة تطبيقات Anthropic.

من خلال تحليل الترجمة لـ 124 نصاً غير إنجليزي، وجدت الدراسة أن اللغة الفرنسية تتطلب من 31% إلى 58% المزيد من التوكنات مقارنة باللغة الإنجليزية، بينما يمكن أن تتراوح التكاليف بالنسبة للغة الصينية المبسطة من 5% أقل إلى 40% أكثر.

تدفع اللغات الإقليمية في فرنسا ما يقرب من 1.6 إلى 3.3 مرات أكثر من التكاليف المرتبطة باللغة الإنجليزية. تناقش الدراسة كيف تعزز تجارب التاريخ، والأسعار المتدرجة، والنوافذ الثابتة التي تعزز الفجوة بين الفئات المستخدمة.

في تجربة م controlled، أُضيفت اللغة الفرنسية إلى بيانات التدريب الخاصة بالتوكنرز، مما ساعد في تقليل هذه الفجوة لكن بنسب متناقص، مما زاد من التكاليف على اللغة الإنجليزية.

تقدم الدراسة أيضاً نموذج Baracoda FR v1.2، والذي يقدم نتائج مشجعة بنقص قدره 11.5% من التوكنات مقابل نموذج Tekken عند استخدام اللغة الفرنسية، ولكن الأداء لم يكن بالمستوى المطلوب في لغات أخرى.

تدعو هذه النتائج إلى التفكير العميق في كيفية تأثير العوامل المختلفة على تكاليف النماذج اللغوية وتبنّي استراتيجيات جديدة لجعل هذه التقنية مفيدة لأكبر عدد ممكن من المستخدمين.

ما رأيكم في تأثير هذه النتائج على تطوير اللغات الإقليمية؟ شاركونا في التعليقات!