في عالم التقنيات الحديثة، تعتبر [نماذج [اللغة](/tag/اللغة) الكبيرة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)-الكبيرة) ([LLMs](/tag/llms)) من أبرز [الإنجازات](/tag/الإنجازات) التي شكلت ثورة في مجال [الذكاء الاصطناعي](/tag/الذكاء-الاصطناعي). إلا أن [تحقيق](/tag/تحقيق) توازن مثالي بين [الأداء العام](/tag/[الأداء](/tag/الأداء)-العام) والدقة في المهام المعقدة مثل [الرياضيات](/tag/الرياضيات) وبرمجة الأكواد يعد تحدياً كبيراً وقائماً. في هذا السياق، أُعلن عن اختراع منهجية جديدة تحت اسم '[تقنية البحث](/tag/[تقنية](/tag/تقنية)-[البحث](/tag/البحث)) عن الخليط المثالي في [التدريب](/tag/التدريب)' (DeMix)، وهي إطار [عمل](/tag/عمل) مبتكر يهدف إلى [تحسين](/tag/تحسين) عملية خلط [بيانات](/tag/بيانات) [نماذج [اللغة](/tag/اللغة) الكبيرة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)-الكبيرة) بشكل فائق.
تعتمد [تقنية](/tag/تقنية) DeMix على [دمج النماذج](/tag/دمج-[النماذج](/tag/النماذج)) لتوقع النسب المثالية للبيانات، بدلاً من [تدريب](/tag/تدريب) [نماذج](/tag/نماذج) مستقلة لكل مزيج [عينة](/tag/عينة). من خلال [تدريب](/tag/تدريب) [نماذج](/tag/نماذج) مركبة على [مجموعات بيانات](/tag/مجموعات-[بيانات](/tag/بيانات)) مرشحة على نطاق واسع، يمكن لـ DeMix اشتقاق مزيج [بيانات](/tag/بيانات) نما نشطاً [عبر](/tag/عبر) [دمج النماذج](/tag/دمج-[النماذج](/tag/النماذج)). ولعل ما يميز هذه الطريقة هو فصل تكلفة [البحث](/tag/البحث) عن [تكاليف](/tag/تكاليف) التدريب، مما يتيح [تقييم](/tag/تقييم) [عدد](/tag/عدد) غير محدود من العينات دون زيادة الأعباء التدريبية.
وتدل النتائج الأولية على أن DeMix تنافسية للغاية حيث تحل التحدي القائم بين [الكفاءة](/tag/الكفاءة) والدقة، فتسجل مزيداً من [الأداء](/tag/الأداء) المحسن بتكاليف [بحث](/tag/بحث) أقل. وليس هذا فحسب، بل تم أيضاً [نشر](/tag/نشر) [مجموعة بيانات](/tag/مجموعة-[بيانات](/tag/بيانات)) DeMix Corpora، التي تشمل 22 تريليون رمز من [البيانات](/tag/البيانات) عالية الجودة تم [التحقق](/tag/التحقق) منها، لتسهيل [الأبحاث](/tag/الأبحاث) المفتوحة في هذا المجال.
باختصار، يجسد هذا [الابتكار](/tag/الابتكار) تحولاً مهماً في كيفية التعامل مع [تدريب](/tag/تدريب) ونمذجة البيانات، ويُعد خطوة [نحو](/tag/نحو) [مستقبل](/tag/مستقبل) واعد في استخدام [نماذج [اللغة](/tag/اللغة) الكبيرة](/tag/[نماذج](/tag/نماذج)-[اللغة](/tag/اللغة)-الكبيرة). هل ستنتهي بذلك المآزق الصعبة التي عانت منها [النماذج](/tag/النماذج) سابقاً؟ نود سماع آرائكم حول هذا التطور! شاركونا في [التعليقات](/tag/التعليقات).
تجربة جديدة في تدريب نماذج اللغة: دمج النماذج لتحقيق خليط بيانات مثالي!
تبتكر دراسة جديدة إطار عمل يسمى DeMix لتحسين تدريب نماذج اللغة الكبيرة (LLM) عبر دمج النماذج. هذا الابتكار يعد بتطوير خليط بيانات مثالي بتكاليف منخفضة وحصول على أداء أفضل.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
