اكتشاف قوانين قياس المعلمات بشكل فعال باستخدام بحث إنتروبي القوة!

في عالم الذكاء الاصطناعي، يُعَد تدريب نماذج اللغات الضخمة (Large Language Models) من العمليات التي تستهلك الكثير من الموارد، حيث يتطلب اختيار المعلمات الأمثل إجراء تجارب مكثفة. لكن، هل يمكننا تسريع هذا الأمر؟

نقدم لكم تقنية جديدة تحت عنوان بحث إنتروبي القوة (Power-Law Entropy Search - PLES)، التي تتيح لنا تقدير قوانين قياس المعلمات المثلى بطريقة أكثر كفاءة. فبدلاً من البحث التقليدي المستند إلى تجربتين ضخمتين، تعتمد PLES على تحسين بايزي متعدد الثقة، مما يعني أنها تتعلم من التجارب السابقة لتقليل عدد التجارب المطلوبة.

تتميز هذه الطريقة ببحثها عن الخيارات التي تقلل من عدم اليقين في تقديرات القوانين بدلاً من تحسين وظيفة هدف واحدة. في كل جولة، تختار PLES الإعداد الذي يقلل من عدم اليقين لكل وحدة من التكلفة الحاسوبية، مما يعني أنها تفضل التجارب الصغيرة لكن الفعالة.

تم تقييم PLES عبر معايير تركيبية ونماذج بديلة، مما أثبت فعاليتها في الوصول إلى قوانين قياس المعلمات المثلى بدقة باستخدام أقل من عُشر الميزانية المطلوبة من طرق البحث التقليدية. يعد هذا التطور خطوة مهمة نحو تحسين الكفاءة وتقليل التكاليف في تدريب نماذج الذكاء الاصطناعي.