تُعَد نماذج اللغة الكبيرة (Large Language Models - LLMs) من الاختراعات ذات الأثر الكبير في عالم الذكاء الاصطناعي، حيث تسهم في تعزيز قدرات الاستدلال والإجابة على الاستفسارات بفاعلية ملحوظة. بالرغم من ذلك، يواجه استخدامها في بيئات الحوسبة المدمجة والحدودية تحديات كبيرة بسبب قيود زمن الاستجابة والذاكرة والطاقة.

التحجيم الكبير للمعلمات والمتطلبات الحسابية العالية لنماذج LLMs تجعلها غير قادرة على العمل بكفاءة على منصات ذات موارد محدودة. وعلى الرغم من ظهور تقنيات تقليل النموذج (Model Pruning) كحل فعال لتقليص الحجم مع الحفاظ على الأداء، إلا أن تحسين المستويات ورؤوس الانتباه وأبعاد الشبكات العصبية المتعددة (Multi-Layer Perceptron - MLP) تظل عملية معقدة.

تقدم الدراسة الجديدة إطار عمل لتقليص النموذج بشكل منظم، وتم من خلال تطوير تقنية جديدة ذات هدفين: تقليل زمن الاستجابة وحجم النموذج لتسهيل النشر على الأجهزة الحدودية. تتضمن طريقة العمل التي تم اقتراحها مرحلتين: المرحلة الأولى تركز على تقليص العمق بطريقة مفهومة، حيث تتم إزالة كتل كاملة من الانتباه وMLP لتقليل الحمل الحسابي واستخدام الذاكرة. في المرحلة الثانية، يتم استخدام تحسين بايزي المتوازي (Parallel Bayesian Optimization - PBO) للبحث عن النسب المثلى للتقليص ضمن قيود زمن الاستجابة.

أظهرت النتائج التجريبية أن هذه الطريقة الجديدة تُسهم في تقليل تعقيد النموذج دون التأثير السلبي على المهام المتعلقة بالاستدلال السليم والأداء في الإعدادات الصفريّة. كما تهدف النتائج إلى تحقيق توازن مثير بين الدقة وزمن الاستجابة وحجم النموذج، مما يجعلها مناسبة للانتشار في بيئات الحوسبة الحدودية.

باستخدام هذه الطريقة عبر عدة نماذج LLM وبنسب تقليم تتراوح بين 37.5% و50%، حققنا أداءً أفضل في مهام الاستدلال السليم مقارنة بالطرق السابقة، مع تقليل كبير في تكلفة الاستدلال. هل أنتم مستعدون لاستكشاف هذا الاتجاه المبتكر في تقنيات الذكاء الاصطناعي؟ شاركونا آرائكم في التعليقات!