تقدمت تقنية النماذج المدربة مسبقًا من نوع المحولات (Transformers) خطوات كبيرة، حيث أصبحت تُستخدم في العديد من مجالات الترجمة الآلية، خاصة في البيئات متعددة اللغات. في هذا الإطار، أظهرت دراسات حديثة أن تقنيات مثل تقطير المعرفة (Knowledge Distillation) قد ظهرت كوسيلة فعّالة لضغط النماذج، حيث تُنقل المعرفة من نماذج معلمة كبيرة إلى نماذج أصغر وأكثر كفاءة.

واحدة من أبرز التقنيات الأخرى هي التكميم (Quantization)، التي تقلل الدقة العددية لأوزان النماذج وتنشيطات العمليات (على سبيل المثال، من تمثيل 32 بت إلى 8 بت). هذه التقنية تحسن من سرعة الاستدلال، مما يجعل النماذج تعمل بشكل أسرع بكثير أثناء النشر. ومع ذلك، تواجه كلتا الطريقتين تحديات عند تطبيقها على بيانات خاصة بالمجالات المتخصصة، وخاصة في ظل نقص الموارد.

تستعرض الدراسة التي نُشرت مؤخرًا تطبيقًا مشتركًا لتقنيتي تقطير المعرفة وتكميم النماذج لترجمة النصوص من اللغة الفرنسية إلى الإنجليزية في المجال الطبي، المعروف بالتعقيد الفني والمصطلحات المحدودة. تم تطوير استراتيجيات متعددة لتحسين أداء النماذج المضغوطة في هذه الإعدادات الصعبة.

تظهر التجارب أن النموذج المضغوط والمُقطر معًا حقق انخفاضًا بنسبة 69% في الحجم، وزيادة بنسبة 98.21% في سرعة الاستدلال، وتقليل انبعاثات ثاني أكسيد الكربون بنسبة 98.46% مقارنةً بالمستوى الأساسي الأصلي. هذه النتائج تشير إلى أن التقنيات المحسنة والمُدمجة يمكن أن تُنتج نماذج فعّالة وعالية الأداء، مما يجعلها مناسبة لمزودي خدمات الترجمة الذين يعملون تحت قيود موارد معينة.

هل ترى أن هناك أبعاداً جديدة يمكن استغلالها في مجالات أخرى باستخدام هذه التقنيات؟ شاركونا في التعليقات!