في عصر تتزايد فيه الحاجة إلى معالجة بيانات المعاملات المالية بكفاءة، برزت نماذج LoRA (Low-Rank Adaptation) كحل مبتكر لتحسين استخراج المعلومات التجارية من السلاسل النصية المصرفية المربكة والقصيرة. عبر تقرير جديد، قدم الباحثون دراسة مفصلة حول أداء 24 نموذجًا مختلفًا، تم تقييمها بناءً على دقتها، وسرعة الاستدلال، وتكاليف التدريب، وسلوك الأجهزة.

النظام المعتمد حاليًا والذي يستخدم نموذج LLaMA 3.1-8B المعزز بواسطة LoRA، حقق مستوى دقة مذهل بنسبة 96.95%، إلا أن استخدام نماذج بهذا الحجم يفرض قيودًا عالية على الذاكرة والتكلفة. وقد جاءت نتائج الدراسة لتظهر أن:

1. إعادة إنتاج نموذج LLaMA 3.1-8B مع تصنيف LoRA برتبة 8 حققت دقة متقاربة بنسبة 96.75%، بفارق ضئيل يبلغ 0.20 نقطة.
2. نموذج Qwen 3.5 بحجم 4 مليار باراميتر باستخدام طلبات JSON فقط حقق دقة 96.60% مع استخدام نصف عدد الباراميتر.
3. النموذج بحجم 0.8 مليار باراميتر Qwen 3.5 حقق دقة مرتفعة بنسبة 94.75%، متفوقا على نماذج أكبر بحوالي 2.5-4 مرات، مما يوفر توازنًا جذابًا بين زمن الاستجابة والدقة.
4. تحسينات سلسلة التفكير (chain-of-thought fine-tuning) ساهمت بشكل إيجابي في زيادة الدقة بمقدار 0.3-1.8 نقطة عبر معظم النماذج.
5. كانت نتائج نماذجي Qwen 3.5 Think وNothink متقاربة للغاية، مما يشير إلى أن إشراف التفكير الصريح ليس ضروريًا لمهام استخراج المعلومات المنظمة.

أيضًا، تم نشر جميع النماذج المنقحة تحت 8 مليار باراميتر كنقاط خدمة لنموذج Databricks، حيث أظهرت الأداء المستدام في الإنتاج مع تغيير متوسط لفارق الدقة لا يتجاوز 0.8 نقطة. كان النموذج Aya 3.35B، الذي يعتمد على هندسة Cohere2، استثناءً حيث سجل انخفاضًا في الأداء بمقدار 3-5 نقاط في ظروف الخدمة.

استنادًا إلى هذه النتائج، تم تقديم توصيات للنشر بناءً على متطلبات الدقة والزمن. في النهاية، تشير هذه التطورات إلى إمكانية استخدام نماذج أصغر حجمًا بكفاءة عالية في مجالات ذات متطلبات حقيقية في استخراج المعلومات بشكل دقيق وفعال. ما رأيكم في هذه التطورات المثيرة؟ شاركونا في التعليقات!