تعتبر نماذج البيانات الجدولية (Tabular Foundation Models) المعتمدة على تكنولوجيا الـTransformer من الحلول الرائدة في معالجة البيانات الصغيرة والمتوسطة الحجم. مع ذلك، تبقى آليات الاستدلال الخاصة بها غامضة إلى حد بعيد. في دراسة جديدة، نقوم بتقديم أول دراسة شاملة لديناميات الاستدلال عبر طبقات في 6 نماذج من أحدث نماذج التعلم السياقي للبيانات الجدولية.

تتضمن هذه الدراسة استكشافًا معمقًا لكيفية نشوء التوقعات عبر الأعماق المختلفة للنموذج. نتعرف على مراحل الاستدلال المتميزة ونكشف عن ديناميات الفضاء الكامن التي تختلف عن تلك المعتمدة في نماذج اللغة. يكشف بحثنا عن وجود تكرار كبير بين الطبقات في عدة نماذج، مما يشير إلى إمكانية تحسين الأداء من خلال عمليات معالجة متداخلة خلال مراحل الاستدلال.

مع الاستفادة من هذه الرؤى، قمنا بتصميم نموذج بسيط من طبقة واحدة، يستخدم 20% فقط من إجمالي معلمات النموذج الأصلي، ومع ذلك يحقق أداءً مشابهًا. يمكن الاطلاع على الشيفرة البرمجية للمشروع على GitHub، مما يفتح المجال لمزيد من الابتكارات في هذا المجال.

إن فهم ديناميات الاستدلال ليس مجرد نظرية أكاديمية، بل له تطبيقات عملية ستسهم في تطور نماذج البيانات الجدولية وتعزز فعالية استغلالها في مختلف المجالات. هل أنتم متحمسون لرؤية المزيد من التطورات في هذا السياق؟ شاركونا آراءكم في التعليقات!