في عالم الذكاء الاصطناعي، يشكل نموذج الترنسفورمر (Transformer) أحد الاختراعات الأكثر تأثيراً، حيث اقترحت دراسة جديدة تفسيراً مبتكراً لكيفية معالجة البيانات خلال عمليات الاستدلال. تعتبر الفكرة الشائعة أن نماذج اللغات الضخمة (Large Language Models) تعمل كطباعة عشوائية للبيانات التي تم تدريبها عليها. ولكن، يقدم الباحثون في هذه الورقة رؤية مغايرة، حيث يؤكدون أن الترنسفورمر يبني ويطبق تحولات معتمدة على الإدخال، وتسمى هذه الطريقة SIDPP: معالجة ديناميكية متوازية تفاعلية على مستوى التسلسل.
يتمثل جوهر هذه المعالجة في بناء نظام يعتمد على مفاهيم يتم تحويلها بواسطة مفاهيم أخرى. تمثل متجهات الرموز (Token Vectors) تلك المفاهيم التي يتم تحويلها، في حين يتم تعريف التحولات بواسطة مصفوفات وموجهات. ما يميز هذا النظام هو وجود وصلات بين المخرجات والأوزان، حيث تؤثر مخرجات بعض الشبكات في أوزان شبكات أخرى. هذه الوصلات ليست مجرد تداخلات عادية، بل تساهم في تشكيل التحولات من خلال النص المدخل.
تؤكد الدراسة أيضاً على أهمية الطول في المحفزات، حيث كلما زاد طول المحفز، زادت قوة المعالجة الدينامية، حتى قد تعادل أو تتجاوز المعالجة الثابتة، وهو ما يعرف بـ«حساسية المحفز القوية». هذا الاكتشاف قد يفتح آفاقاً جديدة لفهم كيفية تطبيق الذكاء الاصطناعي بشكل أكثر فعالية.
في ختام هذا البحث، يتناول الخبراء إمكانية أن تكون آليات المعالجة في الترنسفورمر مشابهة لتلك التي تحدث في الدماغ البشري، مما يعني أن جزءًا من دقة نماذج الترنسفورمر قد يكون مستوحى من الطريقة التي تعالج بها البشرية اللغة. هل نحن على أعتاب فهم أعمق لآليات الذكاء الاصطناعي من منظور علم الأعصاب؟
ثورة الترنسفورمر: معالجة ديناميكية مبتكرة تعيد تشكيل مفهوم الذكاء الاصطناعي!
تتناول هذه الورقة كيفية معالجة الترنسفورمر للبيانات من خلال استخدام التحولات الديناميكية التي تتشكل أثناء الاستدلال. تشير النتائج إلى أن هذه المعالجة قد تعكس بعض آليات معالجة اللغة في الدماغ البشري!
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
