الهندسة البايزية في انتباه الترنسفورمر: كيف تعيد تشكيل الذكاء الاصطناعي؟

تشير [الأبحاث الحديثة](/tag/[الأبحاث](/tag/الأبحاث)-الحديثة) إلى أن [نماذج](/tag/نماذج) الترنسفورمر ([Transformers](/tag/transformers)) قد تقوم باستدلال [بايزي](/tag/بايزي) ([Bayesian](/tag/bayesian) Inference) بصورة مثيرة. لكن حتى الآن، كان من الصعب [التحقق](/tag/التحقق) من هذا الأمر بصورة دقيقة، حيث أن [البيانات الطبيعية](/tag/[البيانات](/tag/البيانات)-الطبيعية) تفتقر إلى بوستريورات (Posteriors) تحليلية، وغالبًا ما تمتزج العمليات الاستدلالية بالذاكرة. ولتجاوز هذا التحدي، تقدم [الدراسة](/tag/الدراسة) مفهوم "أنفاق الرياح البايزية"، وهي بيئات خاضعة للسيطرة حيث يكون البوستريور الحقيقي معروفًا بشكل مغلق، مما يجعل [الذاكرة](/tag/الذاكرة) مستحيلة.

في هذه الأنفاق، تمكنت [نماذج](/tag/نماذج) الترنسفورمر الصغيرة من استنساخ بوستريورات بايزية بدقة تصل إلى $10^{-3}$-$10^{-4}$، بينما فشلت [الشبكات العصبية](/tag/[الشبكات](/tag/الشبكات)-العصبية) متعددة الطبقات (MLPs) بفارق كبير، مما يوفر فصلاً معماريًا واضحًا بين التقنيات. وتؤكد النتائج [عبر](/tag/عبر) مهمتين – إزالة الثنائيات (Bijection Elimination) وتتبع حالات [نموذج ماركوف](/tag/[نموذج](/tag/نموذج)-[ماركوف](/tag/ماركوف)) المخفي (Hidden Markov [Model](/tag/model)) – أن الترنسفورمر يعتمد على [استدلال](/tag/استدلال) [بايزي](/tag/بايزي) من خلال آلية هندسية متسقة.

تكشف [الأدوات](/tag/الأدوات) الهندسية المستخدمة عدة أبعاد رئيسية، بما في ذلك توازي متجهات المفاتيح (Key Bases) والتوافق التدريجي بين الاستعلامات والمفاتيح. وخلال مرحلة التدريب، يتكشف هذا المنحنى الهندسي بينما تظل أنماط [الانتباه](/tag/الانتباه) مستقرة، وهو ما يُعرف بفصل الإطار والدقة، وهو ما تم [التنبؤ](/tag/التنبؤ) به من خلال [تحليلات التدرجات](/tag/[تحليلات](/tag/تحليلات)-[التدرجات](/tag/التدرجات)) الحديثة. تشير هذه النتائج مجتمعة إلى أن [الانتباه](/tag/الانتباه) الهرمي (Hierarchical [Attention](/tag/attention)) يحقق استدلالًا بايزيًا من خلال [تصميم](/tag/تصميم) هندسي، مما يفسر لماذا يعد [الانتباه](/tag/الانتباه) ضروريًا ويفسر [فشل](/tag/فشل) الهياكل المسطحة.

تمثل "أنفاق الرياح البايزية" أساسًا لربط الأنظمة الصغيرة القابلة للتحقق بالظواهر الاستدلالية الملحوظة في [نماذج [اللغات](/tag/اللغات) الكبيرة](/tag/[نماذج](/tag/نماذج)-[اللغات](/tag/اللغات)-الكبيرة) (Large Language [Models](/tag/models)). إن [فهم](/tag/فهم) كيفية [أداء](/tag/أداء) [النماذج](/tag/النماذج) لتلك العمليات يمكن أن يمهد الطريق لتطوير [تقنيات](/tag/تقنيات) أكثر تقدمًا في [مجالات الذكاء الاصطناعي](/tag/مجالات-الذكاء-الاصطناعي).