تتزايد أهمية نماذج اللغة الكبيرة (LLMs) في عالم الذكاء الاصطناعي، إلا أن هذه النماذج تعاني من تحيزات تمثيلية ونحوية يصعب تقييمها. تكمن المشاكل في الطبيعة العشوائية لتوليد النصوص، مما يجعل أساليب التدقيق التقليدية، التي تعتمد على فحص مخرجات أحادية أو مقاييس آلية ثابتة، غير كافية.

في دراستها الجديدة، قدّمت مجموعة من الباحثين أداة مبتكرة تُعرف بـ TreeTracer، وهي أداة لتحليل البيانات المرئية تهدف إلى تقييم التحيزات في LLMs من خلال مقارنة مجمعة. يعتمد هذا النظام على منهجية تحليل الانحرافات المنهجية، حيث يتم استبدال المصطلحات المحددة مسبقًا في كل مطالبة، ومن ثم يتم تجميع مئات التوليدات العشوائية في هيكل هرمي متماسك من حيث التركيب النحوي.

تعتمد الأداة أيضًا على دمج العقد الواعي بالتصنيف باستخدام نموذج لغوي مضاف، وتعرض النتائج من خلال رسم بياني مخصص من نوع سانكي (Sankey Diagram). من خلال مقارنة شجرين مرئيين يستند كل منهما إلى أطر مفاهيمية مختلفة، تتيح مساحة العمل إجراء مقارنات مباشرة بين السياقات الدلالية، مما يعزز من إمكانية اكتشاف التحيزات بشكل منهجي.

علاوة على ذلك، يخفف النظام من مخاطر التفسير الخاطئ لتحيز النموذج من خلال تطبيق الاستدلال المتباين، مما يمكّن من حساب وعرض احتمالات الرموز المضادة في سياقات متعددة. تم التحقق من فعالية الأداة من خلال دراسات حالة تقارن نموذج GPT-2 XL غير المتماهي مع نماذج Apertus المتطابقة مع الدستور.

أثبتت التجارب أن التجميع المرئي للمعلومات يُظهر بوضوح الأضرار التمثيلية المخفية مثل قمع الضمائر المضادة وتهميش الأفراد في المحادثات. كما أكدت دراسة أولية مع المستخدمين أن الواجهة المقارنة المجتمعة يمكن أن تقلل من الحمل الذهني وتساعد المحللين في كشف التحيزات النظامية بكفاءة.