Mit der wachsenden Nutzung von KI-Chatbots wie ChatGPT verändern sich Informationssuche und Meinungsbildung grundlegend. Gleichzeitig wächst die Sorge, dass solche Systeme bestehende gesellschaftliche Vorurteile reproduzieren (Algorithmic Bias) oder Ansichten der Nutzenden unkritisch bestätigen (Confirmation Bias).
Algorithmic Bias konnte schon vielfach nachgewiesen werden, allerdings meist in sehr abstrakten Szenarien wie Bewerbungssimulationen oder Satzvervollständigungsaufgaben. Ob sich solche Verzerrungen auch in realistischen Frage-Antwort-Settings zeigen, ist bislang kaum untersucht. Für Confirmation Bias fehlen insgesamt empirische Belege. Die vorliegende Arbeit analysiert daher, inwiefern ChatGPT in Gesprächen über Migration Anzeichen von Algorithmic Bias und Confirmation Bias aufweist.
Das Thema Migration eignet sich hierfür besonders, da es im öffentlichen Diskurs sehr präsent und stark polarisiert ist und deutliche Diskriminierungsunterschiede zwischen Ukrainer*innen und Syrer*innen dokumentiert sind, die einen geeigneten Ansatzpunkt zur Messung auch von Algorithmic Bias bieten.
In einem simulationsbasierten 3×2-Experiment wurden N = 180 Chatverläufe mit ChatGPT generiert, bei denen die Herkunft der adressierten Migrant*innengruppe (Syrien vs. Ukraine) und die Einstellung der fiktiven Nutzenden (migrationsfeindlich, neutral, migrationsfreundlich) variiert wurden und Fragen zu zentralen migrationsfeindlichen Narrativen gestellt wurden. Die Antworten wurden mittels einer teilautomatisierten Inhaltsanalyse entlang inhaltlicher und sprachlicher Dimensionen analysiert.
Die Ergebnisse zeigen, dass ChatGPT migrationsfeindliche Narrative insgesamt eher selten wiedergibt und auch keine deutliche Diskriminierung aufgrund der Herkunft der Migrant*innen erkennbar ist, Algorithmic Bias also entgegen den bisherigen Erwartungen eher geringer ausfällt. Deutlich stärker zeigt sich dagegen ein Confirmation Bias: Die Antworten passen sich sowohl in der Emotionalisierung als auch in der sprachlichen Färbung erkennbar an die Haltung der fiktiven Nutzenden an, auch der häufig geäußerte Vorwurf der „Ja-Sager“-Tendenz konnte nachgewiesen werden. Inhaltlich konnten teilweise jedoch Backfire-Effekte durch migrationsfeindliche Aussagen beobachtet werden, die darauf hinweisen, dass ChatGPT Debunking-Strategien bei als extremistisch interpretierten Aussagen einsetzt.
Die Arbeit unterstreicht damit die Bedeutung von Strategien zum Umgang mit Extremismus der KI-Anbieter sowie eine verantwortungsvolle Promptgestaltung, um Verzerrungen in Chatbot-Antworten zu vermeiden.