Mit Algorithmic Bias sind Verzerrungen in automatisierten Entscheidungsprozessen gemeint, die zu ungerechtfertigten Bevorzugung oder Benachteiligung von Bevölkerungsgruppen führt (Zweig 2019, 210). Ein algorithmisches Entscheidungssystem kann Diskriminierungen aus verschiedenen Gründen erzeugen: 1) Weil sie bereits in den Daten enthalten sind; 2) Weil Daten zu bestimmten Personengruppen fehlen; 3) Weil ein Teil der Daten für alle Personen fehlt; 4) Weil die Methodik des maschinellen Lernens verschiedene Kontexte nicht unterscheidet, 5) Weil System unkontrolliert und dabei falsch weitertrainiert werden (Zweig 2019, 220). In vielen Einsatzgebieten von automatisierten Systemen bzw. KI kommt es zu diskriminierenden Effekten, die inzwischen gut erforscht sind (Dinika/Sloan 2023).

Algorithmen können Diskriminierungen u.a. im Zugang zu Bildungsinstitutionen, in der Kreditvergabe oder im Versicherungswesen verstärken (O'Neil 2016). Zum Beispiel, wenn einer Person in einem automatisierten Prozess aufgrund ihrer Sprache, ihres Geschlechts oder Alters ein Kredit verweigert (Matzat/Ruckenstein 2018) oder ein höherer Preis für eine Auto-Versicherung verlangt wird (Sombetzki 2024). Weiter können Menschen Sozialleistungen entzogen (Eubanks 2017) oder Eltern fälschlicherweise des Betruges verdächtigt werden (Burgess et al. 2023, University of Amsterdam 2023), mit verheerenden Folgen für die Betroffenen.

Auch die Jobsuche ist davon betroffen, wenn z.B. Suchmaschinen, die auf Lebensläufe fokussiert sind, mit Textdaten und demographischen Merkmalen Bewertungen erstellen, die nachteilig für gewisse Kandidat:innen ausfallen (Dinika/Sloan 2023). Ein Algorithmus kann bspw. „einheimische“ Lebensläufe bevorzugen oder Ausbilungen im Ausland negativ bewerten (Algorithmwatch 2024).

In der Gesichtserkennungssoftware steckt ebenfalls Potential für folgenreiche Diskriminierung, wenn zum Beispiel entsprechende Produkte von Großunternehmen wie IBM, Google und anderen, die von Polizeikräften eingesetzt werden, Schwarze Frauen viel schlechter erkennt als weiße Männer (s. Projekt gendershades.org; Boulamwini und Gebru 2018), was im schlimmsten Fall zu ungerechten Verurteilungen führen kann (Sombetzki 2024).

Aber schon in gängigen Internet-Suchmaschinen, von denen es relativ wenig Alternativen gibt, sind negative rassistische Vorurteile eingebettet (Noble 2018). Die Automatisierung hat das Potenzial, Diskriminierung zu verbergen, zu beschleunigen und zu vertiefen, während sie im Vergleich zum Rassismus früherer Zeiten neutral und sogar wohlwollend erscheint (Benjamin 2019).

Auch Tools für KI generierte Bilder reproduzieren „konsequent grobe Geschlechts- und Nationalitätsstereotypen“ und „koloniale[ ] Klischees“ (Bellio/Kayser-Bil 2024), zum Beispiel bei der Darstellung von Mediziner:innen oder Präsidentschaftskandidat:innen.

In der Bildung werden KI Systeme in ganz unterschiedlichen Bereichen eingesetzt, bspw. für die Identifizierung von Risikoschüler:innen, der Vorhersage von Studienabbrüchen, zur Unterstützung des Klassenmanagements, der Erstellung von individuellen Lernplänen oder in Prüfungssoftware (sogenannte proctoring systems) in der mittels Gesichtserkennungstechnologie der Zugang, die Durchführung und Bewertung von Prüfungen unterstützt wird (Tanksley 2024). In diesen zahlreichen Instanzen von Einordnungen und Bewertungen spielen die oben erwähnten Diskriminierungen mit. Nicht zuletzt, weil die meisten KI Technologien für den Bildungsbereich aus Silicon Valley kommen. Das heißt, westliche Vorurteile und weiße, maskulinisierte Weltbilder werden in generalisierbaren Modellen weltweit implementiert - obwohl die Mehrheit der Weltbevölkerung, und damit der Kinder im Schulalter, dieser Vorstellung nicht entspricht (Tanksley 2024).

Die Konzentration auf wenige große Unternehmen, die solche Systeme anbieten und verbreiten, ist ein maßgebliches Problem. “Power reproduces what counts as knowledge by shaping knowledge according to its internal objectives. These kinds of knowledge, if their assumptions and structures are left unexamined and unchallenged, may result in continued forms of bias against historically oppressed bodies (Eubanks, 2018; Noble, 2018; O’Neil, 2017)” (Nemorin et al. 2022, 2). Dieser Logik folgend ist es sehr unwahrscheinlich, dass automatisierte Systeme, die in bereits ungleichen oder diskriminierenden Bildungskontexten zum Einsatz kommen, irgendwie zu radikal anderen, befreienden oder emanzipierenden Ergebnissen führen. Es ist eher anzunehmen, dass jede Automatisierung zu Verstärkung und Intensivierung von existierenden Tendenzen und Resultaten führt (Selwyn et al. 2022). Birhane (2021) fasst es wie folgt zusammen: KI-Algorithmen forcieren eine Bestimmbarkeit, limitieren den Horizont des Möglichen und gestalten eine der Vergangenheit angepasste Welt (ebd., 33).