Praxisbeispiele für Diskriminierung durch Künstliche Intelligenz

Diskriminierung durch Künstliche Intelligenz (KI) ist ein drängendes und reales Problem, das bereits zu nachweisbaren negativen Konsequenzen in der Praxis geführt hat. Dazu zählen mehrere erhebliche Fehlentscheidungen, die in verschiedenen Bereichen aufgefallen sind. Diese praktischen Beispiele zeigen, dass KI-Systeme, wenn sie auf unausgewogenen oder fehlerhaften Daten trainiert werden, diskriminierende Ergebnisse liefern können.

  • Amazon-Rekrutierungstool: Ein KI-System, das zur Auswahl von Bewerber:innen entwickelt wurde, bevorzugte unbewusst männliche Kandidaten. Dies geschah, weil das System auf historischen Daten aus einer männerdominierten Branche trainiert wurde. Lebensläufe, die das Wort „Frau“ enthielten, wurden systematisch abgewertet.
  • Gesundheitswesen: In einem KI-System zur Hautkrebs-Erkennung wurden überwiegend Bilder von hellhäutigen Personen verwendet. Dies führte dazu, dass das System bösartige Hautveränderungen bei dunkelhäutigen Menschen deutlich schlechter identifizieren konnte.
  • Gesichtserkennung [PDF: 2.538 KB]: Studien zeigten, dass viele Gesichtserkennungssysteme bei der Identifikation von Frauen sowie von „People of Color“ erheblich höhere Fehlerquoten aufweisen, was auf unausgewogene Trainingsdaten zurückzuführen ist.
  • Online-Werbung: Eine Untersuchung der Carnegie Mellon University fand heraus, dass Männern mit höherer Wahrscheinlichkeit Anzeigen für hochbezahlte Jobs angezeigt wurden als Frauen, was eine Form algorithmischer Diskriminierung darstellt.
  • Diskriminierung bei Kreditlimits: 2019 erhielten Frauen bei der Apple Card signifikant niedrigere Kreditlinien als Männer, obwohl Einkommen und Bonität vergleichbar waren. Dies wurde oft durch indirekte Merkmale wie Haushaltsstrukturen beeinflusst, die vom KI-Modell diskriminierend bewertet wurden.
  • Diskriminierung bei Steuerprüfungen: Eine Studie des Stanford Institute for Economic Policy Research zeigte, dass schwarze Steuerzahler, die den Earned Income Tax Credit beantragen, dreimal bis fünfmal so häufig vom IRS geprüft werden wie andere Gruppen.

Ursachen für Bias im KI-Lebenszyklus

Bias, oder Vorurteile, können in zahlreichen Phasen des Lebenszyklus von KI-Systemen entstehen. Der häufigste Ursprung ist im Datenbias zu finden, der auftritt, wenn Trainingsdaten bestimmte Gruppen überrepräsentieren oder historische Vorurteile widerspiegeln. Dies geschieht, wenn die gesammelten Daten nicht die Vielfalt der Bevölkerung darstellen und somit die neuronalen Netzwerke auf verzerrte Annahmen angewiesen sind.

Ein weiterer Aspekt ist die algorithmische Bias, die entsteht, wenn die Modellarchitektur spezifische Merkmale bevorzugt oder verstärkt. Bestimmte mathematische Funktionen können dazu führen, dass bestimmte Datenpopulationen diskriminiert werden, wodurch diese in Entscheidungsprozesse benachteiligt sind. Gleichzeitig spielt menschliche Voreingenommenheit eine wesentliche Rolle; Entwickler:innen können unbewusst ihre eigenen Vorurteile bei der Auswahl von Trainingsansätzen sowie der Gestaltung von Modellen einfließen lassen. Diese unreflektierte Vorgehensweise kann dazu führen, dass auch manuell bearbeitete Trainingsdaten Verzerrungen reproduzieren und verstärken.

In besonders kritischen Bereichen wie dem Gesundheitswesen, der Strafverfolgung und der Kreditvergabe können die Entscheidungen, die auf diesen KI-Ergebnissen basieren, erhebliche Auswirkungen auf das Leben der Betroffenen haben. Hier ist es von größter Bedeutung, dass KI-Systeme fair und gerecht implementiert werden, um diskriminierende Auswirkungen zu vermeiden.

Folgen von KI-Bias

Die Konsequenzen von diskriminierenden KI-Systemen sind nicht nur aus gesellschaftlicher Sicht erheblich, sondern betreffen auch Unternehmen direkt. Rechtliche Risiken sind eine zentrale Herausforderung, da diskriminierende Entscheidungen häufig gegen Antidiskriminierungsgesetze verstoßen können. In Österreich könnte dies gegen das Gleichbehandlungsgesetz verstoßen, welches den Schutz vor Benachteiligung aufgrund von Geschlecht, Herkunft, Religion, Alter oder sexueller Orientierung gewährleistet. Auf europäischer Ebene fördern die Datenschutz-Grundverordnung (DSGVO) und der EU AI Act den Schutz vor automatisierten diskriminierenden Entscheidungen und sehen bei Verstößen empfindliche Geldstrafen bis zu 35 Millionen Euro vor oder bis zu 7 % des weltweiten Jahresumsatzes.

Zusätzlich zu rechtlichen Risiken drohen auch Reputationsschäden. Unternehmen, die diskriminierende KI-Systeme verwenden, laufen Gefahr, das Vertrauen ihrer Nutzer:innen zu verlieren, was zu negativem medialem Echo führen kann. Verantwortung für diese Diskriminierung liegt nicht nur bei den Entwicklern, sondern auch bei den Betreibern und Anwendern der Systeme, wie es Artikel 5 Absatz 1 des EU AI Acts verdeutlicht. Dieser besagt, dass der Einsatz von KI zur Bewertung von Menschen auf der Basis ihrer persönlichen Eigenschaften ausdrücklich verboten ist.

Maßnahmen zur Bekämpfung von KI-Bias

Um diskriminierungsfreie KI zu erreichen, sind weiterführende Maßnahmen notwendig, die über die bloße Schulung von Mitarbeitenden hinausgehen. Der EU AI Act sieht in Artikel 10 spezifische Maßnahmen für Hochrisiko-KI-Systeme, beispielsweise Recruiting-Tools oder Kreditwürdigkeitsprüfungen, vor. Zu diesen Maßnahmen gehört die Einführung von Fairness-Metriken, die regelmäßig die Modellleistung auf Verzerrungen überprüfen. Diese Analysen zeigen auf, wie oft die KI in Bezug auf verschiedene Personengruppen Fehler macht. Ein auffälliges Ungleichgewicht kann auf mögliche Verzerrungen im Modell hinweisen.

Ein weiterer wichtiger Punkt ist die Transparenz und Erklärbarkeit der KI. Systeme sollten in der Lage sein zu erklären, warum sie bestimmte Entscheidungen treffen. Mit Hilfe von erklärbarer Künstlicher Intelligenz (XAI) können die bedeutenden Merkmale analysiert werden, die eine Entscheidung beeinflusst haben. Dies erlaubt es, die Fairness der gegebenen Entscheidungen nachzuvollziehen. Zusätzlich sollten klare Richtlinien zur Unternehmensgovernance festgelegt werden, um Verantwortlichkeiten im Umgang mit KI zu definieren, sowohl in der Entwicklung als auch in der praktischen Anwendung der Systeme.

Wie Unternehmen unterstützen können

Bei der Verwendung von KI-Systemen zur Unternehmensoptimierung tragen Unternehmen die Verantwortung, diskriminierungsfreie Ergebnisse zu gewährleisten. Organe wie Grant Thornton Austria bieten Unterstützung im Hinblick auf relevante Fairness-Kriterien sowie Governance-Ansätze für den verantwortungsvollen Einsatz von KI. Eine umfassende Beratung kann dabei helfen, mögliche Diskriminierungsrisiken zu identifizieren und zu mitigieren.

Fazit: Fairness in Künstlicher Intelligenz ist essenziell

Eine faire Behandlung ist nicht lediglich ein optionales Zusatzfeature, sondern stellt eine rechtliche Notwendigkeit für KI-Anwendungen dar. Unternehmen müssen sicherstellen, dass ihre Technologien alle Menschen unabhängig von Geschlecht, Herkunft oder sozialem Status gleichbehandeln. Dies ist nicht nur eine Frage der Überzeugung, sondern auch eine Verpflichtung, die durch klare gesetzliche Vorschriften wie den EU AI Act untermauert wird, der diskriminierende Praktiken ausdrücklich verbietet und schwerwiegende Sanktionen für Verstöße vorsieht.