Die automatisierte Gesellschaft

17. Dezember 2020, 02:00

Algorithmen sind in Gesichtserkennungs-Systeme integriert, sie berechnen, welche Werbung wir auf sozialen Medien sehen, sie sind bei Geldinstituten entscheidend, ob wir zum Beispiel einen Kredit bekommen. Wo sie von welchem Unternehmen eingesetzt werden, beziehungsweise auch, wie sie eingesetzt werden, ist nicht immer transparent.

Die NGO „AlgorithmWatch“ hat deshalb mit der Bertelsmann-Stiftung 16 Länder und die dort verwendeten Entscheidungssysteme genauer unter die Lupe genommen.

Der Technologie-Fokus rückt dabei in den Hintergrund. Es geht in der Studie nicht darum, ob ein System einen bestimmten Algorithmus verwendet oder welche Form von künstlicher Intelligenz zum Einsatz kommt, betont der Projektleiter, Fabio Chiusi.

„Keiner weiß, wie sie funktionieren.”

Vielmehr habe man sich in der Studie mit dem Titel „die Automatisierung der Gesellschaft“ auf die entstehenden Machtverhältnisse, sowie Rechts- und Fairnessfragen fokussiert. Die Intransparenz wie Entscheidungsfindungs-Systeme teilweise willkürlich eingesetzt werden, hätten mittlerweile bereits eine automatisierte Gesellschaft zur Folge, so Chiusi. „Die wichtigste Erkenntnis (der Studie) ist, dass wir den Titel unseres Berichts, nämlich „die Automatisierung der Gesellschaft“ korrekterweise „die automatisierte Gesellschaft“ hätten nennen sollten. Denn die Automatisierung hat bereits stattgefunden. Wir haben 16 Länder des Kontinents unter die Lupe genommen und umfangreiche Einsätze dokumentieren können. Allerdings, wie die Systeme genau funktionieren, was sie konkret machen oder auch, welchen Mehrwert sie darstellen sollen ist oft intransparent. Kurzum: Keiner weiß, wie sie funktionieren.”

Automatisierte Überwachung: wie oft Angestellte Lächeln

Um überhaupt herauszufinden, wo Systeme zum Einsatz kommen war viel investigative Recherche notwendig. Unternehmen haben oft kein großes Interesse daran, dass publik wird, wenn sie Systeme zur Entscheidungsfindung einsetzen. Die kreativen Auswüchse, um Mitarbeiterinnen und Mitarbeiter messbar zu machen, könnten mitunter auch einem Science-Fiction-Roman entsprungen sein.

„In Polen gibt es zum Beispiel eine Bank-Filiale, die ein System verwendet, das ein Lächeln erkennen soll. Mitarbeiterinnen und Mitarbeiter dieser Filiale wurden also danach bewertet, wie oft sie bei Kundengesprächen lächeln. Dieses Beispiel und die Ideologie, die mit dem Einsatz einher geht, spricht, denke ich, für sich.“, so Chiusi.

Besonders kritisch bewertet der Projektleiter auch jene Funde, bei denen automatisierte Entscheidungshilfen eingesetzt werden, um die Höhe einer Pension zu bestimmen, zu entscheiden, ob man einen Kredit bekommt, oder Schülerinnen und Schüler zu benoten. So geschehen in Großbritannien. Nicht nur die Intransparenz, wie die Beurteilungen zustande gekommen waren, auch, dass die Software schlechtere Noten vergeben hatte, als die Lehrerinnen und Lehrer es vorgeschlagen hätten, sorgte für Aufregung und Demonstrationen.

Mit Technik gegen Gewalt und Diskriminierung

Allerdings betont Chiusi, dass es bei der Studie nicht darum geht, den Einsatz von Algorithmen oder die Technologie zu verdammen. Es gibt auch viele Beispiele und Anwendungsgebiete, wo die Systeme einen wertvollen Dienst erweisen können. „Ich hätte zum Beispiel nicht gedacht, dass ein Algorithmus im Kontext von häuslicher Gewalt oder Gewalt gegen Frauen hilfreich sein kann. Aber in Spanien wird genau dafür seit über einem Jahrzehnt bereits ein derartiges System eingesetzt. Mit scheinbar guten Ergebnissen wird das Risiko bewertet, dass Opfer von häuslicher Gewalt erneut von ihren Partnern oder Ex-Partnern angegriffen werden. Das hat mich überrascht. Und zeigt, wie ich finde, gut, dass man, anstatt sich bei Dystopien aufzuhalten, die Ist-Situation evidenzbasiert analysieren muss. Man muss die Systeme kennen, bevor man sie beurteilen kann.“, so Chiusi.

Je nach Kultur, den jeweiligen Werten eines Landes, beziehungsweise dem soziologischen Kontext kann sich dasselbe Instrument, zum Beispiel ein „predictive policing“ System, das oft zur Verbrechensvorhersage herangezogen wird, unterschiedlich auf die Gesellschaft auswirken. Entscheidend ist, welche Software zum Einsatz kommt, mit welchen Daten sie gefüttert wird und natürlich, wie und wofür das System schlussendlich verwendet wird.

Chiusi: „In Polen etwa versucht man mit solchen Systemen vorherzusagen, wo im häuslichen Umfeld Gewalt gegen Frauen ausgeübt wird. Ein anderes Beispiel für den Einsatz ist, um eine geeignete Schule für Kinder zu finden, in der sie nicht diskriminiert oder ausgegrenzt werden. Es gibt die unterschiedlichsten Zugänge, die je nach Land variieren.“

Gesetz für transparente Algorithmen

Vor allem Transparenz stellt ein Schlüsselelement dar, um den Einsatz von automatischen Entscheidungsfindern verständlich und nachvollziehbar zu machen. Die NGO AlgorithmWatch hat in ihren Empfehlungen deshalb auch, die Europäische Kommission aufgefordert, im kommenden Gesetz zu Digitalen Diensten für transparente Algorithmen zu sorgen.

Gestaltung: Sarah Kriesche

Service

AlgorithmWatch - die Automatisierung der Gesellschaft
AlgorithmWatch - Putting Meaningful Transparency at the Heart of the Digital Services Act