Geht mich nichts an! China ist weit weg.

Fallen die Begriffe künstliche Intelligenz (KI) und China dann kommt schnell "Dystopie“ als dritter dazu. Und in der Tat erinnert die Idee des chinesischen Social Credit Systems (Sozial-Kredit) sehr an einen Staat, der die Überwachung seiner Bürger perfektioniert hat. Die Volksrepublik will dieses System bis 2020 verpflichtend für alle Einwohner einführen.

Die chinesische Regierung will wissen, wie vertrauenswürdig ihre Bürger sind. Dabei soll deren Verhalten erfasst und in die gewünschte Richtung beeinflusst werden. So erhalten 'brave' Bürger z.B. eine bessere Behandlung im Krankenhaus oder ihre Kinder dürfen auf eine angesehene Privatschule gehen.

Wer sich jedoch unangemessen verhält, bekommt Punkte abgezogen. Als Folge kann er bis zu ein Jahr keine Flug- oder Bahntickets buchen und bekommt im Hotel schlechtere Zimmer.

Auch auf Freunde und Verwandte kann eine schlechte Bewertung zurückfallen. Rufen sie einen säumigen Schuldner an, dann hören sie eine automatische Nachricht, die sie über die ausstehenden Schulden informiert. Da mag sich manch einer überlegen, ob er den Kontakt aufrechterhält.

Kann das in Europa passieren?

Das klingt erschreckend. Und im ersten Moment fühlen wir uns in Europa mit dem Fundament der Menschenrechte und der Demokratie sicher. Wir weisen solche Systeme mit dem sicheren Gedanken zurück: „So etwas kann bei uns nicht passieren!“ Aber ist dem wirklich so? In vielen europäischen Staaten können wir beobachten, wie totalitäre Ideen immer mehr Anhänger finden. Und wir finden auch schnell Projekte, bei denen KI für ach so praktische Dinge bedenkenlos schnell eingesetzt wird.

Eine Studie von Algorithmwatch und der Bertelsmann Stiftung listet den Einsatz von Software für Entscheidungen der Verwaltung auf. Hier einige Beispiele:

• Ungarn, Griechenland und Lettland testen einen virtuellen Grenzbeamten, der durch automatisierte Interviews Täuschungen durch Migranten aufdecken soll.
• In Finnland werden private E-Mails von Jobsuchenden analysiert, um Persönlichkeitsprofile zu erstellen.
• In Italien helfen Maschinen bei der Entscheidung, wer eine medizinische Behandlung erhält.
• In Dänemark sollten automatisierte Systeme dabei helfen, vernachlässigte Kinder zu identifizieren.

Alle diese Dinge basieren auf künstlicher Intelligenz (KI). Daher müssen wir uns als Gesellschaft dringend darüber unterhalten, wie ein ethischer Rahmen für KI aussehen soll. Und, ob es entsprechende gesetzliche Regelungen braucht, um gewisse Dinge auszuschließen.

Denn nicht nur staatliche Stellen, sondern auch private Unternehmen setzen KI für ihre Zwecke ein.

Man denke nur an die Schufa. Sie ist in Deutschland seit Jahren etabliert und ihre Bewertung entscheidet über die Kreditvergabe aller Banken. Doch wie die Bewertung zustande kommt, darüber wahrt das Unternehmen Stillschweigen. Scoring-Systeme sind also schon längst bei uns etabliert.

Der Sachverständigenrat für Verbraucherfragen – ein Gremium von Wissenschaftlern, Verbraucherschützern und Wirtschaftsvertretern – sieht die Gefahr in einem umfassenden Bewertungssystem der Privatwirtschaft: „Die Entwicklung von Super-Scores durch internationale kommerzielle Anbieter kann auch in Deutschland relevant werden. Gesetzgeber und Aufsichtsbehörden sollten sich darauf vorbereiten, zu prüfen, ob Maßnahmen ergriffen werden sollten und können, damit Super-Scores nicht auch in Deutschland kommerziell angeboten werden.“

Jegliche Form von Scoring muss transparent sein

Justiz- und Verbraucherschutzministerin Katarina Barley schrieb dazu auf Twitter: „Jegliche Form von Scoring muss transparent sein und Diskriminierung sowie Missbrauch ausschließen. Die Vorschläge des Sachverständigenrates werden wir deswegen eingehend und zügig prüfen.“

Eine für mich sehr einleuchtende Empfehlung ist diese: Verbraucher sollten erfahren, wie die Scores zwischen verschiedenen Gruppen mit unterschiedlichen geschützten Merkmalen verteilt sind. So könnten sie eine mögliche algorithmische Diskriminierung belegen. Wenn das technisch möglich ist, fände ich das sehr gut.

Ich bin sehr gespannt, wie diese Diskussion weitergeht und wie sich Europa hier aufstellt.

Einen genaueren Einblick in das Social Scoring System in China gibt Mareike Ohlberg vom Mercator Institute for China Studies in unserem Video-Interview. Sie hat uns erklärt, wie weit das System wirklich schon ist und wie die Chinesen darüber denken.