Brüssel. KI kann Emotionen von Angestellten und Schülern erkennen, doch sie zu nutzen, ist künftig verboten. Kritiker warnen vor Schlupflöchern.

In Deutschland und den anderen EU-Staaten wird die Anwendung Künstlicher Intelligenz (KI) zur Verhaltenskontrolle und Überwachungszwecken stark eingeschränkt. Ausdrücklich verboten ist künftig unter anderem die Anwendung von KI-Systemen, mit denen sich Emotionen von Beschäftigten am Arbeitsplatz oder von Schülern im Klassenzimmer erkennen lassen.

Auch das ungezielte Auslesen von Bildern aus dem Internet oder aus Überwachungsaufnahmen für Datenbanken zur Gesichtserkennung wird verboten. Das sehen neue Regeln für Künstliche Intelligenz vor, die das EU-Parlament am Mittwoch beschlossen hat. EU-Binnenmarktkommissar Thierry Breton sprach von einer „historischen Einigung“: Europa werde der allererste Kontinent, der klare Regeln für die Nutzung von KI setze.

Auch interessant: Esken: Durch Missbrauch von KI drohen uns ernste Gefahren

Komplett verboten werden zum Beispiel auch biometrische Systeme zur Kategorisierung von Menschen, die Merkmale wie zum Beispiel die sexuelle Orientierung oder religiöse Überzeugungen verwenden. Ebenso untersagt wird es, mit Hilfe von Künstlicher Intelligenz Sozialverhalten zu analysieren und zu bewerten, das sogenannte Social Scoring.

Tests in China: KI kontrolliert Verhalten von Schülern

Beispiele für solche Anwendungen finden sich aktuell vor allem in China: Präsident Xi Jinping will China nicht nur in wenigen Jahren zur weltweiten Supermacht der KI-Forschung machen – er setzt Künstliche Intelligenz auch zunehmend für ein gigantisches Überwachungssystem ein. In immer mehr chinesischen Städten kontrollieren die Behörden ihre Bürger mit Gesichtserkennungs-Kameras, um Einwohner zu identifizieren, die sich in der Öffentlichkeit „unzivilisiert“ verhalten oder zum Beispiel bei Rot über die Straße gehen – die Betroffenen werden dann mit Bild, Namen und Adresse in sozialen Medien bloßgestellt.

weitere Videos

An chinesischen Schulen werden „intelligente Klassenzimmer“ getestet, bei denen Verhalten und Konzentration jedes Schülers mit Kameras erfasst und analysiert wird. Komplett untersagt werden diese Emotionserkennungssysteme auch in Europa nicht, ausdrücklich verboten werden sie den Angaben zufolge am Arbeitsplatz und in Bildungseinrichtungen. Es würden zum Beispiel KI-Systeme, mit denen Unternehmen die Gefühle von Verbrauchern erkennen und analysieren können, weiterhin zugelassen sein, warnte die Europäische Verbraucherschutzorganisation Beuc. Dies sei „sehr besorgniserregend“.

Zudem konnten die EU-Mitgliedstaaten Ausnahmen vor allem für die Verbrechensbekämpfung durchsetzen: So ist biometrische Identifizierung im öffentlichen Raum in Echtzeit, also die Auswertung von Videoüberwachung, unter bestimmten Voraussetzungen erlaubt, zum Beispiel bei der Gefahr eines Terroranschlags oder bei der gezielten Suche nach Opfern von Menschenhandel; Voraussetzung ist eine richterliche Genehmigung. In solchen Fällen dürfen Systeme gezielt in Echtzeit Unmengen an Überwachungs-Daten etwa von öffentlichen Plätzen oder Bahnstationen auswerten, damit Fahnder einzelne Personen identifizieren können. Auch der spätere KI-Einsatz zur Auswertung solcher Aufnahmen ist zur gezielten Suche nach Schwerverbrechern erlaubt.

So regelt die EU Nutzung von Künstliche Intelligenz

Um diese Vorgaben wurde in den Verhandlungen lange gestritten, das EU-Parlament hatte eigentlich ein komplettes Verbot der biometrischen Echtzeit-Identifizierung verlangt. Doch hatte es massiven Gegenwind der Mitgliedsländer gegeben. Einige Staaten hätten biometrische Überwachung möglichst unreguliert einsetzen wollen, beklagten Abgeordnete etwa von SPD und FDP. Patrick Breyer, der die Piratenpartei im EU-Parlament vertritt, kritisierte aber auch das ausgehandelte Gesetz als „Betriebsanleitung für den High-Tech-Überwachungsstaat“.

Auch die Linken-Abgeordnete Cornelia Ernst meinte, das vom Parlament ursprünglich geforderte Verbot von Echtzeit-Gesichtserkennung im öffentlichem Raum sei in den Verhandlungen mit den EU-Staaten durch eine lange Liste von Ausnahmen „praktisch gekippt“ worden. Ganz ausgenommen von den Verboten und der gesamten Verordnung sind Systeme, die ausschließlich militärischen Zwecken dienen.

Lesen Sie auch: Umfrage: Künstliche Intelligenz macht Fachkräften Angst

Mit dem neuen Gesetz versucht die EU eine Gratwanderung: Einerseits sollen Grundrechte, Demokratie und Rechtsstaatlichkeit auch im Zeitalter Künstlicher Intelligenz geschützt werden – andererseits will die EU Innovationen fördern in der Hoffnung, dass europäische Unternehmen eine Führungsrolle bei KI-Systemen spielen könnten. Deshalb werden KI-Systeme nun in verschiedene Risikogruppen eingeteilt: Je höher die möglichen Gefahren einer Anwendung, desto höher sollen die Anforderungen sein.

Verbraucherschützer warnen vor Spielzeug mit KI

Als hochriskant werden etwa Systeme eingestuft, die Schaden für Gesundheit, Sicherheit, Grundrechte und Demokratie verursachen können – dazu zählen Systeme zur Beeinflussung des Wahlergebnisses und des Wählerverhaltens, aber auch bei Sicherheitsbehörden. Hier sind unter anderem Folgeabschätzungen, Kontrolle durch den Menschen und die Bewertung systemischer Risiken vorgeschrieben. Für Systeme wie ChatGPT oder Bard gibt es Transparenzanforderungen, etwa die Erstellung technischer Dokumentationen und die Einhaltung des EU-Urheberrechts.

Entwickler müssen klar kenntlich machen, dass durch Künstliche Intelligenz geschaffene Texte, Bilder und Töne auf dieser Technologie beruhen. Doch Verbraucherschützer fällen ein gemischtes Urteil: Das neue Gesetz biete Chancen für Verbraucher und Verbraucherinnen, berge aber auch Risiken, sagt Ramona Pop, Vorständin des Verbraucherzentrale-Bundesverbands.. „Doch die Regeln geben Verbrauchern leider keinen ausreichenden Schutz“, fügte Pop hinzu.

Bundesregierung und Bundestag müssten die wenigen Spielräume bei der nationalen Umsetzung nutzen und zumindest die KI-gesteuerte Gesichtserkennung im öffentlichen Raum auch für private Akteure untersagen. Der deutsche Gesetzgeber müsse sicherstellen, dass es effiziente Aufsichtsstrukturen gibt und Aufsichtsbehörden ausreichend mit Personal und Know-how ausgestattet sind. „Bei der Kontrolle von KI-Systemen und dem Durchsetzen der Regeln müssen Verbraucherinteressen höchste Priorität bekommen“, sagte Pop.

Auch interessant: Deepfake-Video von Kanzler Scholz sorgt für Empörung