Behörden haben bei der Digitalisierung viel aufzuholen. Aber sollten sie deswegen gleich im großen Stil auf künstliche Intelligenz setzen? Genauer gesagt: Auf Systeme, die auf maschinellem Lernen beruhen? Carla Hustedt, die bei der Bertelsmann Stiftung das Projekt Ethik der Algorithmen betreut, mahnt im Interview mit 1E9 zur Vorsicht:

Viele Tech-Unternehmen sind sehr gut darin, ihre Produkte zu vermarkten. Dabei hilft ihnen auch der Begriff der Künstlichen Intelligenz. Manchmal habe ich das Gefühl, dass sogar die Warnungen vor den Risiken von KI als Verkaufsargument genutzt werden. Wenn wir Angst haben müssen vor der Superintelligenz, dann müssen die Produkte mit KI ja wirklich krass sein!

Hustedt vermeidet den Begriff KI auch, weil er die menschliche Verantwortung für Entscheidungen, die von Software getroffen werden, verschleiere. Sie spricht lieber von automatisierten Entscheidungssystemen.

Sie sieht durchaus große Chancen in Systemen, die auf maschinellem Lernen beruhen, etwa in der Medizin, wo sie zu besseren Diagnosen und personalisierten Behandlungen beitragen könnten. 

Die Herausforderung ist allerdings, dass wir beim maschinellen Lernen eben nicht immer verstehen, wie die Systeme funktionieren, weil sie sich selbst trainiert haben. Auch Personen, die diese Systeme entwickelt haben, können das nicht mehr komplett nachvollziehen. Das mag bei einigen kommerziellen Anwendungen kein Problem sein, wenn Fehler keine großen Auswirkungen auf das Leben von Menschen haben. Doch oft können von Algorithmen getroffene Entscheidungen gravierende Folgen für Menschen haben. Dann muss man natürlich verstehen können, wie dieser Fehler zustande gekommen ist, um ihn korrigieren zu können.

Setzen private Unternehmen solche Systeme ein, können sich die Menschen diesen noch eher entziehen. Bei staatlichen Stellen ist das anders – und die Folgen von Fehlern können für Betroffene gravierend sein: ungerechtfertigte Verhaftungen, schlechtere Schulnoten, keine Sozialleistungen.

Behörden sollten Software, die sie einsetzen, verstehen.

Sollten Behörden also "KI" einsetzen wollen, müssen aus Hustedts Sicht bestimmte Voraussetzungen erfüllt sein: Auf jeden Fall sollte Software nicht als Instrument verstanden werden, mit dem sich Kosten sparen lassen. Dadurch könnten wichtige Maßnahmen, wie etwa der Kompetenzaufbau bei den Personen, die die Systeme verwenden, unterlassen werden. Auch die Einbeziehung der von den Systemen Betroffenen sei entscheidend. Die Trainingsdaten müssten außerdem repräsentativ für die Gesellschaft sein. 

Selbst dann werden die Systeme immer wieder Fehler machen. So wie Menschen immer wieder Fehler machen. Natürlich sollten sie, soweit es geht, vermieden werden. Doch es müssen auch Wege gefunden werden, mit Fehlern umzugehen. Das heißt beispielsweise, dass Prüfungen durch unabhängige Prüfstellen erlaubt sein müssen. Zumindest, wenn es um Systeme geht, die über Teilhabe von Menschen entscheiden.

Betroffenen müsse so genau wie möglich erklärt werden, wie Entscheidungen zustande kamen. Und sie sollten eine Beschwerdemöglichkeit erhalten. Darüber hinaus müsse es nicht immer KI sein.

In vielen Anwendungsfällen geht es auch einfacher. Ein Beispiel dafür stammt aus Deutschland, aus Nordrhein-Westfalen. Dort wollten die Polizeibehörden als eine der ersten in Deutschland eine Predictive-Policing-Software einsetzen, die prognostizieren soll, wo mit besonders hoher Wahrscheinlichkeit Straftaten passieren werden.
Nun kann man solche Software grundsätzlich skeptisch sehen, weil es sehr wenig Evidenz gibt, dass sie tatsächlich funktioniert. Aber wie in NRW vorgegangen wurde, war sehr vorbildlich. Die Behörden haben eng mit der Wissenschaft zusammengearbeitet und ein komplexes KI-System, das auf maschinellem Lernen basierte, und ein einfaches, regelbasiertes System verglichen. Da das einfache System nicht viel schlechter abschnitt, haben sie sich dafür entschieden – mit der Begründung, dass sie genau nachvollziehen könnten, wie es funktioniert.