Anwendung Künstlicher Intelligenz (KI) bei der Stadt München und deren Beteiligungsgesellschaften und Tochterunternehmen
Anfrage Stadtrats-Mitglieder Anja Berger und Sebastian Weisenburger (Fraktion Die Grünen – Rosa Liste) vom 30.9.2019
Antwort IT-Referent Thomas Bönig:
In Ihrer oben genannten Anfrage fragen Sie nach der Anwendung von Künstlicher Intelligenz (KI) im Stadtkonzern. Ihrer Anfrage haben Sie folgenden Sachverhalt vorausgeschickt:
„Die Stadt München hat eine Digitalisierungsstrategie formuliert, in der die Anwendung Künstlicher Intelligenz (KI) angedacht ist. Erklärtes Ziel ist dabei, dass neue Technologien verantwortungsbewusst und zum Wohl der Stadtgesellschaft eingesetzt werden. Gerade bei Anwendungen Künstlicher Intelligenz, die große Datenbestände analysieren und daraus selbst- ständig Schlüsse ziehen, Entscheidungen vorbereiten oder gar treffen, stellen sich besondere Herausforderungen.
Der Einsatz von KI ist vor allem bei Bewerbungs- und Einstellungsverfahren nicht unproblematisch. So faszinierend selbstlernende Systeme auch erscheinen mögen, sie bilden erst einmal nur die gesellschaftliche Realität ab, einschließlich bekannter Missstände.
Algorithmen dürfen aber nicht für alle Zukunft die Tatsache festschreiben, dass Frauen, People of Colour und andere Minderheiten heute in Führungspositionen unterrepräsentiert sind. Leider gibt es genügend Beispiele für solche systematische Diskriminierung, sowohl in der Privatwirtschaft als auch im öffentlichen Bereich.
4 Beispiele:
Ein automatisches Bewertungssystem von Bewerbungen bei Amazon hat Frauen grundsätzlich abgewertet, nur weil in der Vergangenheit überwiegend Männer eingestellt wurden.
Eine Fotografin Helga Schmidt bekommt weniger Anfragen für Aufträge als ein Fotograf Helga Schmidt, weil Suchalgorithmen u.a. die männliche Berufsbezeichnung bevorzugen.
Der Arbeitsmarktservice (AMS) in Österreich plant Arbeitsmarktchancen von Arbeitslosen verbunden mit Fördermaßnahmen von einem Computerprogramm ausrechnen zu lassen, obwohl bekannt ist, dass Ältere, gesundheitlich Beeinträchtigte und Frauen mit Kindern automatisch schlechter eingestuft werden.
Die Organisation „ProPublica“ hat nachgewiesen, dass Afro-Amerikaner in Predictive Policing Systems von Algorithmen höhere Risikobewertungen erhalten als weiße Kriminelle. Es wird also eher davon ausgegangen, dass sie erneut straffällig werden, was sich wiederum auf die Strafe auswirkt.“Der Beantwortung Ihrer Fragen schicken wir einige allgemeine Erläuterungen voraus:
Künstliche Intelligenz (KI) meint grundsätzlich – neben der Erforschung eines „intelligenten” Problemlösungsverhaltens – die Erstellung von „intelligenten“ Computersystemen/Computerprogrammen. Generell versucht die KI dem Menschen ähnelnde Entscheidungsstrukturen in einem nicht klar definierten Umfeld nachzubilden. In der Praxis kommen solche Computersysteme zum Einsatz, um konkrete Anwendungsprobleme zu lösen (sog. schwache KI). Das menschliche Denken soll dabei in Einzelbereichen unter stützt werden. Häufig basiert die Künstliche Intelligenz auf der Verarbeitung von sehr großen Datenmengen (Big Data), wobei sog. neuronale Netzwerke genutzt werden, um ein maschinelles Lernen zu ermöglichen. Diese Fähigkeit zu lernen ist ein integraler Bestandteil solcher Computersysteme. Ein zweites Kriterium ist die Fähigkeit eines KI-Systems, mit Unsicherheit und probabilistischen Informationen umzugehen, d.h. insbesondere berechneten Ergebnissen eine bestimmte Wahrscheinlichkeit zuzuordnen. Letztlich geht es in der schwachen KI somit um die Simulation intelligenten Verhaltens mit Mitteln der Mathematik und der Informatik.
Dabei ist unser Verständnis, solche Systeme insbesondere in der öffentlichen Verwaltung stets verantwortungsbewusst entsprechend der demokratischen Grundwerte anzuwenden.
Dies gilt umso mehr als derzeit noch sowohl rechtliche Festlegungen als auch verbindliche Rahmenbedingungen und ethische Grundsätze für den Einsatz von KI-Techniken fehlen. Der Deutsche Bundestag hat 2018 eine Enquete-Kommission „Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche Potentiale“ eingesetzt, die bis zum Sommer 2020 einen Abschlussbericht mit Handlungsempfehlungen vorlegen soll. Die Ergebnisse dieses Berichts werden wir bei der Fortschreibung der Digitalisierungsstrategie berücksichtigen. Das „deutsche KI-Observatorium“, das voraussichtlich 2020 an den Start gehen soll, wird als Aufgabe die Bewertung von Chancen und Risiken der KI gleichermaßen haben.
Weitere Aufgabe ist es, dabei zu unterstützen, im Bereich des KI-Einsatzes im Wirtschafts- und Arbeitsleben politisch zu steuern. Bei ethisch nicht vertretbaren Anwendungen – so die Planung – kann es in Anlehnung an die Empfehlungen der Datenethikkommission auch zu Verboten kommen, so dass durch diese überprüfende Arbeit des Observatoriums konkrete Leitplanken für den Einsatz von KI entstehen werden.An den im Antrag genannten Beispielen wird die Sensibilität bei bestimmten – potentiellen – Einsatzbereichen von KI deutlich. Solange weder Handlungsempfehlungen noch explizite Festlegungen für den Einsatz von KI bestehen, fehlen für die Bewertung von KI-Techniken die spezifischen verbindlichen Voraussetzungen. Für die Entscheidung über entsprechende Einsatzszenarien würde derzeit üblicherweise auf die jeweils vorhandenen Festlegungen aus der analogen Welt zurückgegriffen werden, die evtl. wie im oben beschriebenen Beispiel von Amazon, zu einer Verfestigung bestehender Diskriminierung führen können. Um einer Diskriminierung entgegenzuwirken, könnte beispielsweise das zugrundeliegende Datenmaterial auf diskriminierende Aspekte hin überprüft werden, was letztlich eine Auseinandersetzung mit bestehenden gesellschaftlichen Realitäten bedeutet und das Zusammenwirken unterschiedlicher Verantwortungsträger erforderlich macht. Ausgehend von den aktuellen Rahmenbedingungen plant das IT-Referat derzeit in seinem Verantwortungsbereich keine Einsatzszenarien, wo KI-Techniken zur Entscheidung über Individuen herangezogen werden.
Ihre Fragen beantworten wir wie folgt:
Frage 1:
Gibt es in der Münchner Stadtverwaltung, bei den städtischen Betrieben oder darüber hinaus für die Stadtgesellschaft Anwendungen, die im weitesten Sinne als Anwendungen Künstlicher Intelligenz verstanden werden können?
Antwort:
Techniken der KI stecken heute in vielen Computerprogrammen – auch wenn sie als solche auf den ersten Blick gar nicht erkennbar ist. Beispiele dafür sind Spracherkennungssysteme (nicht zuletzt Alexa, Cortana und Siri), Übersetzungssysteme sowie „intelligente Spiele“ wie Schach. KI kann wertvolle Unterstützung im Arbeitsalltag bietet. Die Möglichkeit, einfache Bürgerfragen per Chatbot zu beantworten, ist nur ein Beispiel, wo die Stadt München im Rahmen des E-Government KI-Techniken einsetzt. Insbesondere im Bereich Produktions- und Versorgungstechnik sowie Mobilität finden sich verschiedene Einsatzszenarien. So führen die SWM folgendes aus:
„Die SWM/MVG beschäftigen sich sehr stark mit möglichen Anwendungsszenarien für fortgeschrittene Datenanalysen und Machine Learning (oft als ‚künstliche Intelligenz‘ bezeichnet).Schwerpunkt sind hierbei
-die Analyse von Sensor- und Telemetriedaten zur Optimierung von Betriebs- und Wartungsstrategien technischer Anlagen. Wesentliche Herausforderung in diesem Kontext ist die Sammlung und Bereitstellung der erforderlichen Basisdaten.
-die Analyse von Service- und Nutzungsdaten der SWM Produkte, mit dem Ziel, den Kundenservice und die Produkte der SWM qualitativ zu verbessern.
-Hier ist die datenschutzk onforme Bereitstellung der Daten sowie der Abgleich der Analyseziele mit den Grundsätzen zum Umgang mit Daten und fortschreitender Digitalisierung (vgl. https://www.swm.de/privatkunden/info/datenschutz.html#meine-swm) die Leitlinie unseres Handelns. Folgendes von den SWM genanntes Beispiel verdeutlicht den verantwortungsvollen Umgang mit den Techniken: ‚Ein wichtiges aktuell bei den SWM vorangetriebenes Projekt hat zum Ziel, anhand der Analyse von zu einem Kunden oder einer Kundin vorliegenden Daten potentielle weitere Service Anliegen zu identifizieren und diese der Service-Mitarbeiterin/dem Service-Mitarbeiter vorzuschlagen, um das Anliegen möglichst schon proaktiv mit der Kundin/dem Kunden im Zuge eines Kundenkontaktes zu lösen. Konkret könnte eine Service-Mitarbeiterin/ ein Service-Mitarbeiter z.B. bei Fragen zu einer Rechnung auch die Abschlagszahlungen mit der Kundin/dem Kunden überprüfen, wenn es hier zu größeren Abweichungen zwischen Abschlägen und Rechnung gekommen sein sollte.‘ Es handelt sich hierbei um ein laufendes Projekt, das die Verbesserung in der Servicequalität zum Gegenstand hat, für das derzeit allerdings noch keine finalen Ergebnisse vorliegen. Meist sind entsprechende Anwendungen aktuell in Planung, Pilotierung und zum Teil auch in Umsetzung.“
Die in der Anfrage genannten Beispiele machen deutlich, welche potentiellen Risiken in KI-Techniken bei einer ungeeigneten Anwendung stecken und wie wichtig eine politische Auseinandersetzung mit solchen Risiken ist. Aufgrund der Anmerkung in der Anfrage, dass Künstliche Intelligenz insbesondere bei Bewerbungs- und Einstellungsverfahren kritisch gesehen wird, möchten wir explizit auf das Stellenbesetzungsverfahren bei der Landeshauptstadt München eingehen. Dazu führt das Personal- und Organisationsreferat aus, dass jede Bewerbung persönlich von der/dem zuständige/n Mitarbeiter/in des Personal- und Organisationsreferates/Abteilung P 5 – Personalentwicklung geprüft wird. Es wird ausschließlich aufgrund der eingereichten Unterlagen über die Zulässigkeit der Bewerbung und im Wei-teren über die fachliche Eignung entschieden. Künstliche Intelligenz kommt nicht zum Einsatz.
Frage 2:
Ist der LHM bekannt, wie Unternehmen, die sie beauftragen (z.B. Beratungsfirmen, Siemens, Allianz…), ihre Mitarbeiter*innen einstellen? Wird nachgefragt, ob und wie sie KI benutzen?
Antwort:
Die einzelnen Referate und Eigenbetriebe beauftragen Unternehmen in Eigenregie – so zum Beispiel auch beim Einsatz von Leiharbeitskräften. Grundsätzlich ist der LHM nicht bekannt, wie Firmen, die Auftragnehmer der Stadt München sind, ihre Mitarbeitenden einstellen. Es wird nicht nachgefragt, ob und wie die Firmen KI nutzen. Eine Nachfrage zur Einhaltung der Vorgaben der Datenschutzgrundverordnung erfolgt grundsätzlich im Rahmen der Vergabeverfahren.
Frage 3:
Wie sieht es diesbezüglich bei den städtischen Beteiligungsgesellschaften oder Tochterunternehmen aus? Hat die LHM Informationen darüber, wie die Auswahl von Bewerber*innen für Einstellungsgespräche funktioniert?
Antwort:
Eine stichprobenbasierte Nachfrage ergab, dass die städtischen Tochterunternehmen keine automatisierte (Vor-)Auswahl von Bewerberinnen und Bewerbern vornehmen. Insbesondere die SWM verwenden keinerlei automatisierte Vorauswahl oder künstliche Intelligenz zur Bewertung von Unter lagen/Bewerbungen. Auch in neuen System ist dies nicht vorgesehen.
Frage 4:
Sind solche Anwendungen der Künstlichen Intelligenz in Planung bzw. für welche Einsatzbereiche?
Antwort:
Ein Einsatz von den in der Anfrage erwähnten KI-Techniken ist nach unserem Kenntnisstand bisher nicht geplant. Die SWM/MVG teilen explizit mit, dass sie aktuell nicht planen, derartige Systeme (Kontext People Analytics) einzusetzen.
Frage 5:
Wie wird dabei sichergestellt, dass der Einsatz von künstlicher Intelligenz den betroffenen Bürgern transparent gemacht wird?
Antwort:
Die Stadt München nutzt personenbezogene Daten ausschließlich gemäß den gesetzlichen Vorgaben der Datenschutzgrundverordnung (vgl. https://www.muenchen.de/rathaus/DSGVO.html). Beim Einsatz von Software von Drittanbietern (z.B. LHM in den Sozialen Medien) werden ebenfalls entsprechende Informationen bereitgestellt (vgl. https://www.muenchen.de/meta/datenschutz-social.html). Inwieweit auf den Einsatz von Künstlicher Intelligenz in den Systemen von Drittanbietern eingegangen wird, obliegt den jeweiligen Anbietern. Sofern künstliche Intelligenz wie oben ausgeführt im Rahmen von Spracherkennung zum Einsatz kommt, ist dies auf Grund der Interaktion mit einer Maschine unmittelbar für die betroffenen Bürgerinnen und Bürger erkennbar wie z.B. beim Chatbot. Die SWM/MVG führen ergänzend aus, dass dort personenbezogene Daten grundsätzlich nur in dem Maße verarbeitet werden, wie in der Datenschutzerklärung transparent angegeben ist. Parallel stehen die Ziele der Verarbeitung im Einklang mit den Grundsätzen zum Umgang mit Daten und fortschreitender Digitalisierung (vgl. https://www.swm.de/privatkunden/info/datenschutz.html#meine-swm).
Dies gilt für alle personenbezogenen Daten, unabhängig vom Anwendungsbereich.
Frage 6:
Welche Maßnahmen sind entschieden oder geplant, damit solche Anwendungen diskriminierungsfrei sind?
Antwort:
Da es derzeit keine Pläne gibt, bei denen es zu Verstößen gegen die Diskriminierungsfreiheit kommen könnte, sind auch keine Maßnahmen zur Verhinderung der Verstöße entschieden oder geplant.
Für Rückfragen stehen Ihnen die Stadtwerke München GmbH und das IT-Referat zur Verfügung.