Vermummungsverbot für Algorithmen

Algorithmen müssen ein Gesicht haben, transparent sein.Foto: Maksim Smeljov stock.adobe.com 

München. Algorithmen beeinflussen bereits heute in vielen Bereichen unser Leben. Dr. Jörg Dräger fordert daher einen gesellschaftlichen Diskurs über die damit verbundenen Chancen und Risiken sowie klare Regeln. Dabei warnt der Vorstand der Bertelsmann Stiftung vor einem Entweder-oder-Denken und glaubt, dass bei der Personalauswahl algorithmische Verfahren manchmal sogar besser sein können als Theorie-gestützte Verfahren. Trotzdem predigt Dräger: Der Mensch nutzt und kontrolliert die Maschine, nicht andersrum. Seine Beispiele aus dem Personal-Bereich gelten auch für die Hotellerie.

Beim Handelsblatt "KI Summit" im März in München wurde die Künstliche Intelligenz als das nächste grosse Ding gehypt. Ihr Vortrag zum Thema "Wie wir KI in den Dienst der Gesellschaft stellen" kam erst ziemlich am Schluss, als ein Grossteil der Teilnehmer schon gegangen war. Ein bezeichnendes Signal für den Umgang mit dem Thema?

Es ist zumindest bezeichnend, dass wir in der Wirtschaft derzeit einen sehr chancenorientierten, in der breiten Gesellschaft aber einen eher risikoorientierten und ablehnenden Diskurs haben. Mit unserer gesellschaftlichen Perspektive bei der Bertelsmann Stiftung versuchen wir eine Brücke zu schlagen und sowohl Chancen als auch Risiken zu beleuchten.

Auf dem Kongress hiess es, dass jeder von uns laut US-Studien permanent mit sechs Daten-Aufzeichnungen umgeben sind. Ist es daher nicht längst zu spät, etwas dagegen zu tun?

Nein, es ist nicht zu spät. Denn es hängt an uns als Gesellschaft, wo wir künstliche Intelligenz und Algorithmen nutzen und wo wir sie verbieten. Dazu müssen wir natürlich das Zepter des Handelns in der Hand halten. Die Digitalisierung ist ein Werkzeug der Gesellschaft und ihr untertan. Menschen bestimmen die Ziele und entscheiden, was Maschinen erlaubt und was ihnen verboten wird.

Dr. Joerg Dräger: Wir brauchen gesellschaftliche Watchdogs.Foto: Arne Weychardt

Aber ein Bewerber, der aufgrund von Algorithmen keinen Job bekommt, kann doch nichts entscheiden.

Nein, ein Einzelner wäre dem System ausgeliefert, aber Verbände, Interessen-Vertretungen und Politik nicht. Ein Problem bei der Personalauswahl ist z.B. die Monopol-Struktur: In vielen Unternehmen in den USA wird derselbe Algorithmus eingesetzt und er entscheidet, ob ich zum Vorstellungsgespräch eingeladen werde. Dann besteht die Gefahr, dass bestimmte Gruppen von Menschen ganz vom Arbeitsmarkt ausgeschlossen werden, weil der monopolistische Algorithmus sie regelmässig aussortiert.

Solche Monopol-Strukturen können Politik und Gesellschaft sehr wohl unterbinden. Ein anderes Problem sind diskriminierende Auswahlverfahren. Auch dafür haben wir bereits Gesetze und Regelungen. Übrigens ist es ja auch so, dass Menschen diskriminieren. Aus Studien zur Personalauswahl wissen wir beispielweise, dass nach nicht sachgerechten Kriterien entschieden wird. Ein Golfer stellt dann gerne einen Golfer ein. Die Chance algorithmischer Entscheidungen besteht darin, dass falsche Kriterien nun besser sichtbar werden. Bei grossen Datenmengen können Diskriminierungen erkannt und nachverfolgt werden.

Aber es wird doch nichts sichtbar. Der Algorithmus gilt als Geschäftsgeheimnis.

Ich brauche ja nicht den Quellcode, aber ich kann die Anbieter zwingen, dass ich die Wirkweise eines Algorithmus beforschen kann. Nehmen Sie das Beispiel der Autoversicherung. Da kann ich Millionen Musterdatensätze analysieren lassen und wenn ich im Ergebnis sehe, dass Wohlhabende bevorteilt werden, habe ich ganz andere Möglichkeiten, regulierend einzugreifen. Das ist die Chance, die ich sehe. Überhaupt erst einmal Fakten zu schaffen und damit gesellschaftliche Debatten zu führen.

Aber solche Analysen machen doch die Anbieter nicht.

Dazu brauchen wir unabhängige Institutionen oder zivilgesellschaftliche Watchdogs. Nur muss man ihnen die Möglichkeit dazu einräumen. Lebensmittel-Hersteller würden sich vielleicht auch keine Lebensmittel-Kontrollen wünschen. Trotzdem hat man beschlossen, dass Kontrolle eine sinnvolle Sache ist. Und kein Hersteller möchte heute gern den Windbeutel des Jahres bekommen. Und wahrscheinlich will auch kein Anbieter den Preis für den ungerechtesten Algorithmus in der Personalauswahl gewinnen.

Insgesamt brauchen wir eine breitere gesellschaftliche Diskussion. Bevor wir alles verteufeln, sollten wir schauen, was wir Gutes mit der neuen Technik erreichen können. Das geht nur, wenn wir im Verhältnis zu den Maschinen immer vor Augen haben, wer Ross und wer Reiter ist. Der Mensch nutzt und kontrolliert die Maschine, nicht andersrum.

Menschen müssen wissen, wie der Algorithmus wirkt. Wir brauchen eine Art Beipackzettel.Foto: peshkova

Laut einer Umfrage der Bertelsmann Stiftung weiss fast die Hälfte der Europäer nicht einmal, was Algorithmen sind. Das fehlt es offenbar noch massiv an Aufklärung.

Wissen wir in der Breite der Bevölkerung und in der Politik genug über Algorithmen? Nein. Da braucht es Kompetenz-Aufbau. Schaffen wir heute genügend Transparenz, wie ein Algorithmus agiert? Auch Nein. Und kontrollieren wir stringent genug? Ebenso Nein. Es gibt erheblichen Handlungsbedarf. In vielen Fällen bedarf es dazu gar nicht einer neuen Gesetzgebung oder neuer Ministerien, sondern wir müssen die bewährten analogen Systeme ins digitale Zeitalter übersetzen.

Als Gesellschaft sollten wir sicherstellen, dass unsere festgelegten Werte und Normen auch in Zukunft eingehalten werden. Wir müssen daher immer wieder abwägen: Wo kann uns die Technologie nützen und wo schaden? Und wie schaffen wir es als Gesellschaft, den Nutzen zu fördern und den Schaden einzugrenzen.

Dabei kann man nicht alles über einen Kamm scheren. Wenn ein Algorithmus über die Länge der Haftstrafe entscheidet, sollte die Software von sachkundigen Behörden vorab freigegeben sein. Wenn ein Algorithmus die Personalauswahl optimiert, reicht es vielleicht auch, seinen Einsatz zu evaluieren und nachträglich zu überprüfen, ob es unerwünschte Verzerrungen gibt.

In Ihrem neuen Buch "Wir und die intelligenten Maschinen" beschreiben Sie, wie ein Anbieter von Darlehen anhand bestimmter Daten herausfinden will, wie hoch die Rückzahlungs-Wahrscheinlichkeit eines Kredit-Suchenden ist. Dabei spielt auch der Schrifttyp eine Rolle, mit dem er den Antrag am Computer ausfüllt. Das ist doch völlig abstrus.

Auch hier haben wir wieder Chancen und Risiko. Es gibt viele Menschen, die bekommen bisher überhaupt kein Darlehen. Mit Hilfe von Algorithmen kann man die Rückzahlungsfähigkeit anders beurteilen als das klassische Banken heute tun. Und da mag der auf dem PC installierte Schrifttyp eine Rolle spielen, weil er Rückschlüsse auf die Nutzung bestimmter Computerprogramme erlaubt. Für manche Menschen sind algorithmische Kredit-Bewilligungen eine Chance.

Das Risiko, dass andere damit stigmatisiert werden, ist ebenso präsent. Daher braucht es klare Regeln: Erst mal muss ich als Bürger wissen, ob da ein Algorithmus am Werk ist und welche Daten herangezogen werden. Wir brauchen ein Vermummungsverbot für Algorithmen.

Virtueller oder echter Kellner?Foto: Robert Kneschke Fotolia

Zudem sollten die Menschen wissen, wie der Algorithmus wirkt. Wir brauchen also auch eine Art Beipackzettel. Und drittens brauche ich Beschwerde-Möglichkeiten und Verfahren, wie man beispielsweise falsche Daten korrigieren kann. Gerade im Bereich der Fintechs sollte es daher so etwas wie ein Siegel für vernünftige, datenbasierte Analysen geben.

Aber Algorithmen erkennen immer nur Korrelationen. Damit weiss ich zwar, dass bestimmte Kriterien oft gleichzeitig auftreten, aber nicht, ob sie auch kausal zusammenhängen.

Der Mensch ist gut im Verstehen von Kausalitäten, der Algorithmus gut im Verstehen von Mustern und Korrelationen. Und zusammen sind wir richtig gut. Und wenn ein erkanntes Muster stabil ist und nicht diskriminiert, bedarf es auch nicht immer einer erklärbaren Kausalität.

Gilt das auch für die Personal-Auswahl? In ihrem Buch beschreiben Sie Computerspiele wie Wasabi Waiter, wo die Bewerber sich in einer virtuellen Sushi-Bar als Kellner bewähren müssen, oder Pymetrics, das Eigenschaften wie die Risiko-Bereitschaft messen will. Der Algorithmus filtert dann die Eigenschaften heraus, die man braucht, um auf einer Stelle erfolgreich zu sein. Experten halten das Vorgehen für fragwürdig. Denn dahinter steht keine überprüfte Theorie und es fehlt der Anforderungsbezug. Wer als Kellner virtuell glänzt, muss das noch lange nicht im Job tun.

Theorie hin oder her, der Erfolg dieser Verfahren lässt sich ja am Ergebnis messen. Die überprüfen eben hinterher, ob die Bewerber, die mit Algorithmen ausgewählt wurden, z.B. länger im Unternehmen bleiben, schneller befördert werden oder mehr Fortbildungen besuchen als diejenigen, die ohne Algorithmus ausgewählt wurden. Die Frage ist doch, was zählt mehr: der in der Realität hinterher gemessene Erfolg ohne vorige Theorie oder die Theorie, die sich nicht unbedingt empirisch bestätigen lässt?

Statt wissenschaftlich fundierten eignungsdiagnostischen Verfahren braucht man künftig also nur noch ein nettes Computerspiel?

Was spricht gegen beides? Wir dürfen hier wieder nicht in die Falle des Entweder-Oder tappen. Es wird Situationen geben, in denen die klassischen Verfahren bessere Ergebnisse erzielen und andere, in den Verfahren mit Muster-Erkennung bessere Ergebnisse erzielen. Wenn ich als Personaler tausend Bewerbungen auf eine Stelle bekomme, werde ich die nicht alle gleichermassen gründlich lesen können. Dann könnte mir die Maschine bei der Vorsortierung helfen. Und wenn alles nur darauf ankommt, wie gut ich mich in einem einstündigen Interview verkaufen kann, dann setzen sich auch bestimmte Muster durch.

Hier können Algorithmen Kompetenzen entdecken, die uns als Menschen manchmal verborgen bleiben. Auf der anderen Seite können Algorithmen sich genauso wie Menschen auch gnadenlos irren. Wir Menschen müssen da aufpassen und korrigieren. In der Regel führt die Kombination von Mensch und Maschine zur besten und qualitativ hochwertigsten Lösung.

Bedeutet das nicht auch, dass Ausbildungen und Abschlüsse immer mehr an Bedeutung verlieren?

Ja, aber das hat ja auch eine positive Seite: Es kommt zunehmend darauf an, was jemand kann – und weniger, wo er oder sie etwas gelernt hat. Was wir doch heute in unserer Gesellschaft viel zu wenig wertschätzen, ist das informelle Lernen. Wir bewerten das formale Lernen in Bildungsinstitutionen deutlich zu hoch.

Wer auf dem deutschen Arbeitsmarkt ein bestimmtes Zeugnis nicht vorweisen kann, hat unabhängig von den tatsächlichen Kompetenzen weniger Chancen. Wenn ein Computerspiel hier unentdeckte Kompetenzen offenbart, ist das ein Mehrwert. So kann ich Rohdiamanten entdecken, die sonst verborgen geblieben wären. Dafür würde ich Algorithmen guten Gewissens einsetzen. Für die letzte Auswahl-Entscheidung sollte allerdings weiter ein Mensch verantwortlich sein.

Die Gesellschaft muss diskutieren, ob sie die volle Transparenz jedes Einzelnen will.Foto: chombosan stock adobe.com

Die Datennutzung im Personalbereich geht längst weiter. IBM behauptet z.B., dass es dank künstlicher Intelligenz weiss, wenn ein Mitarbeiter demnächst kündigen will, auch wenn er es selbst noch nicht weiss.

Da muss man durch den Datenschutz ganz klare Grenzen ziehen. Ein Arbeitgeber darf nicht jede eMail und jedes Telefonat analysieren. Gewerkschaften und Arbeitsnehmer-Vertretungen würden zu Recht auf die Barrikaden gehen. Wir als Menschen müssen entscheiden, wo die Grenzen sind.

Geht es um die Total-Überwachung von Mitarbeitern, wird die grosse Mehrheit sagen, das ist nicht ok. Geht es darum, eben diesen einen Rohdiamanten zu entdecken, werden die meisten das wohl befürworten. Und dazwischen ist eine Grauzone, in der wir einen kontinuierlichen gesellschaftlichen Diskurs brauchen.

Wir sollten Digitalisierung nicht überbewerten und es so darstellen als ob wir keine Entscheidungshoheit mehr hätten. Wir Menschen bestimmen die Regeln. Wenn ich als Gesellschaft an die individuellen Freiheitsrechte glaube, muss ich im Diskurs dafür eintreten und andere davon überzeugen, dass diese Freiheit wichtiger ist als das letzte Tröpfchen Effizienz.

China setzt bereits auf die Total-Überwachung. Sein Social Scoring-System forciert bestimmte Verhaltensweisen und nun will man das System auch an andere Länder verkaufen. Droht so etwas in abgespeckter Form auch in Europa?

In unserer Gesellschaft wird die individuelle Freiheit zu Recht sehr hoch bewertet. Da haben solche Social Scoring-Systeme wenig Platz. Das Grundproblem ist nicht die Technologie, sondern das politische System. Wir müssen aber auch zur Kenntnis nehmen, dass das Social Scoring in der chinesischen Bevölkerung im Moment eine relativ hohe Zustimmungsrate hat. Viele glauben, dass damit Missstände in der Gesellschaft verbessert werden können.

In Europa sehen wir das anders, haben auch nicht solche Missstände. Eine Einschränkung von Freiheit ist glücklicherweise für den ganz grossen Teil unserer Bevölkerung keine Option. Ich stelle mir eher zwei Fragen. Erstens: Welche gesellschaftlichen Probleme können und wollen wir mit Künstlicher Intelligenz beheben? Etwa Diskriminierung bei der Personalauswahl. Und zweitens, wo wir eine KI auch künstlich verdummen sollten. Nicht alles, was technisch möglich ist, ist gesellschaftlich richtig.

Nehmen Sie das Beispiel der Krankenversicherungen. Die könnten jedem Versicherten aufgrund seiner Gesundheitsdaten sehr individuelle Tarife berechnen. Aber wir als Gesellschaft haben uns für ein solidarisches System entschieden, in dem die Gesunden die Kosten für die weniger Gesunden mittragen. Da würde ich jeden Algorithmus verbieten.

Was tut die Bertelsmann Stiftung in diesen Sachen?

Seit zwei Jahren arbeiten wir im Projekt "Ethik der Algorithmen" daran, wie Künstliche Intelligenz unser Leben verbessern kann. Da geht es darum, Menschen für die Chancen und Risiken der KI zu sensibilisieren. Dazu gehört auch das neue Buch. Zudem schaffen wir Formate, in denen verschiedene Interessengruppen wie Unternehmer, Wissenschaftler, Politiker und Programmierer diskutieren, um zu möglichst konkreten Fragestellungen auch möglichst konkrete Antworten zu finden.

Ethische Standards sollten im Programmier-Code verankert werden.

Die dritte Säule nennen wir Lösungs-Labor. Hier fördern wir beispielsweise die gemeinnützige Organisation Algorithm Watch, deren Ziel es ist, gesellschaftlich relevante algorithmische Entscheidungen transparent zu machen und eine zivilgesellschaftliche Kontroll-Funktion zu übernehmen. Zudem haben wir die Algo.Rules entwickelt. Das sind formale Regeln, mit denen ethische Standards im Programmier-Code verankert werden können.

Für uns ist die gesellschaftliche Wirkung von Algorithmen ein höchst relevantes Thema. Das ist viel Arbeit und braucht auch einen langen Atem. Aber vielleicht schaffen wir es sogar irgendwann, dass das Thema auf dem KI Summit des Handelsblatt nicht erst am zweiten Tag gegen Ende der Konferenz platziert wird, sondern schon zu Beginn des ersten Tages.

Herzlichen Dank für das Gespräch!

Das Interview führte Bärbel Schwertfeger.