Die Rolle des Aufsichtsrats beim Einsatz von Künstlicher Intelligenz

Wer kennt das Investmentunternehmen Deep Knowledge Ventures mit Sitz in Hongkong? Neben den Mitarbeitern vermutlich nur ein überschaubarer Kreis von Geschäftspartnern, dafür aber eine ungleich größere Fangemeinde aus dem IT-Bereich. Deep Knowledge Ventures ist nämlich – soweit ersichtlich – das erste Unternehmen weltweit, das einen Computer-Algorithmus als Mitglied in seinen Board of Directors aufgenommen hat.1 Der Algorithmus trägt den Namen Vital für Validating Investment Tool for Advancing Life Sciences. Er soll seine Kollegen beim Aufspüren von interessanten Investitionsmöglichkeiten unterstützen. Bei den Entscheidungen des Gremiums hat er volles Stimmrecht. Eine Investitionsentscheidung trifft der Board erst dann, wenn Vital die benötigten Daten geliefert hat.

Dass die Bestellung eines Computer-Algorithmus zum Mitglied des Vorstands oder Aufsichtsrats einer deutschen Aktiengesellschaft an § 76 Abs. 3 S. 1 bzw. § 100 Abs. 1 S. 1, jeweils i.V.m. § 23 Abs. 5 AktG, scheitern würde, dürfte klar sein. Immerhin wird aber schon darüber diskutiert, ob einem Roboter eine irgendwie geartete Rechtsfähigkeit verliehen werden kann.2 Mit der Idee, die hinter der Bestellung von Vital zum Direktor steckt, sollte man sich aber auch im deutschen Rechtskreis befassen. Das Schlagwort dazu lautet Künstliche Intelligenz (KI).

I. Künstliche Intelligenz als Zukunftsfaktor

Wer von KI spricht, sollte wissen, dass er einen – wenn auch nicht scharf abgegrenzten – Fachbegriff verwendet.3 KI tritt in verschiedenen Formen auf. Stichworte sind etwa Deep Learning, neuronale Netze, Smart Factories, Industrie 4.0, Internet der Dinge, Smart Contracts oder – übergreifend – schwache, nämlich halb-künstliche, und starke KI. Ein wichtiger Unterschied zwischen schwacher und starker KI besteht darin, dass starke KI die Fähigkeit hat, ohne Hilfe eines Programmierers zu lernen und dabei menschliche Intelli-ZHR 182 (2018) S. 371 (372)genz nachzubilden.4 Das Arbeitsgebiet trägt die Bezeichnung Autonomik.5 Starke KI in diesem Sinne ist keine Zukunftsvision mehr.6 Von den vielen – meist amerikanischen – Unternehmen, die starke KI zur Serienreife führen wollen oder schon geführt haben, sei eines herausgegriffen, die Neurable Inc. Dieses Unternehmen arbeitet – wie alle Entwickler von starker KI – an der Schnittstelle von menschlichem Gehirn und Maschine. Das Programm soll Informationen aus dem Gehirn ablesen, noch bevor der Proband weiß, dass er etwas tun will.7

Dass der Gesetzgeber vor diesen Phänomen nicht die Augen verschließt, zeigt sich etwa an dem IT-Sicherheitsgesetz, mit dem materielle Standards für die IT-Sicherheit vorgegeben werden.8 Weiter werden in § 80 WpHG bestimmte Verhaltenspflichten für den sog. algorithmischen Handel – also etwa den Hochfrequenzhandel – aufgestellt. Im Wesentlichen das Gleiche gilt in den Anwendungsbereichen der §§ 28 KAGB, 64a VAG, 25a KWG und für das Rundschreiben 09/2017 der BaFin über Mindestanforderungen an das Risikomanagement – MaRisk – vom 27. 10. 2017.9 Auch im politischen Bereich unterhalb der Ebene der Gesetzgebung ist die Bedeutung von KI für die Wirtschaft erkannt worden. So hat das Bundesministerium für Wirtschaft und Technologie (jetzt: für Wirtschaft und Energie) das Förderprogramm Autonomik für die Industrie 4.0 aufgelegt.10 Ebenso wird auf unionsrechtlicher Ebene an der Förderung und Regulierung des Einsatzes von KI gearbeitet. Hier sind zu erwähnen der geplante Einsatz von 20 Mrd. Euro aus privater und öffentlicher Hand bis Ende 2020,11 die geplante ePrivacy-VO12 und nicht zuletzt dieZHR 182 (2018) S. 371 (373) am 25. 5. 2018 in Kraft getretene Datenschutzgrundverordnung.13 Die Diskussion über die Auswirkungen der KI auf die Binnenordnung der Gesellschaften einschließlich ihres Haftungsregimes steht aber noch am Anfang.14 Insbesondere die rechtlichen Auswirkungen der starken KI mit ihren selbstlernenden universalen Netzwerken sind noch wenig erforscht.

In dem vorliegenden Editorial soll die Frage aufgeworfen werden, ob und inwieweit der Aufsichtsrat in der Lage ist, seine Kontroll- und Beratungspflichten aus § 111 AktG in Bezug auf Geschäftsführungsmaßnahmen aus dem Bereich der selbstlernenden, starken KI zu erfüllen.

II. Künstliche Intelligenz im Prüfkonzept des Aufsichtsrats

Je dynamischer und agiler ein Unternehmen aufgestellt ist, desto eher besteht die Gefahr, dass dem Vorstand die Pferde durchgehen und er sich auf immer riskantere Geschäftsführungsmaßnahmen einlässt. Dann ist es Sache des Aufsichtsrats, ein Gegengewicht zu bilden, das Vorstandshandeln engmaschig zu überwachen und den Vorstand zu beraten. Als Mittel der Informationsgewinnung stehen dem Aufsichtsrat dabei in erster Linie die Berichte des Vorstands nach § 90 AktG zur Verfügung. Besteht ein erhöhter Überwachungsbedarf, reichen diese Berichte oft nicht aus. Es bedarf weiterer Erkenntnisquellen, um den Aufsichtsrat in die Lage zu versetzen, seine Kontroll- und Beratungstätigkeit auszuüben. Ein sehr wirksames Mittel sind dabei Fragen des Aufsichtsrats an den Vorstand. Wer die richtigen Fragen stellt, wird im Zweifel erfahren, was er wissen will. Der Aufsichtsrat hat dabei den Vorteil, dass er nicht in das Tagesgeschäft eingebunden ist, sondern mit einem gewissen Abstand das Geschehen in der Gesellschaft verfolgen und bewerten kann.

1. Grenzen der Informationsbeschaffung

Was aber nutzt das Fragerecht, wenn es ausnahmsweise keine Antwort auf die Frage gibt? In diesem Graubereich bewegt sich der Aufsichtsrat, wenn er einen Vorstand überwachen und begleiten soll, der selbstlernende KI-Systeme in seine Geschäftsabläufe eingebettet hat oder einbetten will.

Das selbstlernende Computersystem erkennt Fehler oder Schwachstellen und stellt sie ab. Damit verändert sich der ursprüngliche Algorithmus, den der Programmierer zu Beginn des Prozesses geschrieben hat. Der sich von selbstZHR 182 (2018) S. 371 (374) weiterentwickelnde Algorithmus entfaltet eine Eigendynamik. Der Programmierer ist nicht mehr in der Lage, ihn sachgerecht zu verändern. Zwischen der Input- und der Output-Ebene liegt eine Black Box, in die der Programmierer – nach derzeitigem Stand – weder eingreifen kann noch eingreifen soll.15 Auch das Abschalten des gesamten Systems führt nicht weiter, weil das Netzwerk eigenständig den Provider wechseln kann. Die Black Box kann wiederum nur funktionieren, wenn sie mit einer großen Menge von Daten gefüttert wird. Mittlerweile gibt es Ingenieure, die in dieser Eigendynamik eine Gefahr für die menschliche Gesellschaft sehen, denen die KI zumindest nicht geheuer ist, wie Microsoft-Präsident Brad Smith eingeräumt hat.16 Hier liegt noch eine unerledigte Aufgabe, was daran deutlich wird, dass sich eine eigenständige Forschungsrichtung gebildet hat, die Explainability (Erklärbarkeit).17

Wie sich das konkrete KI-System weiterentwickelt, kann schon der Programmierer – nach derzeitigem Stand – nicht vorhersagen. Erst recht ist der Vorstand dazu nicht in der Lage. Dann kann der Vorstand dem Aufsichtsrat auch nicht mehr Informationen geben, als dass man in einem bestimmten Sektor selbstlernende KI verwende und damit bestimmte Erfahrungen gemacht habe.

Die Öffentlichkeit nimmt im IT-Bereich vor allem Cyberschäden zur Kenntnis.18 So entsteht regelmäßig eine weltweite Diskussion über die Ursachen eines Verkehrsunfalls, an dem ein selbstfahrendes Auto beteiligt war. Das Gleiche gilt für den Verlust von Daten oder die Verwendung von Daten für rechtswidrige Zwecke, etwa nach einem Hacker-Angriff. Die hier aufgeworfene Frage, wie man mit einer eigendynamischen Software umgeht, findet nur geringere Aufmerksamkeit. Die Folgen einer Fehlentwicklung der KI-Software können aber ebenso einschneidend sein wie die genannten Cyberfälle. Der Lernprozess eines Computerprogramms führt nicht immer sogleich zu einem “richtigen” Ergebnis. Die selbstlernenden Systeme benutzen bei ihrem Lernprozess vielmehr die Trial-and-Error-Methode. Dass sie dabei auch dem Error unterliegen, ist systembedingt. Ob sie innerhalb der Grenzen von noch hinnehmbaren Fehlern bleiben, ist nicht sicher. Sicher ist aber, dass sich durch das selbsttätige Lernen des Systems die Wissensbasis des Algorithmus stets verändert. Anhand der in der Vergangenheit gemachten Erfahrungen und Beobachtungen passt der Algorithmus den Inhalt der eigenen Wissensbasis ständig an.19ZHR 182 (2018) S. 371 (375)

2. Handlungsoptionen des Aufsichtsrats

Wie muss der Aufsichtsrat mit einer solchen Situation umgehen? Bei der Antwort auf diese Frage ist zu unterscheiden zwischen der – vergangenheitsbezogenen – Kontrolltätigkeit des Aufsichtsrats und seiner – zukunftsbezogenen – Beratungstätigkeit.

a) Kontrolltätigkeit

Die Kontrolltätigkeit ist eine gesetzliche Pflicht, auf die die Business Judgment Rule keine Anwendung findet.20 Entweder hat der Vorstand seine Pflichten (schuldhaft) verletzt und der Gesellschaft dadurch einen Schaden zugefügt oder nicht. Nimmt der Aufsichtsrat die Voraussetzungen eines Schadensersatzanspruchs an, muss er nach den Grundsätzen von ARAG/Garmenbeck die Vorstandsmitglieder in Anspruch nehmen21 und ggf. ihre Bestellung widerrufen. Bei der Frage, ob sich der Vorstand pflichtwidrig verhalten hat, ist freilich die Business Judgment Rule in Bezug auf ihn, den Vorstand, anzuwenden.22 Dabei ist zu prüfen, ob das Vorstandsmitglied – wie es in § 93 Abs. 1 S. 2 AktG heißt – bei seiner unternehmerischen Entscheidung vernünftigerweise annehmen durfte, auf der Grundlage angemessener Information zum Wohle der Gesellschaft zu handeln. Das Informationsproblem verlagert sich also auf den Vorstand. Er hat seine Geschäftsführung vor dem Aufsichtsrat zu verantworten und muss deshalb den Aufsichtsrat durch geeignete Information auch in die Lage versetzen, seiner Kontrollaufgabe nachzukommen. Sichtbarer Ausfluss dieser Regel ist die Umkehr der Darlegungs- und Beweislast in § 93 Abs. 2 S. 2 AktG. Dem Vorstand kann allerdings nicht vorgeworfen werden, keinen Zutritt zu der Black Box der selbstlernenden KI zu haben. Denn das ist die systembedingte Folge des Einsatzes von starker KI. Sein Fehlverhalten kann vielmehr entweder darin bestehen, dass er ein selbstlernendes KI-System überhaupt implementiert hat, oder darin, dass er im Falle einer Fehlentwicklung diese nicht rechtzeitig erkannt und nicht richtig kommuniziert hat. So kann der Vorstand versucht haben, Probleme zu vertuschen, was zumindest zu einem Imageschaden führen kann oder schon geführt hat. Möglich ist auch der Vorwurf, kein wirksames Überwachungssystem im Sinne des § 91ZHR 182 (2018) S. 371 (376) Abs. 2 AktG eingerichtet und geprüft zu haben, um wenigstens den Versuch machen zu können, das KI-Netzwerk unter Kontrolle zu halten.23

b) Beratungstätigkeit

Neben der Kontrolltätigkeit obliegt dem Aufsichtsrat die Pflicht, den Vorstand bei der Leitung des Unternehmens zu beraten und an Entscheidungen von grundsätzlicher Bedeutung mitzuwirken. Das entspricht der Beschreibung in Nr. 5. 1. 1 des Deutschen Corporate Governance Kodex und ist mittlerweile auch im Übrigen Standard einer zielführenden Aufsichtsratstätigkeit.24 Dem Aufsichtsrat kann sich im Rahmen dieser Beratung die Frage stellen, ob er die – künftige – Anwendung von KI im Unternehmen gutheißen will. Dabei hat er – ebenso wie der Vorstand – grundsätzlich einen Ermessensspielraum nach der Business Judgment Rule.25 Denn es geht vorrangig um die Wahrnehmung und Abwägung der mit der selbstlernenden KI verbundenen zukünftigen Risiken, speziell des Risikos, dass sich das Netzwerk eigenständig in eine Richtung weiterentwickelt, in der man es nicht haben will und die man auch nicht – jedenfalls nicht innerhalb angemessener Zeit – korrigieren kann. Diese Fragestellung ist nicht zu verwechseln mit der Compliance des Unternehmens. Unter den Begriff Compliance fällt die Gesamtheit aller Maßnahmen, welche erforderlich sind, um ein rechtmäßiges Verhalten des Unternehmens, seiner Organmitglieder und Mitarbeiter mit Blick auf alle gesetzlichen oder satzungsmäßigen Gebote und Verbote zu gewährleisten.26 Eine KI zu verwenden, die nicht bis ins Letzte beeinflussbar ist, verstößt aber noch nicht gegen gesetzliche oder satzungsmäßige Gebote oder Verbote. Wenn es um selbstlernende KI geht, muss der Aufsichtsrat vielmehr – gemeinsam mit dem Vorstand – abwägen, ob diese Risiken eingegangen werden sollen. Dabei lässt sich der Umfang der Risiken ex ante noch nicht genau bestimmen. Da niemand Zugriff auf den Inhalt der Black Box hat, kann auch niemand eine valide Risikoabschätzung vornehmen. Das ist keine Frage der Information, weil diese Information für niemanden abrufbar ist. Dennoch müssen Aufsichtsrat und Vorstand in dieser Situation eine Abwägung der Risiken und Chancen vornehmen. Ein mögliches Ergebnis dieser Abwägung kann darin bestehen, auf die Verwendung selbstlernender KI-Programme schlicht zu verzichten. Das ist der sicherste Weg. Je nach Zuschnitt des Unternehmens ist es auch der sinnvollste.ZHR 182 (2018) S. 371 (377) Eine Automatisierung der Produktionsabläufe ist dann trotzdem möglich. Nur der Einsatz von selbstlernender KI unterbleibt. Ein Unternehmen kann aber auch aufgrund seiner Produktpalette auf die Verwendung selbstlernender KI ausgerichtet sein, etwa bei der Entwicklung eines selbstfahrenden Autos oder eines Medizinroboters.27 Wenn es dann auf dem Markt ohne Einsatz selbstlernender KI einem verdrängenden Wettbewerb anderer Unternehmen ausgesetzt wäre, weil diese selbstlernende KI verwenden würden, während es selbst nur mit konventionellen Computer-Programmen arbeiten würde, hätte das eine wirtschaftspolitisch unerwünschte Folge. Es könnte dann nämlich die kartellrechtlich bedenkliche Situation eintreten, dass der Marktzutritt beeinträchtigt wäre und ein freier Wettbewerb nicht mehr stattfände. In dieser Lage ist von Vorstand und Aufsichtsrat nicht nur zu erwarten und zu verlangen, dass sie die besonderen Risiken ihrer Computer-Programme wahrnehmen und in den Bereichen, in denen man auf die Computer-Programme Einfluss nehmen kann, ein Compliance-System zum Schutz vor Rechtsverletzungen einrichten bzw. die Einrichtung überwachen. Vielmehr muss der Vorstand, unterstützt vom Aufsichtsrat, die besondere Risikolage des Unternehmens den Anlegern kommunizieren. Diese Hinweispflicht bezieht sich sowohl auf die derzeitigen Aktionäre als auch auf Anlageinteressenten, die einen Aktienerwerb beabsichtigen. Dass mit selbstlernender KI gearbeitet oder experimentiert wird, muss transparent gemacht werden. Wer bereit ist, sein Geld in ein vielleicht hochriskantes Geschäftsmodell zu stecken, soll daran nicht gehindert werden. Er soll aber wissen, was er tut. Dann kann er sich auch nicht auf die besonderen Risiken berufen, wenn die Gesellschaft aufgrund dieses Geschäftsmodells Verluste erleidet. Das Gleiche gilt für die Geschäftspartner des Unternehmens. Auch sie sollten wissen, dass ihre Gegenseite mit KI arbeitet. Das beeinflusst auch bei ihnen die notwendige Risikoabwägung.

Gefragt ist also Transparenz. Das Mittel der Transparenz sind die regelmäßigen Geschäftsberichte des Vorstands28 und der Bericht des Aufsichtsrats an die Hauptversammlung nach § 171 Abs. 2 AktG.29 Dafür bedarf es keines Computer-Algorithmus im Vorstand oder im Aufsichtsrat wie bei Deep Knowledge Ventures. Es genügt vielmehr, die Umrisse der Black Box aufzuzeigen und darzustellen, dass in dem so abgegrenzten Bereich ein nicht beherrschbares Risiko durch die Verwendung von starker KI besteht. Das sollte genügen, um einerseits die in den neuen Systemen liegende Innovationskraft zu entfalten und andererseits die Beteiligten davor zu schützen, ungewollte Risiken einzugehen.

Lutz Strohn