Seite 2: Informationsfreiheit reibt sich an informationeller Selbstbestimmung

Inhaltsverzeichnis

Die Informationsfreiheit reibt sich an der informationellen Selbstbestimmung der betroffenen Personen, um die es möglicherweise gehen kann. Wenn die Daten nicht unmittelbar personenbezogen sind, dürfen sie verwendet werden.

Der Umstand, dass personenbezogene Daten verfügbar sind, ändert grundsätzlich nichts an der Frage, ob diese Daten rechtmäßig weiterverarbeitet werden dürfen. Wenn soziale Netze nach Bildern gecrawlt werden, weil das technisch möglich ist, und sie Gesichtserkennungssoftware damit anlernen, dann ist das kompliziert, weil sehr unterschiedliche Regelungsmaterien ineinandergreifen, die thematisch sehr nah beieinander liegen.

In vielen Einzelaspekten ist das Verhältnis von den heute angesprochenen Regulierungen alles andere als glasklar. Bestimmte Fragestellungen sind nicht ganz ausdefiniert, weil die Begriffsüberschneidungen noch nicht ausdefiniert und Unklarheiten da noch nicht ausgeräumt sind. An der Widerspruchsfreiheit und Kompatibilität der verschiedenen Regularien muss der EU-Gesetzgeber noch arbeiten.

Wir haben da noch keine umfassenden Rechtsklarheiten. Selbst, wenn die Gesetzgebungsprozesse für die angesprochenen Verordnungen abgeschlossen sein werden, was mit Blick auf die Wahlen in Europa relativ bald der Fall sein wird, werden wir erst in den nächsten Jahren Konkretisierungen durch die Rechtsprechung des EuGH in relevanten Aspekten bekommen.

Wird es bei manchen Rechtssachen dann erst Präzedenzfälle geben (müssen)?

Das hat das Recht immer so an sich: Wenn Sie es abstrakt formulieren und versuchen, die Gesetzgebung technikneutral und zukunftsoffen zu gestalten, können sich Anwendungsunklarheiten ergeben, die dann erst durch die höchsten Gerichte geklärt werden können. Für bestimmte Anwendungsfälle in konkreten Konstellation wird es auf jeden Fall Rechtsklarheit geben.

Ärzte werden in Zukunft viele Daten liefern müssen und das Gesetz sagt relativ nonchalant, dass diese Daten anonymisiert werden müssen. Das ist gerade bei bestimmten Datenkategorien oder Datenarten alles andere als trivial. Auch Bilddaten sorgfältig zu anonymisieren, ist je nach Kontext und vielleicht auch Sichtweise nicht ohne weiteres möglich. Das Restrisiko einer unzulässigen oder unzureichenden Anonymisierung würde wiederum der primär Verantwortliche vor Ort – der Arzt – tragen.

Dass da ein gewisser Unmut herrscht über eine Verpflichtung, die sehr stark zu Lasten der datenschutzrechtlich Verantwortlichen gehen soll, ist verständlich. In letzter Konsequenz wird hierdurch auch das Vertrauensverhältnis zwischen Arzt und Patient erschüttert.

Aktuell fordern ja beispielsweise die privaten Krankenkassen, dass es nicht für alle KI-Systeme eine derartige Strenge bei der Zulassung geben muss, also dass beispielsweise bei KI-Systemen für die Verwaltung von Versicherten nicht so strenge Regularien wie bei Hochrisiko-Anwendungen gelten sollen. Wie bewerten Sie das?

Dieser Ansatz ist zu begrüßen, da die KI-Verordnung nur besonders grundrechtsintensive Anwendungen regeln sollte. Anwendungen, die besonders stark von den Grundrechten beeinflusst sind, etwa das Datenschutzrecht.

Welchen Unterschied gibt es zu den verbotenen KI-Praktiken?

Es gibt die höchste Risikoklasse beziehungsweise Totalverbote bei KI-Systemen. Diese KI-Kategorie ist nicht mit dem Wertesystem der EU vereinbar. Das sind Systeme, die beispielsweise gezielt darauf ausgerichtet sind, die Vulnerabilität bestimmter schutzbedürftiger Gruppen auszunutzen – KIs, die wirklich auf Manipulation und Schädigung ausgerichtet sind.

Welche sind das zum Beispiel?

In diesem Verbotskatalog befindet sich eine sehr klare Beschreibung eines verbotenen Social-Scoring-Systems, das die Lebensaspekte und einzelne Aspekte von Personen bewerten und überwachen soll. So etwas ist in der EU zukünftig gänzlich untersagt. Das EU-Parlament hat kürzlich den Katalog von verbotenen KI -Systemen deutlich dahingehend erweitert, dass auch der KI-Einsatz für das Predictive Policing und für die sog. Risk Assessment Tools genauso verboten sein sollen, wie etwa biometrische Kategorisierungssysteme, die Emotionserkennung in bestimmten Bereichen wie Strafverfolgung und Grenzkontrolle oder die Erstellung von Gesichtserkennungsdatenbanken mithilfe von Web-Scraping.

Die EU-Kommission möchte für die Risiken, die sich aus dem KI-Einsatz ergeben können, klare Vorgaben formulieren. Der Schwerpunkt dieses Entwurfs ist die Beschreibung der Pflichten und Folgen des Einsatzes von Hochrisiko-KI-Systemen. Hierzu zählen solche Systeme, die einen potenziellen Einfluss auf die Grundrechte und Freiheiten natürlicher Personen haben können. Und dazu gehören nach gegenwärtiger Lesart insbesondere auch solche KI-Systeme, die sich im Gesundheitsbereich bewegen.

Zum einen müssen die sogenannten Anhang-II-Systeme der KI-Verordnung beachtet werden. Das KI-System ist Produkt oder Sicherheitskomponente eines Produkts und unterliegt einer EU-Sicherheitsregulierung. Hierzu zählen also KI-Systeme, die aufgrund anderer regulatorischer Vorgaben der EU bereits ein anderes Zulassungsverfahren durchlaufen müssen. Hierzu zählen, wie bereits umfassend dargelegt, etwa Medizinprodukte nach der MDR.

Zum anderen muss der Sektorenkatalog aus Annex III der KI-Verordnung untersucht werden. Dieser regelt den Einsatz von KI in besonders Grundrechts-sensiblen Bereichen. KI-Systeme gelten nach Annex III als hochriskant, wenn sie in einem der in Annex III aufgeführten Bereiche eingesetzt werden sollen. Hierzu gehört etwa der Einsatz von KI in kritischen Infrastrukturen, in den Bereichen Bildung, Beschäftigung, Strafverfolgung, Migration und Rechtspflege. Von einem hohen Risiko ist regelmäßig auszugehen, wenn der Output des KI-Systems mit einem faktischen Risiko für die Gesundheit, Sicherheit oder Grundrechte von Personen verbunden ist.

Was halten Sie von dem Vorschlag der Deutschen Gesellschaft für Biomedizinische Technik, kontinuierlich lernende Medizinprodukte ebenfalls mit einer CE-Kennzeichnung zu versehen? Bisher ist es so, dass der Lernprozess des hinter der KI stehenden Modells abgeschlossen sein muss.

Ich halte es für einen guten Vorschlag, auch Medizinprodukte mit dynamischen KI-Systemen durch eine sogenannte "antizipierende CE-Konformitätsbewertung" auf den Markt zu bringen. KI-basierte Produkte, die den Begriff des "Medizinprodukts" im Sinne des Art. 2 Nr. 1 MDR erfüllen – ausdrücklich genannt ist hier die "Software" als potentielle Produktkategorie –, müssen sich in der EU primär an den Regelungen der MDR (Medical Device Regulation) messen lassen. In diese Produktkategorie fallen beispielsweise diagnostische Entscheidungsunterstützungssoftware für Ärztinnen und Ärzte oder bestimmte Gesundheits-Apps.

Bei solchen KI-gestützten Medizinprodukten ist es allerdings problematisch, dass die Software so konzipiert sein muss, dass "Wiederholbarkeit, Zuverlässigkeit und Leistung" garantiert sind. Dies ist etwa beim Einsatz von generativer KI schwierig zu realisieren. Diese zielt als autonomes und adaptives System auf ein kontinuierliches Hinzulernen und damit auf eine andauernde Verbesserung und Anpassung der erzeugten Ergebnisse ab. Daher sind Medizinprodukte, die dynamische KI-Komponenten enthalten, derzeit nicht nach der MDR zertifizierbar. Das bedeutet etwa, dass generative KI-Chatbots wie Med-PaLM 2, die als Medizinprodukt im Sinne der MDR klassifiziert werden müssten, aufgrund ihrer dynamischen Architektur keine Zulassung nach der MDR erhalten könnten.

Allein für sogenannte statische "Blackbox-KI" sieht die MDR die Notwendigkeit einer Überprüfung durch eine benannte Stelle und eine Einzelfallentscheidung vor. Wenn die EU die Potenziale der kontinuierlich lernenden, also dynamischen KI sektorenübergreifend nutzen will, ist hier eine Ergänzung durch den europäischen Gesetzgeber dringend erforderlich.

EU-Verordnung über Medizinprodukte (MDR)

Die europäische Medizinprodukte-Verordnung (Medical Device Regulation, MDR) gilt seit 2021 und hat das bis dahin geltende Medizinproduktegesetz (MPG) abgelöst. Die Verordnung betrifft vor allem Hersteller von Medizinprodukten, aber auch weitere, wie Medizinprodukte nutzende Krankenhäuser, Praxen, Händler und Importeure.

Die MDR ist eine europäische Verordnung. Das bedeutet, dass sie unmittelbar in allen europäischen Mitgliedstaaten gilt. Die MDR regelt – vereinfacht dargestellt – unter welchen Umständen derartige Produkte eingesetzt beziehungsweise auf den Markt gebracht werden können. In den USA ist für derartige Zulassungen die Food and Drug Administration (FDA) zuständig, in Deutschland maßgeblich das Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM). Software fällt unter die Definition eines Medizinproduktes, wenn sie für einen medizinischen Zweck verwendet wird. Für KI-basierte Software gilt hierbei nichts anderes als für traditionell programmierte Software. Damit ist auch die „intelligente“ Software ein Medizinprodukt, wenn sie zu medizinischen Zwecken eingesetzt wird. Für die Qualifikation einer KI-Software als Medizinprodukt ist die subjektive Zweckbestimmung (Widmung) des Herstellers, also zum Beispiel die des Medical-App-Anbieters, maßgeblich.

(mack)