Ein Dienstagvormittag auf einer internistischen Station im Ruhrgebiet. Der Stationsarzt öffnet das Krankenhausinformationssystem und sieht, was er seit drei Wochen Pilotbetrieb schon fürchtet: Das KI-System empfiehlt für Frau M., 74 Jahre alt, Entlassung am Donnerstag. Diagnose: Herzinsuffizienz, stabilisiert. Soziale Situation: alleinlebend, dritter Stock, kein Aufzug. Der Algorithmus hat das letzte Kriterium nicht erfasst. Es steht nirgendwo in §21 KHEntgG-Daten.
Der Arzt weicht ab. Er dokumentiert es. Aber ob diese Abweichung rechtlich sauber ist — ob das Krankenhaus hier im Sinne des EU AI Act korrekt handelt, ob der Einsatz des Systems überhaupt zulässig ist — das kann ihm im Moment niemand in der Klinik beantworten.
Szenen wie diese spielen sich derzeit in einer wachsenden Zahl deutscher Krankenhäuser ab. KI-gestützte Entlassmanagement-Systeme versprechen, Belegungsdruck zu reduzieren, Wiedereinstationsraten zu senken und das Pflegepersonal zu entlasten. Die Realität ist komplizierter.
Das Datenproblem, das niemand benennt
Der strukturelle Kern des Problems liegt in den Daten. §21 KHEntgG verpflichtet Krankenhäuser zur Übermittlung von Falldaten an das Institut für das Entgeltsystem im Krankenhaus (InEK). Diese Daten — Diagnosen, Prozeduren, Verweildauer, Beatmungsstunden — sind die Grundlage, auf der die meisten KI-Anbieter ihre Modelle trainieren oder zumindest validieren.
Was dabei systematisch fehlt: Soziale Determinanten. Wohnverhältnisse. Pflegearrangements. Kognitive Einschränkungen, die nicht als Diagnose kodiert sind. Entlassungsbarrieren, die erfahrene Stationspflegekräfte kennen und KI-Systeme nicht kennen können — weil diese Information in keinem strukturierten Datenfeld existiert.
KI-Systeme, die zur Unterstützung klinischer Entscheidungen im stationären Bereich eingesetzt werden, fallen unter Anhang III Nr. 5 lit. a EU AI Act (Hochrisiko-KI im Gesundheitswesen), sofern sie als Medizinprodukt einzustufen sind.
Die entscheidende Frage ist die MDR-Klassifizierung: Systeme, die lediglich Daten aggregieren und eine Entlassungsempfehlung ausgeben, ohne eine Diagnose zu stellen, bewegen sich in einer regulatorischen Grauzone zwischen Klasse I (keine klinische Wirksamkeit) und Klasse IIa.
Hersteller wie MyScribe oder Amboss positionieren sich unterschiedlich — mit erheblichen Konsequenzen für das beschaffende Krankenhaus.
Hinzu kommt ein weiteres Problem, das in der Öffentlichkeit kaum diskutiert wird: die Frage der algorithmischen Verantwortung. Nach Art. 9 EU AI Act ist das Krankenhaus als Betreiber — nicht der Hersteller — verantwortlich für ein angemessenes Risikomanagementsystem. Das bedeutet in der Praxis: Das Krankenhaus muss nachweisen können, dass es das KI-System überwacht, dass es Abweichungen dokumentiert und dass es menschliche Aufsicht sicherstellt.

Kommentare
14 Beiträge
Mitglieder können den vollständigen Artikel lesen und Kommentare als erste antworten. Jetzt Mitglied werden →
Neueste
Älteste
Meiste Likes
Der beschriebene Fall ist keine Ausnahme, sondern die Regel. Wir haben in unserer Klinik einen ähnlichen Piloten laufen. Die Dokumentationspflicht bei Abweichungen erzeugt mehr Bürokratie als das System einspart — und das ist noch das kleinste Problem. Was mich wirklich beunruhigt, ist die Frage der technischen Dokumentation nach Art. 11 EU AI Act. Kein einziger Anbieter, den wir evaluiert haben, konnte uns vollständige Unterlagen vorlegen.
Antworten
Melden
Genau dieser Punkt — die fehlende technische Dokumentation — wird im vollständigen Artikel ausführlich behandelt. Kurz gesagt: Anbieter, die keine vollständige technische Dokumentation nach Anhang IV EU AI Act vorlegen können, dürfen ihr Produkt in Hochrisiko-Anwendungen schlicht nicht betreiben. Das schließt die meisten aktuell angebotenen Systeme aus — auch wenn der Vertrieb das anders darstellt.
Antworten
Als Pflegedienstleiterin frage ich mich, warum bei diesem Thema immer die Ärzteschaft im Mittelpunkt steht. Die Pflegekräfte sind es, die täglich mit diesen Systemen umgehen müssen und die informellen Informationen haben, die kein Algorithmus erfasst. Mitbestimmung nach KI-MIG ist gut — aber die Kompetenz, solche Systeme kritisch zu bewerten, fehlt in unserem Berufsstand schlicht noch.
Antworten
Melden
Die Haftungsfrage ist tatsächlich das ungelöste Kernproblem. Ich berate mehrere Kliniken in diesem Bereich. Meine Kurzformel: Das Krankenhaus haftet. Immer. Der KI-Anbieter haftet nur dann, wenn ein Produktfehler nachweisbar ist und das Krankenhaus seiner Überwachungspflicht nachgekommen ist. In der Praxis ist dieser Nachweis für Krankenhäuser kaum zu erbringen — und das wissen die Anbieter.
Antworten
Melden