In der Fachzeitschrift „The Lancet Digital Health“ fordern die Forscher um die Professoren Stephen Gilbert und Jakob N. Kather Rahmenbedingungen, die den Fähigkeiten und Grenzen dieser KI-Anwendungen gerecht werden und betonen, dass bestehende Vorschriften dringend durchgesetzt werden müssen. Ein weiterhin zögerliches Vorgehen seitens der Behörden gefährdet nicht nur die Nutzer*innen, sondern auch das Potenzial zukünftiger Large Language Models (LLM)-Anwendungen in der Medizin.

Chancen und Risiken von LLM-basierten Gesundheitsanwendungen

Anwendungen, die auf Künstlicher Intelligenz (KI) basieren, sind mittlerweile ein unverzichtbarer Bestandteil der Medizin. Große Sprachmodelle – wie GPT-4 bieten vielfältige Unterstützungsmöglichkeiten in der Diagnose, Versorgung und Betreuung von Patient*innen. Gleichzeitig gibt es Bedenken bezüglich ihrer Sicherheit und Regulierung. Ergebnisse variieren häufig, sind schwer nachvollziehbar und bergen das Risiko erfundener Aussagen (Halluzinationen). Die Zulassung LLM-basierter Anwendungen für medizinische Zwecke als Medizinprodukte nach US- und EU-Recht stellt die zuständigen Behörden deshalb vor Herausforderungen. Trotz der Risiken, etwa durch Fehldiagnosen oder ungeprüfte medizinische Ratschläge, sind solche Anwendungen bereits auf dem Markt erhältlich. Seit der Einführung von großen Sprachmodellen haben Entwickler wie Google, Meta, OpenAI und Microsoft diese stetig verbessert und neue Modelle vorgestellt. Auch für medizinische Anwendungen wird deren Leistung immer besser. „LLMs haben das Potenzial die Gesundheitsversorgung zu verändern und gewinnen in den Bereichen Krebsdiagnose und -behandlung sowie bei Vorsorge, Fernbetreuung, Dokumentation und Unterstützung bei medizinischen Entscheidungen immer mehr an Bedeutung. Sie bieten großes Potenzial, bergen aber auch Risiken“, sagt Prof. Dr. Jakob N. Kather, Professor für Klinische Künstliche Intelligenz am EKFZ für Digitale Gesundheit der TU Dresden und Onkologe am Dresdner Universitätsklinikum Carl Gustav Carus. Derzeit wird noch intensiv daran geforscht, ob bei medizinischen Anwendungen die Vor- oder Nachteile überwiegen. Abgesehen von den vielseitigen Möglichkeiten und Chancen weisen die Forschenden in ihrer Publikation klar auf offene rechtliche und ethische Fragen hin, insbesondere mit Blick auf Datenschutz, Wahrung des geistigen Eigentums sowie auf die Problematik geschlechtsspezifischer und rassistischer Vorurteile.

Zulassung als Medizinprodukte erforderlich

Sobald Anwendungen medizinischen Rat für Laien bezüglich ihrer Diagnose oder Behandlung von Erkrankungen anbieten, handelt es sich nach EU- und US-Recht um Medizinprodukte, die als solche eine entsprechende Zulassung erfordern. Während die Einhaltung dieser Regelungen bei bisherigen, eng gefassten Anwendungen relativ eindeutig war, stellt die Vielseitigkeit der LLMs die Behörden vor regulatorische Herausforderungen. Trotz rechtlicher Unklarheiten, sind solche Anwendungen jedoch unreguliert und ohne Zulassung durch die zuständigen Behörden auf dem Markt erhältlich. Die Forschenden machen deutlich, dass Behörden in der Pflicht stehen, geltende Regeln durchzusetzen. Gleichzeitig sollten sie sicherstellen, dass angepasste Rahmenbedingungen für die Prüfung und Regulierung von auf großen Sprachmodellen basierenden Gesundheitsanwendungen entwickelt werden. „Diese Technologien existieren bereits auf dem Markt und wir müssen zwei grundlegende Dinge beachten, um eine sichere Entwicklung solcher Anwendungen zu gewährleisten. Erstens braucht es passende Methoden, um diese neuen Technologien bewerten zu können. Zweitens müssen die geltenden rechtlichen Vorgaben gegenüber unsicheren LLM-Anwendungen auf dem Markt durchgesetzt werden. Das ist unerlässlich, wenn wir diese medizinischen KI-Anwendungen in Zukunft sicher nutzen wollen“, sagt Prof. Dr. Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ für Digitale Gesundheit der TU Dresden.

Publikation

Oscar Freyer, Isabella Catharina Wiest, Jakob Nikolas Kather, Stephen Gilbert: A future role for health applications of large language models depends on regulators enforcing safety standards; The Lancet Digital Health, 2024. https://www.thelancet.com/journals/landig/article/PIIS2589-7500(24)00124-9/fulltext