In einer aktuellen Arbeit prüfen Wissenschaftler*innen die Genauigkeit von KI-Modellen, die vorhersagen, ob Personen mit Schizophrenie auf eine antipsychotische Medikation ansprechen. Statistische Modelle aus dem Bereich der Künstlichen Intelligenz (KI) haben großes Potential, die Entscheidungsfindung in der medizinischen Behandlung zu verbessern. Jedoch sind Daten, mit denen Modelle arbeiten können, aus der medizinischen Behandlung nicht nur selten, sondern auch teuer. Daher konnte die Prognosegenauigkeit statistischer Modelle bislang nur in wenigen Datensätzen von begrenzter Größe demonstriert werden. In der aktuellen Arbeit prüfen die Wissenschaftler*innen das Potential von KI-Modellen und testen die Genauigkeit der Prognose des Therapieansprechens auf eine antipsychotische Medikation bei Schizophrenie in mehreren unabhängigen klinischen Studien. Die Ergebnisse der neuen Arbeit, an der Forscher*innen der Universitätsmedizin Köln und Yale beteiligt waren, zeigen, dass die Modelle die Patientenergebnisse innerhalb der Studie, in der sie entwickelt wurden, mit hoher Genauigkeit vorhersagen konnten. Wurden sie allerdings außerhalb der ursprünglichen Studie angewendet, zeigten sie keine bessere Leistung als zufällige Vorhersagen. Auch die Zusammenführung von Daten aus verschiedenen Studien verbesserte die Vorhersagen nicht. Die Studie „Illusory generalizability of clinical prediction models“ wurde in Science veröffentlicht.

Die Studie wurde von führenden Wissenschaftler*innen aus dem Bereich der Präzisionspsychiatrie geleitet. Dies ist ein Bereich der Psychiatrie, in dem anhand datenbezogener Modelle, gezielt Therapien und passende Medikamente für Personen oder Patientengruppen ermittelt werden sollen. „Unser Ziel ist es, durch neuartige Modelle aus dem Gebiet der KI, Patient*innen mit psychischen Beschwerden gezielter zu behandeln“, sagt Dr. Joseph Kambeitz, Professor für Biologische Psychiatrie an der Medizinischen Fakultät der Universität zu Köln und der Uniklinik Köln. „Auch wenn zahlreiche initiale Studien den Erfolg solcher KI-Modelle belegen, fehlte bislang eine Demonstration der Robustheit dieser Modelle.“ Und genau diese Sicherheit ist für die Anwendung im klinischen Alltag von großer Bedeutung. „Wir stellen strenge Qualitätsanforderung an klinische Modelle und müssen auch sichergehen, dass Modelle in unterschiedlichen Kontexten gute Prognosen liefern“, so Kambeitz. Die Modelle sollten gleich gute Prognosen liefern, egal ob sie in einem Krankenhaus in den USA, in Deutschland oder Chile genutzt werden.

Die Ergebnisse der Studie zeigen, dass eine Verallgemeinerung der Vorhersagen von KI-Modelle über verschiedene Studienzentren hinweg im Moment noch nicht sichergestellt werden kann. Dies ist ein wichtiges Signal für die klinische Praxis und zeigt, dass noch weitere Forschung notwendig ist, um die psychiatrische Versorgung tatsächlich zu verbessern. In laufenden Studien hoffen die Forschenden diese Hindernisse zu überwinden. In Kooperation mit Partnern aus den USA, England und Australien arbeiten sie daran, zum einen große Patientengruppen und Datensätze zu untersuchen, um die Genauigkeit der KI-Modelle zu verbessern sowie an der Nutzung weiterer Datenmodalitäten wie Bioproben oder neue digitale Marker wie Sprache, Bewegungsprofile und Smartphonenutzung.