Ein internationales und interdisziplinäres Team unter Leitung von Forschenden der TU Darmstadt hat kürzlich untersucht, ob sich Aufnahmen von Hirntumoren durch KI besser beurteilen lassen. Für diese Veröffentlichung hat das Team bei der weltweit größten Wirtschaftsinformatik Konferenz ICIS den Best Paper Award gewonnen – und sich damit gegen weit mehr als 1.300 andere Publikationen durchgesetzt.

Die Wirtschaftsinformatik der TU Darmstadt erreicht bei Rankings regelmäßig sehr gute Platzierungen, zuletzt etwa den zweiten Platz im Hochschulranking der Zeitschrift „Wirtschaftswoche“. Auch die Forschungsergebnisse können sich sehen lassen. Ein internationales Team von Forschenden der TU, der University of Cambridge, des Wissenschafts- und Technologieunternehmens Merck sowie des Klinikums rechts der Isar der TU München hat in einer internationalen und interdisziplinären Kooperation untersucht, wie Softwaresysteme aufgabenspezifisch relevante Informationen sammeln, aufbereiten und auswerten und so die Arbeit von Menschen, in diesem Fall Radiolog*innen, unterstützen. Die Studie, die nun mit dem Best Paper Award ausgezeichnet wurde, liefert empirische Daten zum Einfluss von maschinell lernenden Systemen (ML-Systemen) auf menschliches Lernen. Zudem zeigt sie, wie wichtig es für Endnutzer:innen ist, ob die Resultate maschineller Lernverfahren nachvollziehbar und verständlich sind. Diese Erkenntnisse sind nicht nur für medizinische Diagnosen in der Radiologie relevant, sondern für alle, die durch die tägliche Nutzung von KI-Tools, wie beispielsweise ChatGPT, selbst zu Reviewern, also Bewertenden von ML-Output werden.

Das Forschungsprojekt unter Leitung der TU-Forschenden Sara Ellenrieder und Professor Peter Buxmann untersuchte die Nutzung von ML-basierten Entscheidungsunterstützungssystemen in der Radiologie, speziell bei der manuellen Segmentierung von Hirntumoren in MRT-Bildern. Im Fokus stand die Frage, wie Radiolog*innen von diesen Systemen lernen können, um ihre Leistungen und Entscheidungssicherheit zu verbessern. Die Autor*innen verglichen dabei unterschiedlich leistungsfähige ML-Systeme und analysierten, wie die Erklärung des ML-Outputs die Nachvollziehbarkeit der Ergebnisse für die Radiolog*innen verbesserte. Das Forschungsziel ist es, herauszufinden, wie Radiolog*innen langfristig von diesen Systemen profitieren und diese sicher einsetzen können.

Dazu führte das Projektteam ein Experiment mit Radiolog*innen verschiedener Kliniken durch. Die Mediziner*innen wurden gebeten, Tumore in MRT-Bildern zu segmentieren, bevor und nachdem sie ML-basierte Entscheidungsunterstützung erhalten hatten. Dabei wurden verschiedenen Gruppen unterschiedlich leistungsfähige oder transparente ML-Systeme an die Seite gestellt. Neben der Erfassung quantitativer Leistungsdaten während des Experiments sammelten die Forschenden auch qualitative Daten mittels „Think-Aloud“-Protokollen und anschließenden Interviews.

Im Rahmen des Experiments wurden 690 manuelle Segmentierungen von Hirntumoren durch die Radiolog*innen vorgenommen. Die Ergebnisse zeigen, dass Radiolog*innen von den Informationen lernen können, die leistungsstarke ML-Systeme bereitstellen. Durch die Interaktion verbesserten sie ihre Leistung. Allerdings zeigt die Studie auch, dass fehlende Erklärbarkeit von ML-Output bei leistungsschwachen Systemen durchaus zu einem Leistungseinbruch bei den Ärztinnen und Ärzten führen kann. Besonders interessant ist, dass die Bereitstellung von Erklärungen des ML-Outputs nicht nur die Lernerfolge der Radiolog*innen verbesserte, sondern auch das Lernen fehlerhafter Informationen verhinderte. Tatsächlich konnten einige Mediziner*innen sogar aus Fehlern lernen, die leistungsschwache, aber ihren Output gut erklärende Systeme machten.

„Die Zukunft der Mensch-KI-Kollaboration liegt in der Entwicklung von erklärbaren und transparenten KI-Systemen, die es insbesondere dem Endnutzer ermöglichen, von den Systemen zu lernen und langfristig bessere Entscheidungen zu treffen“, fasst Professor Peter Buxmann von der TU Darmstadt zusammen.