Die lange und aufwändige Ausbildung von Chirurgen soll sie bestmöglich auf die erfolgreiche Durchführung komplexer Eingriffe wie Knochenoperationen vorbereiten. Mithilfe von Virtual Reality (VR) besteht die Möglichkeit, OP-Situationen wirklichkeitsnah abzubilden und Trainings risikofrei mit virtuellen Patienten zu erproben. Aktuelle Verfahren stoßen in der Praxis jedoch noch an ihre Grenzen, da vor allem das haptische Feedback ausbleibt, also die spürbare Rückmeldung über Finger oder Hand. Ziel des Projekts VIRTOSHA, das das Konsortium aus dem Universitätsklinikum Bonn (UKB), der Technischen Hochschule Köln, der MindPort GmbH als Konsortialführer und der Haption GmbH durchführt, ist die Entwicklung einer VR-Trainingsumgebung für ein realitätsgetreues Empfinden bei chirurgischen Operationen.

 Feinmotorik trainieren

„Angehende Chirurginnen und Chirurgen müssen in ihrer Ausbildung erfahren, wie sich Operationen anfühlen und ihre Feinmotorik trainieren. Daher entwickeln wir ein neues VR-Ausbildungstool, das eine lebensechte Interaktion mit den Werkzeugen ermöglicht. Wir konzipieren dafür eine Bohr- und Schraubensimulation mit Haptik-Armen, einen Roboter mit Greifarmen, und werden die Merkmale verschiedener Gewebearten implementieren. So kann der Widerstand beim Bohren und Schrauben in den Knochen spürbar gemacht und Eingriffe realitätsgenau trainiert werden“, sagt Priv.-Doz. Dr. Kristian Welle, Leitender Oberarzt am Universitätsklinikum Bonn (UKB), der das Projekt am UKB zusammen mit Prof. Björn Krüger verantwortet.

Unterschiedliche Patienten simulieren

Durch die Analyse von echten Operationen werden die Schritte und Optionen eines Eingriffs, das Verhalten von Gewebe, Implantaten und Operationswerkzeugen sowie das haptische Feedback, also die spürbare Rückmeldung über Finger oder Hand, erfasst. Verschiedene Prozesse und Avatare, also virtuelle Darstellungen von Personen, können miteinander verbunden werden, um neue Übungsabläufe zu erstellen und die Zusammenarbeit der interdisziplinären OP-Teilnehmenden zu schulen. „Mithilfe einer Software gestalten wir verschiedene Szenarien, wobei Gewebe- und Knocheneigenschaften anpassbar sind, um unterschiedliche Patienten zu simulieren. Eine realitätsgenaue Darstellung der Gewebe und Knochen sowie die präzise Integration der Handbewegungen sind entscheidend für das reale Empfinden in der VR-Umgebung“, so Prof. Björn Krüger, Leiter der Forschungsgruppe „Personalisierte digitale Gesundheit und Telemedizin“ an der Klinik für Epileptologie des UKB.

Das Team der TH Köln entwickelt das KI-basierte Simulationssystem, mit dem die Anwenderinnen und Anwender beim Training die Eingriffe in menschliches Weichgewebe wie Knochen, Knochenhaut und Muskelgewebe realistisch nachstellen können. Zudem berechnen die Forschenden, wann die Operationswerkzeuge auf das simulierte Gewebe treffen, um die Kraftrückkopplung der Haptik-Arme zu optimieren. „Wir bringen unsere langjährige Expertise und unser Know-how bei der Anwendung von haptischen Technologien sowie der Echtzeitsimulation von deformierbaren Materialien in das Projekt ein“, berichtet Prof. Dr. Arnulph Fuhrmann vom Institut für Medien- und Phototechnik der TH Köln.

Autorensystem für einen breiten Einsatz

„In der Vergangenheit wurde öfter versucht, mittels Virtual Reality chirurgische Abläufe zu trainieren“, weiß David Lähner, Gründer und Geschäftsführer von MindPort. „Wir haben einen neuen Ansatz für dieses Ziel entwickelt: Mittels eines integrierten Autorenwerkzeuges sollen die Chirurginnen und Chirurgen selbst neue Inhalte erstellen und bestehende Inhalte aktualisieren können. Dadurch können viel mehr verschiedene Fälle abgedeckt werden. Unsere langfristige Vision ist, dass an einem 'digitalen Zwilling' des Patienten in der Virtualität geübt werden kann, bevor die echte Operation losgeht.“

„Dieser Ansatz ist nicht nur für die Ausbildung unserer neuen Kolleginnen und Kollegen spannend, sondern wird auch die Einführung von neuen Implantaten stark vereinfachen“, ergänzt Priv.-Doz. Dr. Kristian Welle.

Über das Projekt:

An dem Forschungsvorhaben VIRTOSHA (Autorenwerkzeug für Virtual Reality Trainingssimulationen von Osteosynthese mit haptischem Feedback und Gewebesimulation) sind die MindPort GmbH als Konsortialführer, das Universitätsklinikum Bonn (UKB), die TH Köln und die Haption GmbH beteiligt. Das Projekt wird im Rahmen des Innovationswettbewerbs Gesünder.IN.NRW mit 1,5 Millionen Euro gefördert. Die Laufzeit beträgt drei Jahre.