Todd Pietila Januar 15, 2020

3D-Technologien wie Augmented Reality (AR), Virtual Reality (VR) und 3D-Druck liefern ?rzten weitaus mehr Informationen als 3D-Bilder auf 2D-Anzeigeger?ten. Daher sind diese Tools so wertvoll für die chirurgische Planung an der University of California San Francisco (UCSF). An der UCSF gibt es eines der bedeutendsten akademischen Medizinzentren der Welt. Es stellt eine qualitativ hochwertige Versorgung in vielen Spezialgebieten bereit und unterstützt umfangreiche medizinische Forschungen und Innovationsbemühungen.?

In diesem Blog sprechen wir mit dem Kinderradiologen Dr. Jesse Courtier, der sich auf den Einsatz von Augmented Reality für die Forschung und Patientenversorgung an der UCSF spezialisiert hat.

?

Welche Motivation steckt hinter der Nutzung von 3D-Technologien (AR/VR, 3D-Druck) an der UCSF?

?Wir an der UCSF sind ein Referenzzentrum für sehr komplexe chirurgische Eingriffe in zahlreichen Spezialgebieten. In dieser Funktion ist der erforderliche Grad der chirurgischen Fallplanung besonders hoch. Die medizinische Bildgebung spielt bei dieser Planung eine entscheidende Rolle. Wir haben festgestellt, dass die 3D-Bildgebung den Chirurgen wichtige zus?tzliche konzeptionelle Informationen für die Planung solcher komplexen F?lle liefert. Und zwar weit über das hinaus, was sich mit einer einfachen 3D-Rekonstruktion auf 2D-Anzeigeger?ten erreichen l?sst. Für mich als Kinderradiologen ist es pers?nlich besonders wichtig, komplexe Informationen aus den CTs und MRTs klar und verst?ndlich an meine Chirurgenkollegen weitergeben zu k?nnen.?

3D-Technologien wie 3D-Druck und AR (mein pers?nlicher Schwerpunkt) sind leistungsstarke Technologien, um die Lücke zwischen der 2D-Welt der Radiologie und der realen 3D-Welt der Chirurgie zu schlie?en. Vom chirurgischen Standpunkt aus bietet sich zudem ein zus?tzlicher willkommener Vorteil, wenn Methoden gefunden werden, um die kognitive Last insgesamt w?hrend dieser komplexen F?lle durch eine intelligente Planung zu verringern.“?

?

Für welche Anwendungsbereiche nutzen Sie AR haupts?chlich?

?Natürlich gibt es zahlreiche Anwendungsm?glichkeiten für AR in ganz unterschiedlichen Bereichen. Wir haben allerdings bestimmte Spezialbereiche gefunden, die sich für die Planung mit AR besonders eignen. Spezialgebiete wie die Orthop?die, die Herz-Thorax-Chirurgie, die interventionelle Kardiologie, Lebertransplantationen und die Kinderchirurgie geh?ren zu den Bereichen mit besonderen Herausforderungen durch eine hohe visuell-r?umliche Komplexit?t und umfangreiche anatomische Variationen in den jeweiligen F?llen. Ich habe an der UCSF in zahlreichen Fachgebieten mehr als 80 AR-Modelle erstellt. Ein paar spezielle Beispiele sind komplexe p?diatrische Ellbogenfrakturen, die Behebung von Fehlbildungen, gro?e Lebertumore und ein sehr komplexer Fall einer angeborenen Herzerkrankung.?

Zudem erforschen wir mobile Anwendungen der AR-Technologie in kleinen Gruppensitzungen mit Medizinstudenten zum Thema Anatomie. Darüber hinaus haben wir mit der Untersuchung der Eignung von AR für die Patientenschulung bei angeborenen Herzerkrankungen begonnen. Wir freuen uns schon sehr darauf, das Potenzial für eine bessere Patientencompliance und insgesamt weniger Unsicherheiten zu untersuchen, wenn die Patienten ihren Zustand besser verstehen.“?

?

Inwiefern kann AR den 3D-Druck erg?nzen?

?Ich bin überzeugt, dass AR 3D-Druck erg?nzt, da damit Rapid Prototyping und iterative Modellverbesserung auf wirtschaftliche und umweltfreundliche Weise m?glich sind. Modelle k?nnen wiederholt getestet und im gesamten anatomischen Ausma? betrachtet werden, ohne einigen Einschr?nkungen physischer Modelle (Gewicht, Dicke, Druckergr??e, Kosten) zu unterliegen. Au?erdem ist damit eine Zusammenarbeit aus der Entfernung m?glich, da digitale 3D-Modelle mit Kollegen ausgetauscht werden k?nnen, ohne dass ein physisches Modell vorhanden sein muss.“ ?

?

Welche Software nutzen Sie zur Vorbereitung medizinischer Bilddaten?

?Meine ersten Schritte in der 3D-Welt habe ich mit Freeware und einfachen Anwendungen gemacht. In dem Ma?, wie ich bei der Erstellung verschiedener Modelltypen an der USCF immer weiter voranschritt, wurde jedoch deutlich, dass anspruchsvollere Softwarel?sungen n?tig wurden. Ich brauchte eine Software, die stabil l?uft, eine Vielzahl von Funktionen aufweist und mit Benutzerfreundlichkeit und Design der Benutzeroberfl?che punkten kann. An der UCSF haben wir über das Center for Advanced 3D Imaging + (an dem ich stellvertretender Leiter bin) die?Materialise Mimics Innovation Suite gekauft, und ich bin seither sehr beeindruckt von den Funktionen und F?higkeiten. Aktuell optimiere ich die Daten für meine spezielle AR-App im letzten Schritt mit dem Programm Blender. Damit werden Farben, Schattierungseffekte Polygonzahl für die AR-Darstellung optimiert, um in unserer Microsoft HoloLens namens ?Radha“ (?Radiologie mit holografischer Augmentierung‘) angezeigt werden zu k?nnen.“

AR-Modelle erg?nzen den 3D-Druck, indem sie eine Zusammenarbeit mit Kollegen aus der Entfernung erm?glichen, ohne dass physische Modelle vorhanden sein müssen.

Inwiefern hat die Software von Materialise Ihre Arbeit verbessert?

?Aktuell arbeiten wir mit meinen Kollegen am orthop?dischen Traumainstitut ZSFGH an einer Auswertung von 3D-AR-Modellen zur Verbesserung der pr?operativen Klassifizierung komplexer Hüftgelenkpfannenbrüche. Wir gehen davon aus, dass diese Modelle einen geringeren Grad an Variabilit?t bei der Klassifizierung von Brüchen zwischen verschiedenen Beobachtern verursachen. Das wiederum führt in solchen F?llen zu einem besser angepassten klinischen Management. Wir m?chten untersuchen, wie sich 3D-AR-Modelle, die mit dem Wandst?rkenanalyse-Tool von Mimics erzeugt wurden, nutzen lassen k?nnen, um die optimale Platzierung von Befestigungselementen auf Grundlage der Knochendicke zu ermitteln.“?

?

K?nnen Sie uns von einem bestimmten Fall oder Patienten berichten, auf den sich der Einsatz von AR besonders ausgewirkt hat?

?Wir hatten einen besonderen Patienten mit einer sehr komplexen angeborenen Herzerkrankung und abdominalen Fehlbildung, bei dem umfangreiche rekonstruktive Ma?nahmen an Brust- und Bauchdecke erforderlich waren. Dieser Fall wurde gemeinsam von Chirurgen der p?diatrischen Chirurgie, der p?diatrischen Herz-Thorax-Chirurgie und der plastischen Chirurgie geplant. Ich habe den Fall segmentiert und ein vollst?ndiges, ma?stabsgetreues holografisches Modell einschlie?lich Hautoberfl?che, Knochen, Herz, Lungen, Luftwege, Organe und Darm erstellt. Diese modellhafte Abbildung w?re mit allen anderen Verfahren extrem kostspielig und herausfordernd gewesen. Ich habe dann das Modell mit meinen chirurgischen Kollegen in unserer chirurgischen Planungskonferenz vor dem Eingriff genau studiert, und der Eingriff war erfolgreich!“?

?

Wenn Sie in die Zukunft schauen: Was ist erforderlich, um ein weiteres Wachstum dieser Technologie in der Medizin zu unterstützen?

?Ich bin überzeugt, dass der kontinuierliche Wirknachweis der Augmented Reality auf klinische Ergebnisse wie An?sthesiedauer, Gesamtzeit im OP und Zeit unter Fluoroskopie entscheidend für eine umfassende Akzeptanz sein wird. Auch in der AR-Hardware und -Software sind kontinuierliche Innovationen erforderlich, um gr??ere, komplexere Modelle zu erm?glichen, die keine rein statischen Darstellungen, sondern animierte Modelle sind, die auch physiologische Bewegungen wie Atmung und Herzschlag usw. abbilden. Dadurch erst werden eine wirklich realistische Simulation und Konzepterstellung für die Planung vor dem chirurgischen Eingriff m?glich.“?

Kontaktieren Sie uns, wenn Sie mehr darüber erfahren m?chten, was die Mimics Innovation Suite für Sie tun kann.

Kontakt

Kategorien Industrien