medizinische Augmented Reality mit interaktiven Tiefenschichten

  • Projekttitel: Verbesserung der räumlichen Wahrnehmung für medizinische Augmented Reality mit interaktiven Tiefenschichten
  • Förderzeitraum: 01.01.2016 bis 01.12.2022
  • Verortung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
    Softwaretechnik und Programmiersprachen 
  • Ansprechperson: Professor Dr. Christian Hansen, Professor Dr.-Ing. Kai Lawonn

 

Die fehlerhafte Interpretation der räumlichen Tiefe ist eines der häufigsten Wahrnehmungsprobleme in der medizinischen Augmented Reality (AR). Um die räumliche Wahrnehmung für medizinische AR-Anwendungen zu verbessern, erarbeitet ein von der Deutschen Forschungsgemeinschaft (DFG) gefördertes Projekt in Zusammenarbeit mit dem Forschungscampus STIMULATE neue Methoden.

Bisherige Ansätze sind oft unzureichend, um medizinische 3D-Daten mittels projektorbasiertem AR oder Optical See-Through AR angemessen darzustellen. Ein zentrales Problem besteht darin, dass die Darstellung häufig mit zu vielen Informationen überladen ist, was die Nutzer verwirren kann. Unser Projekt zielt daher auf die Entwicklung innovativer Visualisierungs- und Interaktionstechniken ab, um die Darstellung medizinischer Daten in AR zu optimieren.

Ein Kernziel des Projekts ist es, zu untersuchen, ob die Aufteilung des Modells in verschiedene Tiefenebenen die räumlichen Zusammenhänge medizinischer 3D-Daten verständlicher machen kann. Zudem soll geprüft werden, ob neuartige Transparenzverfahren die Tiefenwahrnehmung bei Multilayer-Visualisierungen erleichtern können. Darüber hinaus wird untersucht, ob Methoden zur multimodalen und kollaborativen Interaktion beitragen können, die Menge der aktuell angezeigten AR-Informationen zu reduzieren.

Die Ergebnisse dieses Projekts sollen neue Erkenntnisse für die Darstellung von Multilayer-Informationen in der medizinischen AR liefern. Diese Erkenntnisse könnten genutzt werden, um etablierte AR-Visualisierungstechniken zu verbessern, ihre Benutzerfreundlichkeit zu erhöhen und somit Risiken bei AR-gestützten medizinischen Eingriffen zu reduzieren.

Errors in the interpretation of spatial depth are among the most common perception issues in medical augmented reality (AR). To improve spatial perception in medical AR applications, a project funded by the German Research Foundation (DFG) in collaboration with the Research Campus STIMULATE is developing new methods.

Current approaches often fall short in adequately representing medical 3D data using projector-based AR or optical see-through AR. A central problem is that the display is often overloaded with too much information, which can confuse users. Our project aims to develop innovative visualization and interaction techniques to optimize the representation of medical data in AR.

A key objective of the project is to determine whether dividing the model into different depth layers can help clarify the spatial relationships in medical 3D data. Additionally, we will investigate whether novel transparency techniques can facilitate depth perception in multilayer visualizations. Furthermore, the project will explore whether methods for multimodal and collaborative interaction can help reduce the amount of AR information currently displayed.

The results of this project aim to provide new insights into the representation of multilayer information in medical AR. These insights could be used to enhance established AR visualization techniques, improve their usability, and thereby reduce risks associated with AR-assisted medical procedures.