Dieses Registrierungsverfahren ermöglicht die extrinsische Kalibrierung mehrerer Tiefensensoren, ohne dass Infrarot- oder Farbbilder notwendig sind. Zur Erkennung von Korrespondenzpunkten wird ein leicht nachzubauendes Gitter verwendet. Es wurde von mir am CGVR ursprünglich für Aufnahmen von echten chirurgischen Operationen entwickelt, die mit mehreren Tiefensensoren angefertigt wurden.
Journal: Andre Mühlenbrock, Roland Fischer, Christoph Schröder-Dering, René Weller and Gabriel Zachmann: Fast, Accurate and Robust Registration of Multiple Depth Sensors without need for RGB and IR Images. The Visual Computer, Springer May 17, 2022. Selected paper from the 2021 International Conference on Cyberworlds (CW), Caen, France, September 28 - 30, 2021. Paper
Konferenz: Andre Mühlenbrock, Roland Fischer, René Weller and Gabriel Zachmann: Fast and Robust Registration of Multiple Depth-Sensors and Virtual Worlds. International Conference on Cyberworlds (CW) , Caen, France, September 28 - 30, 2021. Paper
Poster: Andre Mühlenbrock, Roland Fischer, René Weller and Gabriel Zachmann: Fast and Robust Registration and Calibration of Depth-Only Sensors. Eurographics 2021 (EG 2021) Posters , Vienna, Austria, May 03 - 07, 2021. Paper(Best Poster Award)
This registration method allows extrinsic calibration of multiple depth sensors without the need for infrared or color images. An easily replicated lattice is used to detect correspondence points. It was originally developed by me at CGVR for recordings of real surgeries made with multiple depth sensors.
Journal: Andre Mühlenbrock, Roland Fischer, Christoph Schröder-Dering, René Weller and Gabriel Zachmann: Fast, Accurate and Robust Registration of Multiple Depth Sensors without need for RGB and IR Images. The Visual Computer, Springer May 17, 2022. Selected paper from the 2021 International Conference on Cyberworlds (CW), Caen, France, September 28 - 30, 2021. Paper
Conference: Andre Mühlenbrock, Roland Fischer, René Weller and Gabriel Zachmann: Fast and Robust Registration of Multiple Depth-Sensors and Virtual Worlds. International Conference on Cyberworlds (CW) , Caen, France, September 28 - 30, 2021. Paper
Poster: Andre Mühlenbrock, Roland Fischer, René Weller and Gabriel Zachmann: Fast and Robust Registration and Calibration of Depth-Only Sensors. Eurographics 2021 (EG 2021) Posters , Vienna, Austria, May 03 - 07, 2021. Paper(Best Poster Award)
Der VR-Simulator ermöglicht es, das in SmartOT entwickelte Beleuchtungssystem für Operationssäle in virtueller Realität zu erleben, auszutesten und zu evaluieren. Er ist maßgeblich durch Thomas Höring und mir am CGVR der Universität Bremen in der Unreal Engine 4 entwickelt und implementiert worden; darüber hinaus hat der Projektpartner KIZMO aus Oldenburg 3D-Modelle des OP-Saals erstellt. Ein weiterer OP-Saal wurde von einem Studierenden modelliert.
Der VR-Simulator wurde von der Universität Oldenburg dazu genutzt, Aufmerksamkeitsstudien mit dem neuen Beleuchtungssystem durchzuführen, die anschließend veröffentlicht wurden (siehe unten).
Figure 1: Image of the VR Simulator.
Figure 2: Lighting system reacts to movements in the VR simulator.
Figure 3: Lighting Simulation with 100 light modules.
Veröffentlichungen:
Journal: Timur Cetin, Andre Mühlenbrock, Gabriel Zachmann, Verena Weber, Dirk Weyhe, Verena Uslar: A virtual reality simulation of a novel way to illuminate the surgical field - A feasibility study on the use of automated lighting systems in the operating theatre. Frontiers in Surgery. Mar 02, 2023. Paper
The VR simulator allows to experience, test and evaluate the lighting system for operating rooms developed in SmartOT in virtual reality. It has been developed and implemented by Thomas Höring and me at CGVR of the University of Bremen in Unreal Engine; In addition, the project partner KIZMO from Oldenburg created 3D models of the operating room. Another operating room was modeled by a student.
The VR simulator was used by the University of Oldenburg to conduct attention studies with the new lighting system, which were subsequently published (see below).
Figure 1: Image of the VR Simulator.
Figure 2: Lighting system reacts to movements in the VR simulator.
Figure 3: Lighting Simulation with 100 light modules.
Publications:
Journal: Timur Cetin, Andre Mühlenbrock, Gabriel Zachmann, Verena Weber, Dirk Weyhe, Verena Uslar: A virtual reality simulation of a novel way to illuminate the surgical field - A feasibility study on the use of automated lighting systems in the operating theatre. Frontiers in Surgery. Mar 02, 2023. Paper
Die autonome Lichtsteuerungssoftware dient der automatischen Steuerung eines neu entwickelten Beleuchtungssystems für OP-Säle. Mithilfe von mehreren Tiefensensoren generiert sie eine Point Cloud der Operateure und berechnet, welche Leuchtmodule am Besten für die Beleuchtung der Operationswunde geeignet sind. Sie erhält Steuerbefehle von der Gesten- und Sprachsteuerung über das Netzwerk, erlaubt die manuelle Steuerung per GUI und schickt schließlich Steuerbefehle über einen CAN-Bus an einzelne Leuchtmodule des Beleuchtungssystems. Sie wurde von mir am CGVR der Universität Bremen entwickelt und implementiert und ist der Hauptbeitrag des CGVR zum SmartOT-Projekt.
Konferenz: Andre Mühlenbrock, René Weller, Gabriel Zachmann. Optimizing the Illumination of a Surgical Site in New Autonomous Module-based Surgical Lighting Systems. In: Medical Imaging and Computer-Aided Diagnosis (MICAD 2022), edited by Ruidan Su, Yudong Zhang, Han Liu, and Alejandro F Frangi, 293–303. Singapore: Springer Nature Singapore, 2023. Paper
Patent: Gabriel Zachmann, Andre Mühlenbrock, Peter Kohrs, Adria Fox. Beleuchtungsvorrichtung zum Beleuchten einer Operationswunde (Anmelder: Dr. Mach GmbH & Co. KG, 85567 Grafing, DE). Patent
The autonomous lighting control software is used to automatically control a newly developed lighting system for operating rooms. Using multiple depth sensors, it generates a point cloud of the operators and calculates which light modules are best suited to illuminate the surgical wound. It receives control commands from the gesture and speech control via network, has a GUI for manual control and finally sends control commands via CAN bus to individual light modules of the lighting system. It was developed and implemented by me at the CGVR of the University of Bremen and is the main contribution of the CGVR to the SmartOT project.
Konferenz: Andre Mühlenbrock, René Weller, Gabriel Zachmann. Optimizing the Illumination of a Surgical Site in New Autonomous Module-based Surgical Lighting Systems. In: Medical Imaging and Computer-Aided Diagnosis (MICAD 2022), edited by Ruidan Su, Yudong Zhang, Han Liu, and Alejandro F Frangi, 293–303. Singapore: Springer Nature Singapore, 2023. Paper
Patent:Gabriel Zachmann, Andre Mühlenbrock, Peter Kohrs, Adria Fox. Illuminating device for illuminating a surgical wound. (Anmelder: Dr. Mach GmbH & Co. KG, 85567 Grafing, DE). Patent
Die Lichtplanungssoftware ist eine von mir am CGVR der Universität Bremen entwickelte Software zur Analyse und Planung des in SmartOT entwickelten Beleuchtungssystems. Sie wurde entwickelt, um zu analysieren, wie Leuchtmodule eines Beleuchtungssystems von OP-Säle am Besten positioniert werden können und welche Anzahl an Leuchtmodule notwendig ist, um eine ausreichende Beleuchtung während eines gesamten OP-Verlaufes zu gewährleisten. Sie ist in der Lage, Point Cloud Aufnahmen echter Operationen zu laden und automatische Optimierungen der Leuchtmodulpositionen vorzunehmen.
Figure 1: Manually testing various light module configurations.
Figure 2: Shadow of a recorded point cloud cast on a virtual site by different light modules.
Figure 3: Algorithm-based optimization of light module configurations on point clouds.
Veröffentlichungen
Konferenz: Andre Mühlenbrock, Timur Cetin, Dirk Weyhe and Gabriel Zachmann: Optimizing the arrangement of fixed light modules in new autonomous surgical lighting systems. Spie Medical Imaging. Image-Guided Procedures, Robotic Interventions, and Modeling. San Diego, California, United States. February 20-24, 2022. Paper | Video (3:30)
Lighting Simulation Software (for OR Rooms)
The lighting planning software is a software developed by me at the CGVR of the University of Bremen to analyze and plan the lighting system developed in SmartOT. It was developed to analyze how best to position light modules of an operating room lighting system and what number of light modules is necessary to ensure sufficient lighting throughout an entire operating room run. It is able to load point cloud recordings of real operations and make automatic optimizations of lighting module positions.
Figure 1: Manually testing various light module configurations.
Figure 2: Shadow of a recorded point cloud cast on a virtual site by different light modules.
Figure 3: Algorithm-based optimization of light module configurations on point clouds.
Publications:
Conference: Andre Mühlenbrock, Timur Cetin, Dirk Weyhe and Gabriel Zachmann: Optimizing the arrangement of fixed light modules in new autonomous surgical lighting systems. Spie Medical Imaging. Image-Guided Procedures, Robotic Interventions, and Modeling. San Diego, California, United States. February 20-24, 2022. Paper | Video (3:30)
Head Gesture Recognizer (VR)
Der Head Gesture Recognizer ist ein privat entwickeltes Unreal Engine 4 Plugin, welches Gesten wie Nicken und Kopfschütteln über ein HMD bzw. einer VR-Brille erkennt. Durch Nicken oder Kopfschütteln kann so z.B. in VR-Spielen mit Charakteren in Dialogen interagiert werden. Es handelt sich um ein sehr kleines Wochenendprojekt, dessen zeitlicher Aufwand von der Planung über die Implementierung bis hin zur Veröffentlichung im Unreal Engine Marketplace lediglich 20-30 Stunden in Anspruch nahm.
The Head Gesture Recognizer is a privately developed Unreal Engine 4 plugin that recognizes gestures like nodding and shaking the head using an HMD. Nodding or shaking the head can be used to interact with characters in dialogs in VR games, for example. This is a very small weekend project that took only 20-30 hours to plan, implement, and publish to the Unreal Engine Marketplace.
Die Coding Platform ist eine Programmierplattform für die Lehre, die ich 2018 im Rahmen einer 10 CP Independent Study an der Universität Bremen entwickelt habe und Java-Programmcode im Webbrowser ausführt. Die Plattform wird auch jetzt noch (Stand 2021) an der Universität Bremen im Rahmen von Lehrveranstaltungen verwendet (siehe Coding Platform Uni Bremen). Zudem habe ich eine eigene Instanz mit eigenen Übungsaufgaben zum Java-Lernen auf www.codingplatform.de aufgesetzt.
The Coding Platform is a programming platform for teaching that I developed in 2018 as part of a 10 CP Independent Study at the University of Bremen and executes Java program code in the web browser. The platform is still being used now (as of 2021) at the University of Bremen as part of courses (see Coding Platform Uni Bremen). In addition, I have created my own instance with my own exercises for Java learning at www.codingplatform.de.
Andre Mühlenbrock, René Weller, Gabriel Zachmann: Optimizing the Illumination of a Surgical Site in New Autonomous Module-based Surgical Lighting Systems. In: Medical Imaging and Computer-Aided Diagnosis (MICAD 2022), edited by Ruidan Su, Yudong Zhang, Han Liu, and Alejandro F Frangi, 293–303. Singapore: Springer Nature Singapore, 2023. Paper
Leon Danter, Joachim Clemens, Andreas Serov, Anne Schattel, Michael Schleiss, Cedric Liman, Mario Gäbel, Andre Mühlenbrock, Gabriel Zachmann: VAMEX3: Autonomously exploring mars with a heterogeneous robot swarm. ASTRA 2023, Leiden, Netherlands, October 18 - 20, 2023. Paper
Gabriel Zachmann, Andre Mühlenbrock, Peter Kohrs, Adria Fox: Illuminating device for illuminating a surgical wound. Deutsches Patent- und Markenamt, Deutschland, April 13, 2023 | Patent
Timur Cetin, Andre Mühlenbrock, Gabriel Zachmann, Verena Weber, Dirk Weyhe, Verena Uslar: A virtual reality simulation of a novel way to illuminate the surgical field - A feasibility study on the use of automated lighting systems in the operating theatre. Frontiers in Surgery. March 02, 2023 | Paper
2022
Roland Fischer, Andre Mühlenbrock, Farin Kulapichitr, Verena Nicole Uslar, Dirk Weyhe, Gabriel Zachmann: Evaluation of Point Cloud Streaming and Rendering for VR-based Telepresence in the OR. EuroXR 2022, Stuttgart, Germany, September 14 - 16, 2022 | Paper
Andre Mühlenbrock, Roland Fischer, Christoph Schröder-Dering, René Weller and Gabriel Zachmann: Fast, Accurate and Robust Registration of Multiple Depth Sensors without need for RGB and IR Images. The Visual Computer, Springer May 17, 2022 | Paper
Andre Mühlenbrock, Timur Cetin, Dirk Weyhe and Gabriel Zachmann: Optimizing the Arrangement of Fixed Light Modules in New Autonomous Surgical Lighting Systems. SPIE Medical Imaging, San Diego, CA, USA, February 20 - 24, 2022 | Paper
2021
Andre Mühlenbrock, Roland Fischer, René Weller, Gabriel Zachmann: Fast and Robust Registration of Multiple Depth-Sensors and Virtual Worlds. 2021 International Conference on Cyberworlds (CW) , Caen, France, September 28 - 30, 2021 | Paper
Timur Cetin, Verena Uslar, Hendrik Huscher, Michael Buschermöhle, Andre Mühlenbrock, Gabriel Zachmann, A Fox, Peter Kohrs, Tanja Döring, Nima Zargham, Rainer Malaka, Sune Montan, Dirk Weyhe: SmartOT – Smart Lighting in the Operating Theater. In: "Deutscher Chirurgen Kongress 2021".
Andre Mühlenbrock, Roland Fischer, René Weller, Gabriel Zachmann: Fast and Robust Registration and Calibration of Depth-Only Sensors. Eurographics 2021 (EG 2021) Posters , Vienna, Austria, May 03 - 07, 2021. Best Poster Award | Poster
2018
Andre Mühlenbrock, Tim Laue: Vision-Based Orientation Detection of Humanoid Soccer Robots. In RoboCup 2017: Robot World Cup XXI, Lecture Notes in Artificial Intelligence. Springer (2018) | Paper
