2021

2020-2021

2021

Registrierung von Tiefenkameras

Dieses Registrierungsverfahren ermöglicht die extrinsische Kalibrierung mehrerer Tiefensensoren, ohne dass Infrarot- oder Farbbilder notwendig sind. Zur Erkennung von Korrespondenzpunkten wird ein leicht nachzubauendes Gitter verwendet. Es wurde von mir am CGVR ursprünglich für Aufnahmen von echten chirurgischen Operationen entwickelt, die mit mehreren Tiefensensoren angefertigt wurden.

Technisches Video (zum Poster):
Auf Youtube.com ansehen

Veröffentlichungen:
  • Journal: Andre Mühlenbrock, Roland Fischer, Christoph Schröder-Dering, René Weller and Gabriel Zachmann: Fast, Accurate and Robust Registration of Multiple Depth Sensors without need for RGB and IR Images. The Visual Computer, Springer May 17, 2022. Selected paper from the 2021 International Conference on Cyberworlds (CW), Caen, France, September 28 - 30, 2021. Paper
  • Konferenz: Andre Mühlenbrock, Roland Fischer, René Weller and Gabriel Zachmann: Fast and Robust Registration of Multiple Depth-Sensors and Virtual Worlds. International Conference on Cyberworlds (CW) , Caen, France, September 28 - 30, 2021. Paper
  • Poster: Andre Mühlenbrock, Roland Fischer, René Weller and Gabriel Zachmann: Fast and Robust Registration and Calibration of Depth-Only Sensors. Eurographics 2021 (EG 2021) Posters , Vienna, Austria, May 03 - 07, 2021. Paper (Best Poster Award)
Weiterführende Links:

Depth Camera Registration Procedure

This registration method allows extrinsic calibration of multiple depth sensors without the need for infrared or color images. An easily replicated lattice is used to detect correspondence points. It was originally developed by me at CGVR for recordings of real surgeries made with multiple depth sensors.

Technical Video (Poster):
Watch on Youtube.com

Publications:
  • Journal: Andre Mühlenbrock, Roland Fischer, Christoph Schröder-Dering, René Weller and Gabriel Zachmann: Fast, Accurate and Robust Registration of Multiple Depth Sensors without need for RGB and IR Images. The Visual Computer, Springer May 17, 2022. Selected paper from the 2021 International Conference on Cyberworlds (CW), Caen, France, September 28 - 30, 2021. Paper
  • Conference: Andre Mühlenbrock, Roland Fischer, René Weller and Gabriel Zachmann: Fast and Robust Registration of Multiple Depth-Sensors and Virtual Worlds. International Conference on Cyberworlds (CW) , Caen, France, September 28 - 30, 2021. Paper
  • Poster: Andre Mühlenbrock, Roland Fischer, René Weller and Gabriel Zachmann: Fast and Robust Registration and Calibration of Depth-Only Sensors. Eurographics 2021 (EG 2021) Posters , Vienna, Austria, May 03 - 07, 2021. Paper (Best Poster Award)
Related links:

VR-Simulator für OP-Beleuchtung

Der VR-Simulator ermöglicht es, das in SmartOT entwickelte Beleuchtungssystem für Operationssäle in virtueller Realität zu erleben, auszutesten und zu evaluieren. Er ist maßgeblich durch Thomas Höring und mir am CGVR der Universität Bremen in der Unreal Engine 4 entwickelt und implementiert worden; darüber hinaus hat der Projektpartner KIZMO aus Oldenburg 3D-Modelle des OP-Saals erstellt. Ein weiterer OP-Saal wurde von einem Studierenden modelliert.

Light configuration

Figure 1: Image of the VR Simulator.

Figure 2: Lighting system reacts to movements in the VR simulator.

Figure 3: Lighting Simulation with 100 light modules.


Weiterführende Links:

VR Simulator for Surgical Lighting

The VR simulator allows to experience, test and evaluate the lighting system for operating rooms developed in SmartOT in virtual reality. It has been developed and implemented by Thomas Höring and me at CGVR of the University of Bremen in Unreal Engine; In addition, the project partner KIZMO from Oldenburg created 3D models of the operating room. Another operating room was modeled by a student.

Light configuration

Figure 1: Image of the VR Simulator.

Figure 2: Lighting system reacts to movements in the VR simulator.

Figure 3: Lighting Simulation with 100 light modules.


Related Links:

Autonome Lichtsteuerungssoftware

Die autonome Lichtsteuerungssoftware dient der automatischen Steuerung eines neu entwickelten Beleuchtungssystems für OP-Säle. Mithilfe von mehreren Tiefensensoren generiert sie eine Point Cloud der Operateure und berechnet, welche Leuchtmodule am Besten für die Beleuchtung der Operationswunde geeignet ist. Sie erhält Steuerbefehle von der Gesten- und Sprachsteuerung über das Netzwerk, erlaubt die manuelle Steuerung per GUI und schickt schließlich Steuerbefehle über einen CAN-Bus an einzelne Leuchtmodule des Beleuchtungssystems. Sie wurde von mir am CGVR der Universität Bremen entwickelt und implementiert und ist der Hauptbeitrag des CGVR zum SmartOT-Projekt.

Imagefilm zum SmartOT-Projekt:
Auf Youtube.com ansehen

Weiterführende Links:

Autonomous Lighting Control Software

The autonomous lighting control software is used to automatically control a newly developed lighting system for operating rooms. Using multiple depth sensors, it generates a point cloud of the operators and calculates which light modules are best suited to illuminate the surgical wound. It receives control commands from the gesture and speech control via network, has a GUI for manual control and finally sends control commands via CAN bus to individual light modules of the lighting system. It was developed and implemented by me at the CGVR of the University of Bremen and is the main contribution of the CGVR to the SmartOT project.

Imagefilm (SmartOT project):
Watch on Youtube.com

Related Links:

2020

2020

2018 - 2020

Lichtplanungssoftware für OP-Säle

Die Lichtplanungssoftware ist eine von mir am CGVR der Universität Bremen entwickelte Software zur Analyse und Planung des in SmartOT entwickelten Beleuchtungssystems. Sie wurde entwickelt, um zu analysieren, wie Leuchtmodule eines Beleuchtungssystems von OP-Säle am Besten positioniert werden können und welche Anzahl an Leuchtmodule notwendig ist, um eine ausreichende Beleuchtung während eines gesamten OP-Verlaufes zu gewährleisten. Sie ist in der Lage, Point Cloud Aufnahmen echter Operationen zu laden und automatische Optimierungen der Leuchtmodulpositionen vorzunehmen.

Figure 1: Manually testing various light module configurations.

Figure 2: Shadow of a recorded point cloud cast on a virtual site by different light modules.

Figure 3: Algorithm-based optimization of light module configurations on point clouds.


Veröffentlichungen
  • Konferenz: Andre Mühlenbrock, Timur Cetin, Dirk Weyhe and Gabriel Zachmann: Optimizing the arrangement of fixed light modules in new autonomous surgical lighting systems. Spie Medical Imaging. Image-Guided Procedures, Robotic Interventions, and Modeling. San Diego, California, United States. February 20-24, 2022.
    Paper  |   Video (3:30)

Lighting Simulation Software (for OR Rooms)

The lighting planning software is a software developed by me at the CGVR of the University of Bremen to analyze and plan the lighting system developed in SmartOT. It was developed to analyze how best to position light modules of an operating room lighting system and what number of light modules is necessary to ensure sufficient lighting throughout an entire operating room run. It is able to load point cloud recordings of real operations and make automatic optimizations of lighting module positions.

Figure 1: Manually testing various light module configurations.

Figure 2: Shadow of a recorded point cloud cast on a virtual site by different light modules.

Figure 3: Algorithm-based optimization of light module configurations on point clouds.


Publications:
  • Conference: Andre Mühlenbrock, Timur Cetin, Dirk Weyhe and Gabriel Zachmann: Optimizing the arrangement of fixed light modules in new autonomous surgical lighting systems. Spie Medical Imaging. Image-Guided Procedures, Robotic Interventions, and Modeling. San Diego, California, United States. February 20-24, 2022.
    Paper  |   Video (3:30)

Head Gesture Recognizer (VR)

Der Head Gesture Recognizer ist ein privat entwickeltes Unreal Engine 4 Plugin, welches Gesten wie Nicken und Kopfschütteln über ein HMD bzw. einer VR-Brille erkennt. Durch Nicken oder Kopfschütteln kann so z.B. in VR-Spielen mit Charakteren in Dialogen interagiert werden. Es handelt sich um ein sehr kleines Wochenendprojekt, dessen zeitlicher Aufwand von der Planung über die Implementierung bis hin zur Veröffentlichung im Unreal Engine Marketplace lediglich 20-30 Stunden in Anspruch nahm.

Demo & Tutorial:
Auf Youtube.com ansehen

Weiterführende Links:

Head Gesture Recognizer (VR)

The Head Gesture Recognizer is a privately developed Unreal Engine 4 plugin that recognizes gestures like nodding and shaking the head using an HMD. Nodding or shaking the head can be used to interact with characters in dialogs in VR games, for example. This is a very small weekend project that took only 20-30 hours to plan, implement, and publish to the Unreal Engine Marketplace.

Demo & Tutorial:
Watch on Youtube.com

Related Links:

Coding Platform

Die Coding Platform ist eine Programmierplattform für die Lehre, die ich 2018 im Rahmen einer 10 CP Independent Study an der Universität Bremen entwickelt habe und Java-Programmcode im Webbrowser ausführt. Die Plattform wird auch jetzt noch (Stand 2021) an der Universität Bremen im Rahmen von Lehrveranstaltungen verwendet (siehe Coding Platform Uni Bremen). Zudem habe ich eine eigene Instanz mit eigenen Übungsaufgaben zum Java-Lernen auf www.codingplatform.de aufgesetzt.

Einführungsvideo (Codingplatform.de)

Weiterführende Links:

Coding Platform

The Coding Platform is a programming platform for teaching that I developed in 2018 as part of a 10 CP Independent Study at the University of Bremen and executes Java program code in the web browser. The platform is still being used now (as of 2021) at the University of Bremen as part of courses (see Coding Platform Uni Bremen). In addition, I have created my own instance with my own exercises for Java learning at www.codingplatform.de.

Introduction video (Codingplatform.de, german):

Related Links:



© 2020, Andre Muehlenbrock.