Erforschung der realen Vorteile der Virtual Reality mit EOS-Kameras

Canon EOS-Kameras werden häufig in Multikamera- und 3D-Scanlösungen für die Fotogrammetrie eingesetzt. Doch die TU Dortmund beschleunigt mit ihrem EOS-basierten Scanner den Prozess der Erstellung lebensechter 3D-Modelle – und dringt mit Avataren in ein Gebiet vor, das über das Metaversum hinausgeht.

Professor Mario Botsch von der TU Dortmund verrät, wie EOS-DSLRs die Informatiker von morgen unterstützt

„Meine Gruppe arbeitet seit 5–7 Jahren an virtuellen Avataren“, erklärt Mario Botsch, Professor im Fachbereich Informatik. „Wir können jetzt eine Person einscannen und ihren digitalen Zwilling, der mehr oder weniger fotorealistisch ist, innerhalb kürzester Zeit erzeugen. Und dann können wir die Menschen in eine virtuelle Realität versetzen, wo sie sich in einem virtuellen Spiegel betrachten können.“

Die Studiengruppe hat an zwei Anwendungen für die virtuellen Avatare gearbeitet – eine davon konzentriert sich auf das Sporttraining in der virtuellen Realität, die andere auf eine Therapie für übergewichtige Menschen unter Verwendung von VR. „In beiden Fällen stehen die Personen vor dem virtuellen Spiegel, während ihre Bewegungen aufgezeichnet werden“, sagt Mario. „Wenn sie sich also bewegen, bewegt sich ihr Avatar im Spiegel auf die gleiche Weise – genau wie in einem echten Spiegel. „Beim Sporttraining absolvieren die Teilnehmer verschiedene Übungen und erhalten anschließend ein Feedback im virtuellen Spiegel, in dem die Körperbereiche hervorgehoben werden, an denen noch Verbesserungen möglich sind.

„In der Adipositas-Studie, die in Zusammenarbeit mit der Universität Würzburg durchgeführt wird, haben wir den virtuellen Spiegel benutzt, um das Körpergewicht des Avatars einer Person zu erhöhen, damit sie sehen kann, wie viel sie abgenommen hat. „Um die virtuellen Avatare zu erstellen, brauchen wir einen Scanner“, fügt Mario hinzu, „und für den Scanner brauchen wir Kameras.“

Das Setup

Der Scanner selbst ist mehr oder weniger ein Standard-Fotogrammetrie-Setup zum Scannen von Menschen, erklärt Mario. „Wir verwenden 56 Kameras, die um das Motiv herum positioniert sind. Die Kameras werden gleichzeitig über eine Kabelverbindung ausgelöst, um ein Foto aufzunehmen, und wir verwenden dann die Fotogrammetrie, um eine dreidimensionale Punktwolke zu erstellen.“

Der gesamte Vorgang ist bemerkenswert schnell: In weniger als zehn Minuten ist ein vollständig animierbarer virtueller Avatar entstanden, der in die virtuelle Realität übertragen werden kann.

„Der Download von den Kameras auf den Computer über USB dauert etwa 40–50 Sekunden“, sagt Stephan Wenninger, ein Doktorand in Marios Arbeitsgruppe, der eng in den Bau des Scanners eingebunden war. Wir laden die RAW-Daten herunter, damit wir einen universellen Weißabgleich durchführen können, und konvertieren sie dann in JPEG, bevor wir die Bilder mit einer Standard-Fotogrammetriesoftware bearbeiten. So erhalten wir eine 3D-Punktwolke der Körperoberfläche, die 3D-Kameraposition und die Ausrichtung der Kameras.“

Genau an diesem Punkt zeigt sich das Know-how des Teams, so Mario. „Die Umwandlung eines Scans in einen statischen Avatar ist einfach, aber die Umwandlung in etwas, das man animieren kann, ist viel schwieriger.

„Wir wollen aus der Punktwolke einen virtuellen Avatar erzeugen. Die meisten Leute verbinden in dieser Phase alle Punkte zu einem Dreiecksnetz. Aber dann muss sich dieses Netz, genau wie der Avatar, bewegen. Man braucht also ein Skelett, und man muss wissen, wie sich die Haut bewegen soll, wenn sich die Knochen bewegen. Sie benötigen Steuerungen für die Gesichtsanimation, die normalerweise später hinzugefügt wird. Letztendlich dauert es also bis zu einer Woche, um einen Avatar zu erstellen.

„Stattdessen haben wir ein statistisches Modell des menschlichen Körpers entwickelt, für das wir fast 2.000 Scans herangezogen haben – und es verfügt über alle Steuerungen, die wir brauchen.

„Wir können also die Körperform und die Skelettwinkel ändern, und zwar so weit, dass das Modell der Punktwolke sehr nahe kommt. Und dann übertragen wir die Fotos auf die Textur des Modells. Dieses Verfahren ist sehr schnell.“

Die Lösung

Gründe für eine Investition in die Canon EOS 250D

Diese kompakte DLSR ist in der Lage, hochwertige RAW- und JPEG-Bilder mit 24,1 MP zu erzeugen. Mit einem Gewicht von weniger als 450 g lässt sich die Kamera problemlos in einem Ganzkörperscanner, wie dem der TU Dortmund, unterbringen. Weitere Vorteile für solche Geräte sind die geringen Kosten, der bewegliche Bildschirm und die Kompatibilität mit Canon SDK.

Mario und sein Team entschieden sich für die EOS 250D und 35-mm-Objektive für den Scanner an der TU Dortmund. Die Arbeit mit stabiler, regulierter Beleuchtung machte eine professionelle Kamera mit außergewöhnlicher Low-Light-Leistung überflüssig. Auch die Anzahl der benötigten Geräte sprach für ein kostengünstiges Modell wie die EOS 250D. Die Entscheidung des Teams, das Canon EOS-System zu verwenden, geht auf Marios Zeit als Post-Doktorand an der Eidgenössischen Technischen Hochschule Zürich (ETH) zurück.

„Die Disney Research Studios sind ein Forschungslabor des Disney-Konzerns in Zürich, das eng mit der ETH verbunden ist. Sie bauten einen speziellen Gesichtsscanner, für den sie Canon-Kameras verwendeten. Ich habe darauf vertraut, dass sie eine vernünftige Wahl getroffen haben, also haben wir die gleichen gekauft!“

Der Aufbau des Scanners hat länger gedauert als erwartet, gibt Mario zu. Bevor er 2020 an die TU Dortmund kam, hatte er einen ähnlichen Scanner an der Universität Bielefeld gebaut. Mario leitete hier die Computergrafikgruppe, in der Stephan ebenfalls Student war.

„Dieser Scanner war unübersichtlicher und weniger professionell – es war ganz offensichtlich, dass es sich um einen Forschungsprototyp handelte“, sagt Mario. „Wir wussten also schon mehr oder weniger, was wir für den Scanner an der TU haben wollten. Aber wir haben immer noch ein Jahr gebraucht, um ihn zu bauen.“

Stephan weist darauf hin, dass es einige Bereiche des Scanners gibt, die von mehr Kameras profitieren würden. „Wir könnten uns dann zum Beispiel intensiv mit dem Gesicht beschäftigen. Als wir in Bielefeld waren, hatten wir einen speziellen Gesichtsscanner, der aus acht Kameras bestand. Diese Konfiguration lieferte wirklich detaillierte Ergebnisse. Aber im Moment sind alle unsere Kameras im Prinzip gleich weit von der Person entfernt.“

Weiterentwicklung der Fotogrammetrie

Obwohl die Projekte zur Erforschung von Sport und Fettleibigkeit abgeschlossen sind, weist Mario darauf hin, dass vor allem das Projekt zur Erforschung von Fettleibigkeit noch viel Potenzial hat und er wird eine Finanzierung für die Fortsetzung der Arbeit beantragen. „Es gibt keine wirklich wirksame Behandlung für Fettleibigkeit“, sagt er. „Das Einzige, was wirklich hilft, ist eine Operation, um den Magen zu verkleinern. Wenn wir durch das Scannen von Menschen und die virtuelle Realität dazu beitragen können, diesen Bereich zu verbessern, dann wäre das ein lohnender Beitrag.“

In der Zwischenzeit wurde die Scantechnologie an der Universität für ein breiteres Publikum zugänglich gemacht. Es ist Teil des Hybrid Learning Centre, das sich in der Hauptbibliothek befindet. „Jeder Student der TU kann sich scannen lassen“, sagt Mario. „Der Scan kann dann auf verschiedene Weise verwendet werden, z. B. als 3D-Druck einer kleinen Figur von sich selbst oder als Avatar in einem Videospiel. Wir wollen auch Lernumgebungen in VR evaluieren, was ursprünglich durch die Erfahrungen während der Pandemie angestoßen wurde. Wir wollen herausfinden, ob die Möglichkeit, in der virtuellen Realität zu unterrichten, mehr Erfolg und Spaß bringt als das Fernstudium per Videokonferenz.“ Der Fachbereich Informatik prüft auch weitere Integrationen der Canon EOS-Technologie. Mit der Unterstützung von Canon Deutschland haben Mario und seine Gruppe eine EOS R5 C und ein RF 5,2mm F2,8L DUAL FISHEYE-Objektiv erworben, die sie für ein gemeinsames Projekt mit Digital-Historikern nutzen.

„Wir analysieren, wie historische Ereignisse erfasst und den Menschen vermittelt werden können“, erklärt Mario. „Das Projekt erforscht, wie VR Geschichte zum Leben erwecken kann. Der Gedanke dahinter ist, dass, wenn man von Buchstaben zu Bildern und von Bildern zu Videos wechselt, der nächste Schritt dann von einem Video zu einem VR-Erlebnis ist. Ein guter Kompromiss zwischen beiden ist das stereoskopische Video, das man in der VR erleben kann, das aber trotzdem sehr einfach zu erfassen ist.“

Mario erklärt, dass sie sich noch in der Experimentierphase befinden, aber er begrüßt die Möglichkeit, technische Fragen zum VR-System von Canon mit Canon Deutschland zu besprechen. „Anfangs wussten wir nicht, dass es eine solche Möglichkeit gibt“, sagt er, „und dann nahmen wir Kontakt mit Marcel Hess von Canon auf. Jetzt, da wir wissen, dass es diese Möglichkeit gibt, schätzen wir diese einfache Art des Gedankenaustauschs mit Canon und dessen Hilfsbereitschaft sehr.“