TU Graz/ TU Graz/ Services/ News+Stories/

Wenn Menschen und Drohnen verschmelzen

17.07.2018 | Planet research | FoE Information, Communication & Computing | Young Talents |

Von Birgit Baustädter

Die PhD-Studenten Okan Erat und Alexander Isop realisierten im droneSpace der TU Graz ein System, das Drohnen mit Körperbewegungen steuern und das Blickfeld von Mensch und Maschine verschmelzen lässt.

Alexander Isop (2. v. l.) und Okan Erat (2. v. r.) mit ihren Betreuern Denis Kalkofen (links) und Dieter Schmalstieg (rechts). © Baustädter – TU Graz

Es klingt ein bisschen nach einem futuristischen Cyborg, was die TU Graz-PhD-Anwärter Okan Erat und Alexander Isop gerade entwickeln: quasi den menschlichen Körper mit dem einer Drohne zu verbinden. In ihrer Forschungsarbeit „Drone-Augmented Human Vision: Exocentric Control for Drones Exploring Hidden Areas, die gerade im Journal „IEEE Transactions on Visualization and Computer Graphics“ veröffentlicht wurde, stellen sie das dazugehörige Konzept vor, mit dem sie vor allem Rettungseinsätze einfacher und für die menschlichen Rettenden ungefährlicher machen möchten. „Die Rettenden müssen oft ein sehr hohes Risiko eingehen, wenn sie zum Beispiel in einem eingestürzten Gebäude die Gefahrenzonen nicht kennen“, erklärt Okan Erat.

Die Publikation „Drone-Augmented Human Vision: Exocentric Control for Drones Exploring Hidden Areas“ ist kürzlich im Journal „IEEE Transactions on Visualization and Computer Graphic“ erschienen und kann online eingesehen werden.

Ungefährlicher Einsatz in Gefahrensituationen

Das neu entwickelte System sieht vor, zuallererst Drohnen in die Gefahrenzone zu schicken, die die Situation erkunden. „Das gibt es natürlich auch jetzt schon. Unser Konzept geht aber einen Schritt weiter: In engen und mit Hindernissen gespickten Räumen ist die Navigation einer Drohne mittels Joystick oder Ähnlichem sehr schwer und erfordert einige Übung. Zusätzlich ist es gar nicht möglich, eine Drohne zu steuern, die sich außer Sichtweite des oder der Steuernden befindet“, erklärt Okan Erat. Um das Sichtproblem zu lösen, wird nun mit dem von der Drohnenkamera aufgenommenen Bildmaterial ein virtuelles Abbild der tatsächlichen Umgebung erzeugt, worin die Userin oder der User mittels Virtual Reality-Brille – in diesem Fall eine handelsübliche HoloLens – eintauchen kann.

Im Vordergrund eine große schwarze Brille mit durchsichtigen Gläsern, im Hintergrund eine Drohne, also ein schwarzes Gestell mit roten Propellern

Das Versuchs-Setup: eine HoloLens im Vordergrund und die eigens gebaute Drohne im Hintergrund.

Die HoloLense macht es auch möglich, dass die jeweilige Kopfhaltung der Userin oder des Users an die Drohne übertragen wird und diese so flexibel die Blickrichtung anpassen kann. Zusätzlich kann die Drohne in diesem Setup mittels Körperbewegungen gesteuert werden – so als ob der eigene Körper mit der Drohne verschmolzen wäre. „Das ist die natürlichste Art der Steuerung, am einfachsten zu lernen und am schnellsten umzusetzen“, erzählen die Forscher. „Die Drohne sendet nicht einfach ein Videobild zurück, das erst am Computer angesehen und analysiert werden muss. Die Expertinnen und Experten können über das Headset direkt in die Umgebung eintauchen und die Drohne intuitiv durch sie hindurchsteuern.“

In einem Demonstrationsvideo auf YouTube zeigen die beiden jungen Forscher, wie das Drohnensystem im „droneSpace“ der TU Graz funktioniert.

Virtuelle oder erweiterte Realität

In ihren Laborversuchen haben die Forscher das gesamte Sichtfeld der Versuchsperson ausgeblendet und sie so komplett in ein virtuelles Abbild der Welt eintauchen lassen. Eine andere Möglichkeit wäre es, dass sich die Nutzenden halbtransparent Zusatzinformationen über die Realität einblenden lassen. „Das ist, als ob ich durch eine Wand schauen kann – quasi ein Röntgenblick“, erläutert Okan Erat.

Ein denkbares Szenario: Eine Wand muss durchbrochen werden, um einen Zugang zu eingeschlossenen Personen zu schaffen. Für die Rettenden ist dabei nicht klar, ob sich auf der anderen Seite der Wand etwa gefährliche Tanks oder elektrische Leitungen befinden. Mit Hilfe der Drohnenbilder können aber genau diese Gefahrenquellen über ein Headset direkt ins Sichtfeld der Bohrenden projiziert werden und diese wissen, an welcher Stelle gefahrlos ein Durchgang geschaffen werden kann.

Die Drohne wurde an der TU Graz im „droneSpace“, einem Drohnenlabor in der Grazer Inffeldgasse, im Rahmen des Projekts „UFO – Users Flying Organizer“ entwickelt, das sich mit autonomen Drohnen-Flugsystemen für Innenbereiche auseinandersetzt. „Die Drohne wurde speziell für das Fliegen in engen Innenräumen und für die Interaktion zwischen Mensch und Maschine konzipiert. Sie ist daher sehr leicht, die Propeller sind aus weichem Material und die Motoren haben eine vergleichsweise geringe Leistung“, erklärt Alexander Isop, der den Prototypen designt und das entsprechende Framework für das autonome Flugsystem entwickelt hat. Er bietet zusammen mit Friedrich Fraundorfer im „droneSpace“ Lehrveranstaltungen für interessierte Studierende an.

Ein schwarzes Drohnengestell, mit roten Propellern, einem blauen Ventilator und einer grünen Platte mit Schaltungen.

Die Drohne wurde im droneSpace der TU Graz eigens entwickelt.

Zukunftsvisionen

Die derzeit für die Forschung genutzten Drohnen sind realtiv groß – die Visionen für die Zukunft sind aber eher klein. Sehr klein, um genau zu sein: „Ich stelle mir zum Beispiel vor, dass die Drohnen irgendwann so klein wie Fliegen sind. Sie können dann im Schwarm ausgesendet werden und wesentlich umfassendere Bilder der Gefahrenzone senden. Und sie können an vielen verschiedenen Stellen gleichzeitig arbeiten“, erklärt Erat. Denn auch das ist eine Neuentwicklung der TU Graz-Forscher: Der User oder die Userin kann einfach zwischen mehreren Drohnen und damit mehreren Blickwinkeln wechseln und sich so zum Beispiel schnell in unterschiedliche Räume begeben, um die Situation ganzheitlich einschätzen zu können.

Bei der Steuerung der Drohne gibt es ebenfalls noch viel Raum für neue Ideen: „Die Entwicklung geht in die Richtung, dass der User immer einfachere und natürlichere Steuer-Befehle geben können soll, wie Sprachkommandos oder Gesten. Die Drohne hingegen muss in der Lage sein, immer komplexere Aufgaben selbstständig zu lösen. Zusätzlich ist auch wichtig, dass die Userin oder der User immer über den Status der Drohne Bescheid weiß – quasi, was die Drohne gerade denkt. Diese Interaktion zwischen Mensch und Maschine stellt für mich auch in Zukunft ein sehr interessantes Thema dar,“ ergänzt Isop. Ein Beispiel wäre, dass die Drohne durch einen einfachen Sprachbefehl selbstständig durch enge Passagen navigieren oder verschüttete Personen suchen und erkennen kann.

Auch in der Visualisierung will man sich weiterentwickeln: „Ich werde mich nun auf die Visualisierung und Textualisierung konzentrieren. Momentan ist es nur möglich, den aktuellen Bildausschnitt zu visualisieren. Aber ich möchte eine Art Gedächtnis schaffen, das dann zumindest für einen bestimmten Zeitraum auch noch mehr vom Raum erkennen lässt, damit man ihn so rekonstruieren kann“, erklärt Erat. Aber das ist nur der erste Schritt: „Wir möchten schlussendlich die Drohne so smart wie möglich machen. Sie soll schlussendlich selbst wissen, was die Userin oder der User von ihr möchte. Das ist das Big Picture“, schmunzelt der Wissenschafter.

Dieses Forschungsgebiet ist im FoE „Information, Communication & Computing“ verankert, einem der fünf Stärkefelder der TU Graz.
Mehr Forschungsnews aus diesen Bereichen finden Sie auf Planet research.

Information

Okan Erat stellte seine Forschung auch in einem Beitrag auf dem AirCampus Graz, dem Postcastservice der vier Grazer Universitäten, vor. Den Beitrag finden Sie in englischer Sprache auf der Website des AirCampus Graz.

Kontakt

Okan ERAT
M.Sc.
Institut für Maschinelles Sehen und Darstellen
Inffeldgasse 16/II | 8010 Graz
Tel.: +43 316 873 5032
okan.erat@icg.tugraz.at

Alexander ISOP
BSc MSc
Institut für Maschinelles Sehen und Darstellen
Inffeldgasse 16/II | 8010 Graz
Tel.: +43 316 873 5055
isopnoSpam@icg.tugraz.at