TU Graz/ TU Graz/ Services/ News+Stories/

Aus der Fußperspektive: TU Graz entwickelt Algorithmus für schuhbasiertes Blindenassistenzsystem

Der Schuh der Firma Tec-Innovation warnt dank Ultraschallsensoren blinde und sehbeeinträchtigte Menschen vor Hindernissen. Informatiker der TU Graz haben dafür nun ein kamerabasiertes KI-Bilderkennungssystem entwickelt.

David Schinagl vor drei Aufnahmen aus der Schuhperspektive. Der von der TU Graz entwickelte Algorithmus (Auszüge davon ganz rechts am Bildschirm) erkennt und markiert gefahrlos begehbare Bereiche. © Lunghammer - TU Graz

Bildmaterial zum Download am Ende der Meldung

Ein Schuh, der sagt wo’s lang geht: Die Niederösterreichische Firma Tec-Innovation hat einen intelligenten Schuh zur Erkennung von Hindernissen entwickelt. Der als „InnoMake“ bezeichnete Schuh ist seit kurzer Zeit als zugelassenes Medizinprodukt am Markt und soll die persönliche Mobilität von blinden und sehbeeinträchtigten Menschen sicherer gestalten. „Ultraschall-Sensoren an der Schuhspitze erkennen Hindernisse in bis zu vier Metern Entfernung. Die Trägerin oder der Träger wird daraufhin per Vibration und/oder akustischen Signalen gewarnt. Das funktioniert sehr gut und ist auch mir persönlich schon eine große Hilfe“, sagt Markus Raffer, einer der Gründer von Tec-Innovation und selbst sehbeeinträchtigt.

Das Team um Raffer und seinem Gründungspartner Kevin Pajestka hat schon in der Entwicklungsphase festgestellt, dass zwei weiterführende Informationen extrem wichtig sind für die Benutzbarkeit: die Art eines Hindernisses sowie dessen Richtungsverlauf, insbesondere wenn es abwärts gewandt ist, wie Löcher oder Treppen. „Nicht nur die Warnung, dass ich vor einem Hindernis stehe, sondern auch die Information, vor welchem Hindernis ich stehe, ist relevant. Denn es macht einen großen Unterschied, ob das eine Mauer, ein Auto oder eine Treppe ist“, so Raffer.

KI erkennt begehbare Bereiche

Nach aktiver Suche konnte Tec-Innovation 2016 die TU Graz als Kooperationspartnerin gewinnen. Am Institut für Maschinelles Sehen und Darstellen wurde seither an einer kamerabasierten Ergänzung der ersten Produktversion gearbeitet, wie Informatiker Friedrich Fraundorfer erklärt: „Wir haben modernste Deep-Learning Algorithmen nach dem Vorbild neuronaler Netzwerke entwickelt, die nach Erkennung und Interpretation des Bildinhalts im Wesentlichen zwei Dinge können: Sie ermitteln aus Kamerabildern aus der Fußperspektive einen hindernisfreien und damit gefahrlos begehbaren Bereich. Und sie können Objekte erkennen und unterscheiden“. Die mittels Machine Learning trainierten Algorithmen können bereits auf einem eigens konzeptionierten mobilen System betrieben werden. Dank neuester leistungsstarker Spezialprozessoren ist nun auch die mobile Verwendung der komplexen KI-Algorithmen möglich. „Das ist der enormen Prozessor-Entwicklung der vergangenen Jahre zuzuschreiben“, ergänzt Fraundorfers Kollege David Schinagl. Der Algorithmus der TU Graz ist patentiert und wurde an Tec-Innovation übertragen.

Daten in Navigationskarte zusammenführen

Tec-Innovation arbeitet nun an der Integration des Systems in einen Prototyp – Kamera plus Prozessor müssen robust und komfortabel in den Schuh integriert werden. Friedrich Fraundorfer und sein Team der TU Graz wiederum haben sich schon der nächsten Stufe als logische Fortsetzung des Projekts zugewandt: Sie wollen die beim Tragen des Schuhs gesammelten Informationen im Sinne von Schwarmwissen in eine Art Streetview-Navigationskarte für sehbeeinträchtigte Menschen zusammenführen. „Nach derzeitigem Stand profitiert jeweils nur der Träger oder die Trägerin von den Daten, die der Schuh beim Gehen sammelt. Viel nachhaltiger wäre es, wenn man diese Daten auch anderen Menschen als Navigationshilfe zur Verfügung stellen könnte“, so Fraundorfer.

Für die Konzeption und prototypische Umsetzung einer solchen Streetview-Karte für blinde und sehbeeinträchtigte Personen läuft derzeit ein Förderantrag bei der Österreichischen Forschungsförderungsgesellschaft FFG. Ob der großen Herausforderungen liegt diese Art der Navigationsunterstützung noch in der ferneren Zukunft. Größte Knackpunkte sind laut Fraundorfer das laufende Aktualisieren und Erweitern der Karte, die Verknüpfung mit bisherigen Daten und die IT-Anbindung des Schuhsystems. Für den Forscher der TU Graz steht aber fest: „Wir werden jedenfalls weiter an dem Thema dranbleiben. Denn in unserer hochinnovativen Welt muss auch eine Alternative zum über 70 Jahre alten Blindenstock möglich sein.“

Diese Forschung ist an der TU Graz im Field of Expertise „Information, Communication & Computing“ verankert, einem von fünf Forschungsschwerpunkten der Universität.

Kontakt

Friedrich FRAUNDORFER
Assoc.Prof. Dipl.-Ing. Dr.techn.
TU Graz | Institut für Maschinelles Sehen und Darstellen
Tel.: +43 316 873 5020
fraundorfernoSpam@icg.tugraz.at

Markus RAFFER
Mag.
Tec-Innovation | Geschäftsführer
Tel.: +43 1 226 44 66
m.raffernoSpam@tec-innovation.com
www.tec-innovation.com

David Schinagl vor drei Aufnahmen aus der Schuhperspektive. Der von der TU Graz entwickelte Algorithmus (Auszüge davon ganz rechts am Bildschirm) erkennt und markiert gefahrlos begehbare Bereiche. © Lunghammer - TU Graz
Der Innomake-Schuh, wie er jetzt schon am Markt erhältlich ist. An der Schuhspitze ist der Ultraschallsensor angebracht. Künftig sollen dort eine Kamera plus ein Prozesser, auf dem der Algorithmus läuft, integriert sein. © Lunghammer - TU Graz
Dank des kamerabasierten KI-Bilderkennungsalgorithmus aus der Feder von Friedrich Fraundorfer und seinem Team der TU Graz kann der Innomake-Schuh zum "sehenden“ Schuh weiterentwickelt werden. © Fraundorfer
Markus Raffer ist Geschäftsführer von Tec-Innovation. © Lunghammer - TU Graz
Eine Kameraaufnahme aus der Schuhperspektive: farblich eingegrenzt ist der gefahrlos begehbare Bereich, erkannt und interpretiert durch den Bilderkennungsalgorithmus der TU Graz. © TU Graz