Lookout – die neuste App von Google hilft Sehbehinderten bei Identifizierung von Objekten

Die Technologie ist mittlerweile so fortgeschritten, dass man viele Sachen, für die man früher aus dem haus gehen musste jetzt einfach von zu Hause aus erledigen kann – Shopping, Kommunikation mit Menschen auf dem anderen Ende der Welt und dazu ein bisschen Spaß wie Casino Automaten spielen. Der wahre Durchbruch gelang Google, als neulich eine neue App veröffentlicht wurde – Lookout. Die App ist für Sehbehinderte gedacht und sollte ihnen dabei helfen, sich in der Umgebung besser zurechtzufinden und die unterschiedlichsten Objekte um sie herum zu identifizieren. Dabei werden nur Nutzer der Marke Pixel (1 bis 3), da die App bisher nur für diese Modelle geeignet und in den USA-Markt erhältlich ist, unterstützt.

Wie funktioniert die App „Lookout“?

Um die Objekte erkennen zu können, nutzt die App künstliche Intelligenz. Diese werden allerdings mit der Kamera wahrgenommen, weshalb empfohlen wird, dass man das Handy entweder um den Hals oder in der vorderen Tasche eines T-Shirts tragen sollte. Hauptsache ist, die Kamera zeigt nicht auf den Körper, sondern ist von ihm wegzeigt. Mithilfe verschiedener Modi erfasst die aktive App dann die Umgebung.

Welche Modi werden meist verwendet und wozu dienen sie?

Einige der bekanntesten sind Explore-Modus, Shopping-Modus und Quick-Read-Modus. Beim ersten handelt es sich um die Identifizierung und Benennung aller Objekte, auf die die Kamera gerichtet werden kann. Der Shopping-Modus sollte helfen, wenn eine Person einkaufen geht und sich im Supermarkt vor einer großen Auswahl an verschiedenen Produkten befindet. Dieser Modus scannt nicht nur Strichcodes sondern erkennt und zählt auch Geldscheine und Münzen. Anhand dessen kann eine blinde Person an der Kasse sehr gut vorbereitet sein, indem sie genau weiß, welche Geldscheine sie in der Hand befinden. Der Quick-Read-Modus liest allerlei Texte vor – Schilder, Labels usw. laut vor. Sehr hilfreich kann dieser Modus in den Situationen sein, wo man einen Notausgang oder die Toilette sucht.

Dazu gibt es auch andere Modi wie Home, Work and Play, Experimental und Scan. Vom jeweils ausgewählten Modus hängt ab, was für Informationen die App zur Übermittlung auswählt. Wenn man daheim  ist, wird auf Möbelstücke verwiesen und auf der Arbeit andererseits mehr Achtung auf Fahrstühle, Treppen und Ähnliches geachtet. Alle Ergebnisse werden zurzeit nur auf Englisch verarbeitet und so dem Nutzer vorgelesen.

Was für Probleme gibt es und wie könnte man sie beheben und Lookout zusätzlich verbessern?

Wie Google auch selbst behauptet, hat die App noch einen langen Weg vor sich, um perfekt zu funktionieren. Die Verbesserung von Lookout sollte durch das Machine Learning erfolgen, indem erforscht wird, zu welchen Objekten und mit welcher Frequenz sich die Sehbehinderten Hinweise und Hilfe wünschen. Der Konzern befasst sich außerdem mit der Verbesserung der integrierten KI.

Die registrierten Daten werden zudem sofort auf dem Gerät verarbeitet. Eine Internetverbindung ist dafür nicht nötig. Die Idee hinter der App ist ziemlich innovativ und die Anwendung von Lookout könnte vielen Sehbehinderten von großer Hilfe sein. Es bleibt nur zu hoffen, dass man in den nächsten Jahren die Idee weiterentwickelt und die App  statt nur für die USA und Pixel auch auf Europa und andere Märkte verbreitet, wobei man sie für andere Smartphones eignen könnte.