Forscher der University of Glasgow haben ein Lippenlese-System entwickelt, das Hörgerätetragenden beim Sprachverstehen helfen soll. Mithilfe von Radar- und WLAN-Technologie wird das Gesicht des Gegenübers gescannt. Die gewonnene Information soll dabei helfen, bestimmte Frequenzen gezielt zu verstärken. In der Praxis soll das System zukünftig den sogenannten Cocktailparty-Effekt unterstützen – und das besondere dabei: Das Lippenlesen funktioniert auch, wenn das Gegenüber eine Maske trägt.
System erkennt Lippenbewegungen trotz Maske
Erstmals ist es Forschern gelungen, Radiofrequenzsensorik und künstliche Intelligenz (KI) zu kombinierten, um Lippenbewegungen zu erkennen. Die in diesem System verwendeten Radarsensoren arbeiten im Hochfrequenzbereich, weshalb sie beispielsweise OP-Masken leicht durchdringen können. Mithilfe der aufgenommenen Informationen über Gesichts- und Lippenbewegungen, soll ein solches System künftig Hörgeschädigten in anspruchsvollen Klangsituationen helfen. Dazu zählen laute Umgebungen wie Restaurants oder wenn das Gesicht des Gegenübers mit einer medizinischen Maske bedeckt ist.
Um das System zu entwickeln, wurden Freiwillige darum gebeten, die fünf Vokale (A,E,I,O und U) zuerst mit und später ohne OP-Maske zu wiederholen. Dabei wurden die Gesichter der Freiwilligen sowohl mit dem Radarsystem als auch mit einem WLAN-Sender gescannt – auch während die Lippen still blieben.
Die insgesamt 3600 erhobenen Datenproben, wurden verwendet, um die KI zu lehren, wie man die charakteristischen Lippen- und Mundbewegungen erkennt, die mit den fünf Vokalen verbunden sind. Das neu entwickelte Lippenlese-System erzielte dabei eine Genauigkeit von bis zu 95 Prozent bei unbedeckten Lippen und bis zu 83 Prozent bei bedecktem Gesicht.
Wissenschaftler sieht großes Potenzial
Dr. Qammer Abbasi von der James Watt School of Engineering Glasgow ist der Hauptautor des dazugehörigen Papers. Er resümiert: „Während die Ergebnisse des Lippenlesens mit Radarsignalen etwas genauer sind, zeigten die Wi-Fi-Signale ebenfalls eine beeindruckende Genauigkeit. Und angesichts der Allgegenwärtigkeit und Erschwinglichkeit von Wi-Fi-Technologien deuten die Ergebnisse darauf hin, dass diese Technik sowohl als eigenständige Technologie als auch als Komponente in zukünftigen multimodalen Hörgeräten von Wert ist.“
Hintergrund der Entwicklung ist eine Optimierung des Sprachverstehens mit Hilfsmitteln wie Hörgeräten. Mit dem neuartigen System erhoffen sich die Forscher zudem eine Unterstützung beim sogenannten Cocktail-Party-Effekt. Dieses Phänomen beschreibt die Fähigkeit, sich unter vielen Menschen auf einen Gesprächspartner konzentrieren und andere Geräusche dabei ausblenden zu können. Mit zunehmender Schwerhörigkeit fällt es immer schwerer, in solchen Situationen zu verstehen.
Bisherige Ansätze lösten das Problem mit Kameras, die fortlaufend Informationen über das Gesprochene sammelten. Problematisch sei hier – neben der Maskenthematik – jedoch das Sammeln der Videodaten von Menschen, ohne deren ausdrückliche Zustimmung. Bis eine solche Technologie – egal ob mit Kameras oder Radarsensorik – auf den Markt kommt, dauert es aber mit Sicherheit noch ein paar Jahre. So lange müssen Sie nicht warten, wenn Sie bei sich oder anderen einen Hörverlust vermuten. Über unsere Suche finden Sie einfach einen Hörakustiker in Ihrer Nähe, der Sie umfangreich und vor allem unverbindlich über geeignete Lösungen berät.
Zum Weiterlesen:
Zukunftsweisende Forschung: Medikament gegen Hörverlust
Hören mit Licht: Cochlea Implantat völlig neugedacht