Предупреждают глухих и слабослышащих людей о важных звуках рядом часыы SoundWatch

Глухим или слабослышащим людям бывает трудно различить важные звуки, например, стук в дверь или пожарную сигнализацию. И поэтому исследователи из Вашингтонского университета разработали систему умных часов под названием SoundWatch, которая распознает звуки и предупреждает пользователей о них с помощью гудка и визуального оповещения.

Что же такое SoundWatch?

Проектом руководил Дхрув Джайн, у которого тоже есть определенные проблемы со слухом. SoundWatch использует микрофон умных часов для прослушивания определенных звуков, отправляет данные на подключенный телефон пользователя для обработки, а затем обратно на часы, чтобы отображать в тексте, что это за звук и насколько он громкий.

Этот процесс сопровождается вибрацией, чтобы уведомить владельца о том, что некий звук все же был засечен. Система SoundWatch обучена распознавать общие и важные звуки, такие как писк микроволновки, дверные звонки, автомобильные гудки, лай собак и плач младенцев. «Эта технология дает людям возможность слышать звуки, требующие от них определенной реакции, например, когда требуется достать пищу из микроволновой печи», - говорит Джейн.

«Но эти устройства также могут улучшить жизнь людей и помочь им почувствовать себя более связанными с миром. Я использую прототип часов, чтобы замечать щебетание птиц и звуки водопада во время походов. Благодаря этому мне намного легче воспринимать окружение. Я надеюсь, что другие глухие и слабослышащие люди также посчитают SoundWatch полезным изобретением».

Сложности в процессе разработки SoundWatch

Конечно, устройство еще далеко от идеала - команда утверждает, что приложение иногда ошибается или слишком долго уведомляет пользователя о чем-либо. Но над этими проблемами ведется работа, а также над улучшением того, как система выбирает важные звуки из фонового шума, возможностью определять направление, откуда они исходят, и параметрами персонализации.

«Инвалидность у каждого человека может проявляться по-разному, и мы хотим, чтобы эти устройства позволили людям почувствовать себя более полноценными», - говорит Джайн. «Сейчас мы ищем способы, позволяющие людям персонализировать эти системы в соответствии с их собственными потребностями.

Мы хотим, чтобы люди получали уведомления о звуках, которые им небезразличны: голос супруга на фоне чужой речи, открытие конкретно задней двери, а не входной и т. д.» Команда также разрабатывает версию системы с дополненной реальностью под названием HoloSound, которая может отображать подписи и другую информацию через очки HoloLens. Приложение SoundWatch скоро должно быть доступно для загрузки на устройства Android. Дхрув Джайн продемонстрировал SoundWatch в видео ниже.