Cпособна воспроизводить музыку из беззвучных видеороликов с игрой на фортепиано технология Audeo на основе ИИ

В наше время существует множество технологий компьютерных программ, которые способны визуально определять, какие музыкальные произведения исполняются в беззвучных видеороликах с игрой на фортепиано. Однако новая система искусственного интеллекта способна на большее, воспроизводя в цифровом виде музыку из просмотренных видео.

О технологии Audeo

Технология, известная как Audeo, была разработана командой Вашингтонского университета. Она включает в себя программное обеспечение с искусственным интеллектом, которое было «обучено» примерно на 172 000 кадров видео пианиста Пола Бартона, играющего музыку классических композиторов, таких как Моцарт и Бах.

При анализе беззвучного видео система начинает с наблюдения за тем, какие клавиши в каком порядке нажимаются, определения отдельных нот и их расположения. При этом она также анализирует, насколько сильно нажимается каждая клавиша и как долго она удерживается - это позволяет определить громкость каждой ноты и продолжительность времени, в течение которого она продолжает звучать.

Также учитываются отличительные акустические характеристики фортепиано. Затем эти данные преобразуются в формат, понятный для существующего цифрового синтезатора. Сообщается, что когда этот синтезатор воспроизводит музыкальный файл, он звучит очень похоже на оригинальное произведение, а не просто как 8-битный рингтон.

Тестирование Audeo

Во время тестирования Audeo было поручено воспроизвести фортепианную музыку на основе беззвучных видеороликов, на которых Бартон играет музыкальные произведения, отличные от тех, на которых система была обучена. Когда приложения для распознавания музыки, такие как SoundHound, проанализировали эти репродукции, они смогли распознать музыкальное произведение с точностью около 86 процентов.

А когда приложениям было поручено проанализировать звук из оригинальных видео, точность их распознавания поднялась до 93 процентов. Этот разрыв должен уменьшаться по мере дальнейшего развития технологии. «Мы надеемся, что наше исследование откроет новые способы взаимодействия с музыкой», - говорит профессор Эли Шлизерман, старший автор исследования.

«Мы надеемся и дальше развивать данную технологию, к примеру, для создания виртуального пианино. Кроме того, поместив камеру поверх настоящего пианино, Audeo можно использовать как помощника для обучения игре на инструменте».