Робот Marimba сочиняет и сохраняет собственные мелодии

Группа роботов Compressorhead уже зарекомендовала себя тем, что способна раскачивать фестивальные толпы, но ее игроки просто исполнили запрограммированные кавер-версии. Возможно, пришло время добавить маримба, играющего бота, в линию, которая использует глубокое обучение, чтобы создать свои собственные композиции, а затем выбить их на деревянные блоки. Исследователи из Технологического института Джорджии разработали именно такого робота, и его зовут Шимон.

Как Шимон учился

Шимон оттачивал свое ремесло, будучи помещенным в полноценную среду полную знаменитых песен от поп, классиков и джазовых художников и композиторов, таких как Бетховен, Битлз, Леди Гага и Майлз Дэвис. Затем более 2 миллионов фрагментов музыки (например, мотивы, рифы и лики) были добавлены в программу. Бот имел достаточное количество справочных материалов, чтобы импровизировать некоторые мотивы по заранее составленным хордовым прогрессиям.

Исследовательская группа теперь сообщает, что если Шимон получит небольшую помощь с самого начала, он может взять то, что предусмотрено, и составить что-то свое собственное - то, что, по словам исследователей, невозможно предсказать.

«Как только Шимон узнает четыре меры, которые мы предоставляем, он создает свою собственную последовательность понятий и составляет свой собственный материал, - сказал студент PhD Мейсон Бретэн, который работает с роботом последние 7 лет. - Композиции Шимона показывают, как музыка звучит и выглядит, когда робот использует глубокие нейронные сети, чтобы узнать все, что известно о музыке из миллионов человеческих сегментов».

В дополнение к тому, что он не знает, что прилумает Шимон, Бретэн говорит, что он не смог определить, какие песни в базе данных используются в качестве ссылки, хотя определенные влияния и методы могут быть распознаны.

Робот развивается

Похоже, что набор навыков игры для роботов тоже наскучил, перейдя от монофонических импровизаций, к тому, чтобы выставить гармонии и аккорды. И, похоже, он использует человеческий подход к своей музыке.

«Когда мы играем или слушаем музыку, мы не думаем о следующей ноте и только о следующей заметке, - сказал Бретэн. - Художник имеет большее представление о том, чего он или она пытается достичь в течение следующих нескольких мгновений или позже в пьесе. Шимон теперь придумывает музыкальную семантику более высокого уровня. Вместо того, чтобы думать об исполнении, он имеет идею того, что он хочет играть в целом». Команда Georgia Tech задокументировала первые две композиции робота на видео. Они длиной в 30 секунд, и их можно увидеть ниже.