Робот-певец и автор песен Shimon выпустит первый свой музыкальный альбом

Предполагается, что роботы обычно подходят только для грубой работы, но в последнее время кажется, что даже более творческие задачи станут им по силам. Робот Shimon - музыкальный маэстро, которого мы впервые увидели в 2017 году, и на сегодняшний день он уже научился петь, танцевать, писать тексты и сочинять свои собственные мелодии. Более того, он собирается отправиться в тур для продвижения своего первого альбома.

Во время последнего нашего обзора этого устройства, оно умело только создавать небольшие мелодии из набора звуков. Теперь, похоже, робот стал более разносторонним, и в результате его карьера развивается. По правде говоря, первый сингл Shimon- IntoYourMind, на самом деле чертовски запоминающийся. Просто прослушайте:

Shimon совершенствуется так же, как и другие творческие роботы - получая огромное количество данных из существующих человеческих примеров.В данном случае им было проанализировано 50000 текстов различного жанра: джаз, рок и хип-хоп музыка. С этим фундаментом Shimon может начать создавать свои собственные тексты из основ, которые он выучил.

Но это больше, чем просто повторение - команда позаботилась о том, чтобы Shimonулавливал некоторые другие составляющие, которые делают музыку настолько привлекательной и индивидуальной. «Есть много систем, которые используют глубокое обучение на основе разных текстов», - говорит Ричард Савери, исследователь в команде.

«Но учитывается также и семантическое значение текста. Кроме того, рифма и ритм, очевидно, очень важны для лирики, что и отличает устройство от обычных генераторов текста. Таким образом, мы используем глубокое обучение для создания текстов, но при этом беря в расчёт эти семантические знания».

Алгоритм работы Shimon

Создатель Shimon, профессор технологий из Джорджии Джил Вайнберг, начинает с того, что дает ему общую тему, к примеру, такую как космос, и робот затем пишет тексты на основе этой темы.

«Он получает слово, к примеру «шторм», а затем будет генерировать целую кучу связанных с ним слов, к примеру «дождь»», - говорит Савери. «Это создает цикл генерации большого количества материала, принятия решения о том, что подойдёт, а затем генерации ещё большего количества слов на основе принятых ранее наборов символов». Получающаяся лирика определенно звучит как то, что было придумано ИИ.

Песни состоят из слов и фраз, которые на первый взгляд звучат как предложения, но на самом деле не имеют никакого смысла, например, «в твоей голове может быть музыка или звезда» или «дом - это место, где появляется радуга». С другой стороны, множество написанных человеком песен - тоже красиво звучащая ерунда, так что, возможно, Shimon не так уж далек от идеала.

Робот также может подстроиться под некоторые мелодии своего собственного производства, но по большей части они составлены Вайнбергом, чтобы соответствовать текстамShimon.

Что же изменилось с дня первого показа

За последние несколько лет робот не только стал лучше создавать песни, генерируя более интересные и разнообразные тексты, но и повысил уровень игры на маримбе, с лёгкостью манипулируя различным тембром, делая мелодию выразительнее. Лучше всего то, что теперь Shimon сам поет свою собственную лирику. Команда Университета Помпеу Фабра разработала для него уникальный голос, используя собственные алгоритмы машинного обучения на основе сотен песен. Shimon также получил редизайн. Ранее он выглядел как невыразительный металлический шарик на шарнире, а теперь имеет подвижные брови, рот, который синхронизируется с его пением, и движения головы, которые позволяют ему лучше передавать эмоции.

Перспективы Shimon

И это сотрудничество между роботом и человеком - это только начало. Команда говорит, что Shimon и группа выпустят альбом в ближайшие несколько месяцев, состоящий из 8-10 песен. После этого запланирован даже тур.

Хотя большая часть аудитории, вероятно, будет представлена людьми, которые хотят наблюдать за взаимодействием людей с роботом, исследователи говорят, что искусство искусственного интеллекта должно быть в состоянии оценено отдельно.

«Я думаю, что мы достигли уровня, на котором я ожидаю, что зрители будут просто наслаждаться музыкой», - говорит Вайнберг. «Это музыка, которую люди сами по себе не написали бы. Я хочу, чтобы аудитория подумала: «В этой песне есть что-то уникальное, и я хочу вернуться и послушать ее, даже если бы ее исполнял не робот». Команда объясняет принцип работыShimon в видео ниже.