Нейронная сеть ИИ строит новые виртуальные города изучая реальные

Чтобы виртуальные миры казались более захватывающими, художники должны наполнять их зданиями, камнями, деревьями и другими объектами. Создание и размещение всех этих виртуальных объектов быстро приводит к значительным затратам времени и средств. Но теперь исследователи из Nvidia научили системы искусственного интеллекта создавать и детализировать новые виртуальные городские пейзажи, по технологии обучения нейронных сетей на реальных видеоматериалах.

Как работает система?

В отличие от традиционных алгоритмов, которые должны были бы быть запрограммированы с конкретными инструкциями, нейронные сети больше похожи на органический мозг, извлекающий уроки из опыта. Этот опыт можно использовать как большие наборы данных в системе, которая затем может использовать изученные правила для создания своего собственного контента.

В последние годы он использовался для применения различных художественных стилей к видео, создания коротких видеороликов из неподвижных фотографий на основе прогнозов того, что произойдет дальше, и создания дополнительных промежуточных кадров, чтобы любой клип происходил в замедленном режиме. В новой работе команда использовала среду глубокого обучения PyTorch, работающую на графических процессорах Nvidia Tesla V100 на DGX-1, и обучила их тысячам видеороликов о городских пейзажах и наборах данных Apolloscapes.

Затем исследователи будут строить основы виртуального города с использованием Unreal Engine 4 и выделять общую схему и расположение таких вещей, как здания, деревья и автомобили. Затем, основываясь на всем, что она узнала, нейронная сеть заполняет пробелы, включая мелкие детали, цвет, освещение и текстуру.

Разработки с участием Nvidia

Команда Nvidia предоставила нейронной сети тысячи видеороликов о городских пейзажах. Конечным результатом является виртуальный мир для анимации или видеоигр, который может быть создан гораздо быстрее, чем люди-художники создавали бы его с нуля. Конечно, если конкретные вещи необходимо добавить, удалить или отредактировать вручную, это можно сделать позже. «Нейронные сети, в частности, генеративные модели, изменят способ создания графики», - говорит Брайан Катандзаро, ведущий исследователь в команде. «Одним из главных препятствий, с которыми сталкиваются разработчики при создании виртуальных миров, будь то для разработки игр, телеприсутствия или других приложений, является то, что создание контента стоит дорого. Этот метод позволяет художникам и разработчикам создавать с гораздо меньшими затратами, используя AI, который обучается из реального мира». На этой неделе на конференции NeurIPS в Монреале будет представлена демонстрационная версия системы, которая включает в себя простую игру в виде вождения автомобиля с использованием сгенерированного искусственным интеллектом городского пейзажа. Команда описывает работу в видео ниже, и документ доступен в Интернете (PDF).