Главная » Hi-Tech » Искусственный интеллект "рисует" город в реальном времени: видео

Искусственный интеллект "рисует" город в реальном времени: видео

В компании Nvidia разработали «систему гибридной графики» на основе искусственного интеллекта, которая умеет отрисовывать городские пейзажи в режиме реального времени. Обученная на видео, снятом в реальном мире, новая ИИ-модель научилась генерировать новые виртуальные пространства с нуля.

За отрисовку зданий, автомобилей, пешеходов и других объектов отвечает генеративно-состязательная сеть (GAN). Эта система «стравливает» между собой две нейросети: ту, что непосредственно создает изображение («генератор»), и которая его анализирует («дискриминатор»), сравнивая получившуюся работу с картинками-эталонами.

Графика генерируется в несколько этапов, пишет The Verge. Сначала исследователи «скормили» нейросети публично доступные видеоданные, обычно используемые для тренировки алгоритмов автономного вождения. Каждый кадр был отнесен к определенной категории: небо, деревья, дорога, строения и так далее. Далее в дело вступила GAN, которая создавала новые версии этих объектов, обучаясь на видеосъемке из реального мира.

Затем, прибегнув к помощи игрового движка Unreal Engine 4 (его используют Fortnite, PUBG, Gears of War 4 и другие хиты), инженеры Nvidia создали базовую топологию виртуальной среды. Используя UE4 в качестве фреймворка, ИИ-алгоритмы смогли генерировать графику для каждого объекта, прикрепляя их в моделям игрового движка.

Чтобы продемонстрировать работу технологии, исследователи создали простой симулятор вождения, в котором игроки могут ездить по жилым кварталам и любоваться архитектурой. Помимо видеоигр, «система гибридной графики» Nvidia может применяться в кино и виртуальной реальности, использоваться в качестве учебной среды для роботов и самоуправляемых автомобилей.