Google представила инновационную нейросеть Lumiere, способную создавать короткие и реалистичные видеоролики всего за несколько секунд. Этот технологический прорыв осуществляется благодаря применению модели пространственно-временной диффузии, известной как Space-Time-U-Net (STUNet).

Основной особенностью модели Space-Time-U-Net, используемой в Lumiere, является возможность создания видео за один проход. В отличие от других нейросетей, которые сначала генерируют ключевые кадры, а затем заполняют пространство между ними, STUNet исключает несогласованность кадров, обеспечивая единый и гармоничный визуальный опыт.

Для обучения этой уникальной модели использовался обширный датасет, состоящий из 30 миллионов видеороликов с соответствующим текстовым описанием. Все видео в датасете имели разрешение 128×128 пикселей, продолжительностью 80 кадров и частотой 16 кадров в секунду. В результате работы нейросети Lumiere происходит генерация пятисекундных видеороликов с разрешением 1024×1024 пикселей.

Интересной особенностью Lumiere является наличие нескольких режимов работы. Нейросеть может создавать видео по текстовому описанию, анимировать изображения, придерживаться определенного стиля и изменять только указанные фрагменты ролика, что открывает широкий спектр возможностей для творчества и экспериментов.

Подробное исследование нового метода генерации видео от инженеров Google доступно на портале arxive.org. Дополнительные примеры работ нейросети можно изучить на официальном сайте проекта Lumiere. Этот технологический шаг в области генерации видео обещает революцию в визуальном контенте и открывает новые горизонты для творческих возможностей пользователей.