Моделът на Lumiere е обучен върху набор от данни от

Моделът на Lumiere е подготвен върху набор от данни от 30 милиона видеоклипа с текстови описания (източник: lumiere-video.github.io)

Най-мощният AI видео генератор досега, създаващ динамични изображения въз основа на текстови описания – това наподобява е Lumiere, „ модел на пространствено-времева дифузия за реалистично видео генериране ”, основан на изкуствен интелект и създаден от Гугъл.

Най-важната разлика сред Lumiere и съществуващите аналози е неповторимата архитектура на модела – цялото видео се генерира едновременно. Други модели работят на друг принцип: те генерират няколко основни фрагмента и по-късно ги интерполират, което затруднява съгласуваността на генерирания филм, отбелязва Arstechnica.

работи в няколко режима, включително превръщане на текст във видео, превръщане на статични изображения в динамични, основаване на видеоклипове в даден жанр въз основа на пример, редактиране на действителен видеоклип благодарение на писмени подкани, анимиране на избрани области на статичното изображение и редактиране на видеоклип фрагментарно – да вземем за пример, може да промени облекло на човек.
още по темата
„ Ние образоваме нашия модел T2V [текст към видео] върху набор от данни от 30 милиона видеоклипа с текстови описания. Видеоклиповете са с дължина 80 фрагмента при 16 фрагмента в секунда. Базовият модел е подготвен на разграничителна дарба от 128×128 пиксела ”, разясняват от Гугъл. Резултатът е 5-секундни видеоклипове с разграничителна дарба 1024×1024 пиксела.

Гугъл Lumiere, несъмнено, не е първият AI видео генератор. По-рано Гугъл показва модел Imagen Video, който генерира видеоклипове с разграничителна дарба 1280×768 пиксела при 24 фрагмента в секунда, само че неговите творения бяха доста по-скромни. Резултатите от планове като Meta Make-A-Video, Runway Gen2 и Stable Video Diffusion бяха по-малко реалистични.

Гугъл схваща опасността, която могат да съставляват сходни планове: „ Нашата съществена цел в тази работа е да дадем на начинаещите консуматори опция да генерират образно наличие по еластичен и изобретателен метод. Съществува обаче риск от несъответствуващи имитации или нездравословно наличие при потребление на нашата технология и ние имаме вяра, че е извънредно значимо да разработим и внедрим принадлежности за разкриване на пристрастия и злонамерена приложимост, с цел да подсигуряваме безвредната и почтена работа [на модела] ”, акцентират от компанията.