Нов изкуствен интелект превръща 2D изображение в 3D модел само за 5 секунди
Adobe Research и Австралийският народен университет (ANU) оповестиха първия в света изкуствен интелект, който може да генерира 3D изображения от едно 2D изображение единствено за 5 секунди. Откритието дава обещание да направи гражданска война в 3D моделирането. Преди към една седмица излезе първата информация за новия AI, а в този момент изданието Techxplore разгласява нови данни.
Представете си, че имате елементарна фотография и желаете да видите по какъв начин наподобява обектът на фотографията в три измерения, като че ли е същински обект, който може да се види от всички страни. Големият модел за реорганизация (LRM) прави тъкмо това: трансформира плоската фотография в тримерен модел.
Разработеният от Ikong Hong модел LRM се основава на мащабируема невронна мрежа, съдържаща един милион набори от данни с 500 милиона параметри, в това число изображения, 3D форми и видеоклипове. Това му разрешава да сътвори 3D модел единствено за 5 секунди, което е доста бързо спрямо обичайните способи за 3D моделиране, които могат да лишават часове или даже дни.
В началото на потреблението на софтуера за 3D изображения той работеше дейно единствено с избрани типове обекти, чиито форми и структури бяха авансово известни. След това DALL-E и Stable Diffusion реализираха забележителен прогрес. Тези стратегии използваха двуизмерни дифузионни модели, които можеха да основават изображения от разнообразни гледни точки. Това беше допустимо с помощта на способността им да обобщават – т.е. да ползват знанията получени от обособените данни към разнообразни сюжети. Въпреки това даже те не бяха свободни да основават нови, непредполагаеми типове изображения или обекти, които бяха отвън обсега на тяхното образование.
LRM надмина конкуренцията, защото употребява голяма база данни с параметри на изображенията и предсказва невронното поле на лъчение (neural radiance field, NeRF). Тази технология разрешава основаването на подробни триизмерни обекти от поредност двуизмерни фотоси. За тази цел невронната мрежа се образова да интерпретира светлината и цвета, присъстващи в фотосите, с цел да ги трансформира в реалистични триизмерни изображения.
Големият модел за реорганизация (large reconstruction model) ще откри приложение в доста области, в това число в разширената и виртуалната действителност, игралната промишленост, киноанимацията и промишления дизайн. Той разрешава да се пресъздават реалистични 3D изображения от 2D фотоси, даже в случай че те са с ниска резолюция.
