Apple представи изкуствен интелект, който създава 3D обекти и сцени само от три снимки
Екипът за машинно образование на Apple, дружно с откриватели от университета в Нанкин и Хонконгския университет за просвета и технологии, създаде 3D ИИ-модел, наименуван Matrix3D, който може да пресъздаде 3D-обекти и подиуми единствено от няколко 2D фотоси.
Matrix3D принадлежи към категорията на огромните фотограметрични модели. Фотограметрията употребява фотоси, с цел да получи информация за обекти и да направи измервания, с цел да сътвори 3D модели или карти. В момента този развой включва потреблението на разнообразни модели за оценка на позата и прогнозиране на дълбочината, което може да докара до грешки.
Matrix3D ви разрешава да правите тези интервенции едновременно. Той взема поради изображения, параметри на камерата (като ъгъл и фокусно разстояние), данни за дълбочината и ги обработва, употребявайки унифицирана архитектура. Това освен опростява процеса, само че и усилва точността.
За да обучат Matrix3D, откривателите са употребявали тактика за маскирано образование, при която откривателите скриват част от данните, принуждавайки модела да се научи да запълва празнините. Този способ е основен, тъй като разрешава дейно образование на моделите, даже и с по-малки или непълни набори от данни.
В резултат на това, единствено с три входни изображения, Matrix3D може да генерира подробни 3D-реконструкции на обекти и даже цели среди, които биха могли да намерят приложение в имeрсивни очила като Vision Pro на Apple.
Изследователите са разгласили изходния код на Matrix3D в GitHub. Те също по този начин са основали и уебсайт, където можете да научите повече за опциите на новия ИИ-модел.
