ByteDance представи компактен AI-модел, който може да превърне всяка снимка във висококачествен 3D-модел
Компанията майка на TikTok, ByteDance, показа ИИ-инструмента за основаване на 3D наличие Seed3D 1.0, който може да трансформира едно 2D изображение в пълностоен 3D модел на симулационно равнище, допълнен с подробна геометрия, фотореалистични текстури и физически основани материали за рендериране (PBR), които регистрират действителните свойства на отражението, пречупването и разсейването на светлината.
Според компанията, основана на архитектура за дифузионен преобразувател (Diffusion Transformer (DiT)), съчетаваща свойствата на дифузионните модели и трансформърите, Seed3D 1.0 превъзхожда съперниците си както с отворен, по този начин и със затворен код по качество на текстурата и геометрична акуратност. Използвайки единствено 1,5 милиарда параметъра, Seed3D 1.0 превъзхожда даже по-големи модели, като Hunyuan3D 2.1 с 3 милиарда параметъра.
Ключовата специфичност на този нов ИИ-инструмент е комбинацията от мултимодален дифузионен преобразувател (Multimodal Diffusion Transformer, MMDiT) и тактиката за поетапно генериране. Първо, системата проучва изображението, употребявайки визуално-езиков модел (Vision-Language Model, VLM), с цел да извлече параметрите на обекта и пространството. След това, за всеки локализиран обект, Seed3D 1.0 синтезира съответната геометрия и материали. Крайната сцена се сглобява посредством позициониране на всеки генериран обект съгласно пространствената настройка, планувана от VLM. Тази конструкция разрешава генерирането на подиуми в разнообразни мащаби, от пространства като офиси до огромни градски подиуми.
Съобщава се, че Seed3D 1.0 обезпечава координация на текстурите в разнообразни вероятности. Вместо да употребява общоприети текстури, ИИ-инструментът основава материали, които са съгласувани по тип от всички ракурси, осигурявайки както натурализъм, по този начин и структурна акуратност за потребление на равнище симулация.
Компанията отбелязва, че основаните със Seed3D модели могат да бъдат непосредствено интегрирани в симулационни платформи като Isaac Sim за образование на изкуствен интелект.
