Nvidia представи AI-модела Fugatto, който „разбира и генерира звук като хората“
Nvidia показа нов пробен генеративен AI-модел, който компанията разказва като „ швейцарски армейски нож за звука„. Моделът Fugatto (Fundational Generative Audio Transformer Opus 1) употребява текстови подкани за генериране на нови или модифициране на съществуващи музикални, гласови и аудио файлове. Разработчици от цялостен свят участваха в основаването на плана, което ускори „ многоакцентните и многоезични благоприятни условия на модела “.
„ Искахме да създадем модел, който схваща и генерира тон по метода, по който хората го вършат “ — сподели участникът в плана и управител по приложни проучвания на звука в Nvidia Рафаел Вале (Rafael Valle). Компанията предложи няколко сюжета, при които моделът Fugatto може да бъде издирван:
Музикалните продуценти могат бързо да основат първообраз на ария, която елементарно да се редактира посредством експериментиране на разнообразни стилове, гласове и принадлежности. Fugatto може да се употребява за основаване на принадлежности за проучване на езици с избор на най-подходящия глас. Разработчиците на видеоигри могат да го употребяват, с цел да основават разновидности на авансово записани запаси, с цел да подхождат на измененията в играта въз основа на избора и дейностите на играча.Изследователите настояват, че моделът, с някои спомагателни фини настройки, може да извършва и задания, които не са били част от предходното му образование. Моделът може да комбинира обособени указания, да вземем за пример генериране на тирада с избрана интонация и акцент или тон на пеене на птици по време на гръмотевична стихия. Моделът може също да генерира звуци, които се трансформират с времето, като тон от приближаваща дъждовна стихия или движещ се трен.
Fugatto не е първата генеративна AI-технология, която може да основава звуци от текстови подкани. Meta пусна преди този момент сходен AI-модел с отворен код. Гугъл предлага собствен личен AI-инструмент за превръщане на текст към музика — MusicLM, който може да бъде наличен посредством уеб страницата на компанията AI Test Kitchen.
Nvidia към момента не е предоставила обществен достъп до Fugatto и се въздържа от коментар по този въпрос.
