Изкуственият интелект е на път да постигне немислими неща в

Изкуственият разсъдък е на път да реализира немислими неща в основаването на музика и звукови резултати (снимка: Nvidia)

Нов модел с изкуствен интелект на Nvidia може да генерира аудио и да смесва разнообразни типове звуци, даже да сътвори тон, който в никакъв случай преди този момент не е чувал. Технологичният колос назовава AI модела Fugatto, което е редуциране от Foundational Generative Audio Transformer Opus 1.

Въпреки че има аудио-фокусирани AI платформи като Beatoven и Suno, Nvidia акцентира, че Fugatto предлага на потребителите подробен надзор върху стремежи резултат. AI моделът може да генерира или трансформира всяка примес от музика, гласове и тон въз основа на избрани сигнали.

В блог обява Nvidia разказва в детайли своя нов огромен езиков модел (LLM). Според компанията, Fugatto може да генерира музикални фрагменти, да отстранява или прибавя принадлежности от съществуваща ария, да трансформира акцента или страстта в гласа и „ даже да разреши на хората да възпроизвеждат звуци, които не са чували преди ”.

AI моделът приема както текстови, по този начин и аудио файлове като вход, а потребителите могат да комбинират и двете, с цел да настроят тънко своите поръчки. Архитектурата на Fugatto се основава на предходни разработки на Nvidia в региона на моделирането на тирада, аудио кодирането и разбирането на аудио. Пълната версия на модела употребява 2,5 милиарда параметъра и е подготвена с набори от данни на системата Nvidia DGX.

Екипът, основал Fugatto, си сътрудничи с сътрудници от Бразилия, Китай, Индия, Йордания и Южна Корея. Сътрудничеството сред хора от друг етнически генезис също е асъдействало за развиването на мултиакцентните и многоезични благоприятни условия на AI модела, споделят от компанията.



Говорейки за опциите на AI модела, Nvidia акцентира, че той е кадърен да генерира видове аудио изходи, за които не е бил обучаван преди този момент. „ Fugatto може да накара тромпет да лае и саксофон да мяука. Всичко, което потребителите могат да опишат, моделът може да сътвори ”, настояват разработчиците.

Освен това Fugatto може да комбинира избрани аудио благоприятни условия благодарение на технологията ComposableART. Потребителите могат да изискат от AI модела да генерира аудиозапис на човек, който приказва френски, до момента в който се усеща печален. Потребителите могат също да управляват степента на горест и тежестта на акцента с съответни указания.

В допълнение, моделът може да генерира интерполирано във времето аудио или звуци, които се трансформират с времето. Например, потребителите могат да генерират тон от дъждовна стихия с кресчендо на мълния, което изчезва в далечината. Експериментите със звукови пейзажи включват даже основаване на тон, който моделът в никакъв случай не е обработвал преди този момент.