Нов AI на Meta създава чисто нови песни за по-малко от три минути
Изследователският екип на Meta – Audiocraft, показа MusicGen - езиков модел за дълбочинно образование с отворен код, който може да генерира нова музика въз основа на текстови подсказки и даже планът му да бъде съгласуван със съществуваща ария, оповестява The Decoder. Той наподобява доста на ChatGPT за аудио, като приканва потребителите да опишат стила на музиката, която желаят, да пуснат съществуваща мелодия по желание и по-късно да кликнат върху бутона " Генерирай ". След към 160 секунди платформата показва къс обикновен от напълно нова музика въз основа на текстовите подсказки и подадената мелодия.
Демонстрационната версия на уеб страницата Hugging Face на Meta разрешава да опишете музиката, която желаете, като дава няколко образеца, един от които е " поп ария от 80-те години с тежки барабани и синтезаторни подложки на назад във времето ". След това можете да дадете образец на изкуствения разсъдък като въведете тъкмо избрани 30 секунди от дадена ария. Извадката, която получава потребителят, е с дължина до 12 секунди.
We present MusicGen: A simple and controllable music generation model. MusicGen can be prompted by both text and melody.
We release code (MIT) and models (CC-BY NC) for open research, reproducibility, and for the music community: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf
— Felix Kreuk (@FelixKreuk) June 9, 2023 Екипът е употребявал 20 000 часа лицензирана музика за образование, включително 10 000 висококачествени музикални осъществявания от вътрешен набор от данни, както и песни от Shutterstock и Pond5. За да създадат платформата по-бърза, инженерите са употребявали 32Khz аудио токенизатора EnCodec на Meta, генерирайки по-малки музикални семпли, които могат да се обработват редом.
Миналия месец Гугъл пусна сходен музикален генератор, наименуван MusicLM, само че MusicGen наподобява дава малко по-добри резултати. Изследователи потвърждават това, откакто съпоставят резултатите на MusicGen с MusicLM и два други модела - Riffusion и Musai.
Новата платформа на Meta може да бъде стартиран локално на компютъра на потребителя (препоръчва се графичен процесор с най-малко 16 GB оперативна памет) и се предлага в четири размера - от дребен (300 милиона параметъра) до огромен (3,3 милиарда параметъра) - като последният има максимален капацитет за основаване на комплицирана музика.
Демонстрационната версия на уеб страницата Hugging Face на Meta разрешава да опишете музиката, която желаете, като дава няколко образеца, един от които е " поп ария от 80-те години с тежки барабани и синтезаторни подложки на назад във времето ". След това можете да дадете образец на изкуствения разсъдък като въведете тъкмо избрани 30 секунди от дадена ария. Извадката, която получава потребителят, е с дължина до 12 секунди.
We present MusicGen: A simple and controllable music generation model. MusicGen can be prompted by both text and melody.
We release code (MIT) and models (CC-BY NC) for open research, reproducibility, and for the music community: https://t.co/OkYjL4xDN7pic.twitter.com/h1l4LGzYgf
— Felix Kreuk (@FelixKreuk) June 9, 2023 Екипът е употребявал 20 000 часа лицензирана музика за образование, включително 10 000 висококачествени музикални осъществявания от вътрешен набор от данни, както и песни от Shutterstock и Pond5. За да създадат платформата по-бърза, инженерите са употребявали 32Khz аудио токенизатора EnCodec на Meta, генерирайки по-малки музикални семпли, които могат да се обработват редом.
Миналия месец Гугъл пусна сходен музикален генератор, наименуван MusicLM, само че MusicGen наподобява дава малко по-добри резултати. Изследователи потвърждават това, откакто съпоставят резултатите на MusicGen с MusicLM и два други модела - Riffusion и Musai.
Новата платформа на Meta може да бъде стартиран локално на компютъра на потребителя (препоръчва се графичен процесор с най-малко 16 GB оперативна памет) и се предлага в четири размера - от дребен (300 милиона параметъра) до огромен (3,3 милиарда параметъра) - като последният има максимален капацитет за основаване на комплицирана музика.
Източник: profit.bg
КОМЕНТАРИ