Nvidia пусна големия отворен набор от данни Granary за обучението на ИИ и работата с текстове на европейски езици
Nvidia показа огромен набор от данни и два модела с изкуствен интелект за различаване и превод на тирада на европейски езици. Наборът от данни, наименуван Granary, включва към милион часа аудио, от които над 650 000 часа са за системата за различаване на тирада и 350 000 часа за превод.
Granary обгръща 25 европейски езика — всичките 24 публични езика на Европейския съюз, плюс съветски и украински. В допълнение към необятно показаните езици като немски и френски, Granary включва аудиозаписи на относително редки езици, за които огромни масиви от данни не са били оповестени преди този момент, като хърватски, естонски и малтийски.
За да сътвори Granary, компанията си партнира с откриватели от университета Карнеги Мелън и фондация „ Бруно Кеслър “. За обработката на аудио данните е употребен инструментариумът NeMo Speech Data Processor, който преобразува немаркираните обществени аудио записи във формат, елементарен за образование на изкуствен интелект. Този развой доста понижава нуждата от ръчно етикетиране, което прави образованието на моделите по-бързо и по-евтино.
В допълнение към набора от данни, Nvidia показа и нови ИИ-модели — Canary и Parakeet. Canary-1b-v2 е огромен модел с милиарди параметри, подготвен на Granary, предопределен за комплицирани задания като дълги текстове и двупосочен превод сред британски и 24 други езика. Моделът поддържа функционалности за автоматизирано възобновяване на пунктуационни знаци и може също по този начин да основава времеви отпечатъци за думи и изречения, което е потребно при основаване на надписи.
Втората версия —- Parakeet-tdt-0.6b-v6 —- е по-компактен модел, предопределен за бързо осъществяване на ежедневни задания, като стрийминг транскрипция и бърз превод на тирада в действително време.
Nvidia се надява, че отвореният достъп до Granary и моделите Canary и Parakeet ще насърчи изследователската общественост да създава нови приложения и артикули с дейно различаване и превод на тирада. Комплектът към този момент е наличен за разработчиците на платформи като Hugging Face.
