„Рататуй“ на 150 езика . Broadcom показа чип с изкуствен интелект за превод на видео
Технологията дава обещание поддръжката на 150 езика, в това число редките диалекти.
Broadcom показа нов чип с невронна мрежа за осъществяване на гласов превод и аудиоописание непосредствено в устройството, без да се свързва с каквито и да било облачни услуги. Заедно с CAMB.AI разработчиците целят да трансформират метода към обработката на мултимедията, като създадат технологиите за достъпността по-автономни и сигурни.
Основното преимущество на новата система е напълно локалната обработка. Всички процеси се правят вътре в устройството, без да се изпращат данни към външни мрежи. По този метод латентността се свежда до най-малко, понижава се натоварването на информационните канали и се усилва поверителността. Това е изключително значимо за задания, свързани с превод на тирада и основаване на описания на протичащото се на екрана – функционалности, които са търсени от хора със зрителни или слухови увреждания.
Като образец разработчиците демонстрираха къс видеоклип, в който технологията озвучава и съпровожда откъс от анимационния филм „ Рататуй “ с образен превод. Системата автоматизирано разпознава какво се случва в фрагмента, образува изложение и го възпроизвежда с глас на няколко езика. В същото време текстът се демонстрира синхронно на екрана. Според екипа сходни функционалности ще оказват помощ филмите и телевизионните излъчвания да станат по-достъпни за по-широка публика.
Настоящата проява обаче не отразява изискванията в действителния живот. Видеоклипът е редактиран ръчно и не е ясно по какъв начин системата ще се оправи със наличие онлайн – изключително в действително време и с нестабилни звуци. Точността на описанията също остава открит въпрос, изключително при размита образна информация. Въпреки това към този момент е известно, че гласовият модел, залегнал в основата на решението, се употребява в излъчвания на NASCAR, в телевизионния канал Comcast и даже в границите на музикалния конкурс Евровизия.
Създателите дават обещание поддръжка на повече от 150 езика, в това число редки диалекти, и декларират висока еластичност за внедряване в разнообразни устройства – от тв приемници до носима електроника. Конкретни дати за появяването на продуктите на пазара не се показват: планът е във фаза на тестване. Това не е единствената стъпка на Broadcom в посока на изкуствения разсъдък – по-рано компанията разгласи партньорство с OpenAI за произвеждане на профилирани чипове, ориентирани към генеративни задания на изкуствения разсъдък.
