За първи път мозъчната активност на човека бе преобразувана в ясна реч
kaldata.com
Невроспециалистите на Колумбийския университет (САЩ) първи в света сътвориха компютърна система, която преобразува мислите на индивида в ясна и разбираема тирада. Системата генерира от мозъчната интензивност ясни и изразителни думи.
Съвременните невроинтерфейси дават опция да се възвърне изгубената връзка сред мозъка и другите органи на човешкото тяло. Вече са направени сполучливи опити, при които изцяло парализирани хора могат да употребяват таблет. Подобни интерфейси се създават и за отчасти възобновяване на зрението. Но в този момент се появи нещо ново.
Схема на метода за превръщане на сигналите от основния мозък в човешка тирада. Човекът чува думите, в следствие от което се задействат невроните от неговата слухова кора. Данните се интерпретират посредством четири разнообразни метода: посредством комбиниране на два вида регресионен разбор и два логаритъма за в началото сформиране на човешка тирада. Тези данни се подават на невронната мрежа, която натрупва признаците, употребявани за конфигурация параметрите на вокодера.
Чрез мониторинг на интензивността в слуховата кора на основния мозък, системата с невиждана изясненост възвръща думите, които индивидът чува или е чул. Разбира се, това не е озвучаване на всичките мисли, само че е сериозна стъпка в това направление, понеже същите шаблони на мозъчната интензивност пораждат в кората на мозъка, когато индивидът си фантазира, че чува думи и когато въображаемо си повтаря изреченията .
Това е теоретичен пробив – потреблението на нови технологии с изкуствен интелект прави допустимо основаването на невроинтерфейси, свързващи компютъра непосредствено с мозъка. Тази технология може да помогне да поддържат връзка хората, които по някаква причина не могат да приказват, или се възвръщат след инсулт.
Десетилетните научни проучвания потвърдиха, че по време на диалог и при мисленото произнасяне на думите, в мозъка се появяват типични модели на интензивност. Освен това, системата може да разпознава и интензивността, когато човек слуша някого, или си показва, че го слуша. Експертите от дълго време се пробват да разшифроват тези шаблони, с цел да „ освободят “ мислите на индивида от черепната празнина и автоматизирано да ги превеждат в джука форма.
Най-горе е показана истинската спектрограма на човешка тирада. По-долу са възобновените слухови спектрограми на четирите употребявани модела на обработка.
„ Технологията е сходна на тази, употребена в Amazon Echo и Apple Siri за основаването на устните отговори на нашите въпроси “ – изяснява доктор Нима Месгарани (Nima Mesgarani, PhD), водещ създател на научната работа. За да може вокодерът вярно да интерпретира мозъчната интензивност, експертите са намерили пет пациента с епилепсия и с интервенция на основния мозък. По време на проучванията, те са слушали думите и изреченията, произнесени от разнообразни хора, като в това време специфични електроди са записали и записвали зародилата мозъчна интензивност.
С тези данни е тренирана общоприета невронна мрежа. Разпознатите мозъчни шаблони са подавани на вокодера за генериране на думи и фрази. След това учените са помолили същите пациенти са слушат, по какъв метод представителите на вокодера произнасят цифрите от 0 до 9, като през това време са се записвали сигналите на мозъка. Звукът, получен от вокодера в отговор на тези сигнали е оценен, изчистен от друга невронна мрежа и употребен като противоположна връзка за още по-точното транслиране на мозъчните сигнали в човешка тирада.
В последна сметка, на изхода е получен синтетичен глас, който произнася освен числа, само че и поредици от цифри. За инспекция на точността на различаване на хората са дали да чуят звуците, синтезирани от тяхната лична мозъчна интензивност. „ Нашите научни опити демонстрираха, че хората схващат и могат да повторят тези звуци в 75% от случаите. Това неведнъж превъзхожда всички предходни опити в това направление “ – сподели доктор Месгарани.
Обективните оценки за другите модели. (А) междинният бал по общоприетата ESTOI оценка за всичките четири метода. В) Обхват и разположение на електродите. както и ESTOI оценката за всеки един от петте пациента.
Учените възнамеряват да усложнят този опит с по-сложни думи и фрази. Сега се тренира невронна мрежа, която се учи да разпознава шаблоните на сигналите от мозъка, в случаите, когато човек си фантазира, че приказва. Крайният резултат би трябвало да е незначителен имплант, който може да преобразува мислите на индивида непосредствено в думи и фрази. Имплантът може да се употребява и за връзка на индивида с компютъра посредством интерфейс от напълно нов към сегашен ден вид.
Изследването удостовери тезата, че интензивността на мозъка при слушането на човешка тирада и при нейното произнасяне, доста си наподобяват. Учените демонстрираха, че съвсем същите сигнали се получават, когато индивидът си спомня казаните от някого думи – т.е., „ когато слуша личните си мисли “. Създадената компютърна система и математически модел може да се употребяват освен за реорганизация на думи, само че и за синтез на това, което индивидът си мисли сега.
Авторите на научната работа акцентират, че създаденият от тях логаритъм е годен единствено за участниците в този опит. За вярната работа на системата, изкуственият разсъдък най-малко към този момент би трябвало да бъде квалифициран самостоятелно за всеки човек.
Научната работа е публикувана в отворен тип на 29-ти януари 2019 година в списание Scientific Reports.
Сорс кодът за фонемния разбор, изчисление на високочестотните амплитуди и създаване на слуховите спектрограми също е публикуван в отворен тип.
Невроспециалистите на Колумбийския университет (САЩ) първи в света сътвориха компютърна система, която преобразува мислите на индивида в ясна и разбираема тирада. Системата генерира от мозъчната интензивност ясни и изразителни думи.
Съвременните невроинтерфейси дават опция да се възвърне изгубената връзка сред мозъка и другите органи на човешкото тяло. Вече са направени сполучливи опити, при които изцяло парализирани хора могат да употребяват таблет. Подобни интерфейси се създават и за отчасти възобновяване на зрението. Но в този момент се появи нещо ново.
Схема на метода за превръщане на сигналите от основния мозък в човешка тирада. Човекът чува думите, в следствие от което се задействат невроните от неговата слухова кора. Данните се интерпретират посредством четири разнообразни метода: посредством комбиниране на два вида регресионен разбор и два логаритъма за в началото сформиране на човешка тирада. Тези данни се подават на невронната мрежа, която натрупва признаците, употребявани за конфигурация параметрите на вокодера.
Чрез мониторинг на интензивността в слуховата кора на основния мозък, системата с невиждана изясненост възвръща думите, които индивидът чува или е чул. Разбира се, това не е озвучаване на всичките мисли, само че е сериозна стъпка в това направление, понеже същите шаблони на мозъчната интензивност пораждат в кората на мозъка, когато индивидът си фантазира, че чува думи и когато въображаемо си повтаря изреченията .
Това е теоретичен пробив – потреблението на нови технологии с изкуствен интелект прави допустимо основаването на невроинтерфейси, свързващи компютъра непосредствено с мозъка. Тази технология може да помогне да поддържат връзка хората, които по някаква причина не могат да приказват, или се възвръщат след инсулт.
Десетилетните научни проучвания потвърдиха, че по време на диалог и при мисленото произнасяне на думите, в мозъка се появяват типични модели на интензивност. Освен това, системата може да разпознава и интензивността, когато човек слуша някого, или си показва, че го слуша. Експертите от дълго време се пробват да разшифроват тези шаблони, с цел да „ освободят “ мислите на индивида от черепната празнина и автоматизирано да ги превеждат в джука форма.
Най-горе е показана истинската спектрограма на човешка тирада. По-долу са възобновените слухови спектрограми на четирите употребявани модела на обработка.
„ Технологията е сходна на тази, употребена в Amazon Echo и Apple Siri за основаването на устните отговори на нашите въпроси “ – изяснява доктор Нима Месгарани (Nima Mesgarani, PhD), водещ създател на научната работа. За да може вокодерът вярно да интерпретира мозъчната интензивност, експертите са намерили пет пациента с епилепсия и с интервенция на основния мозък. По време на проучванията, те са слушали думите и изреченията, произнесени от разнообразни хора, като в това време специфични електроди са записали и записвали зародилата мозъчна интензивност.
С тези данни е тренирана общоприета невронна мрежа. Разпознатите мозъчни шаблони са подавани на вокодера за генериране на думи и фрази. След това учените са помолили същите пациенти са слушат, по какъв метод представителите на вокодера произнасят цифрите от 0 до 9, като през това време са се записвали сигналите на мозъка. Звукът, получен от вокодера в отговор на тези сигнали е оценен, изчистен от друга невронна мрежа и употребен като противоположна връзка за още по-точното транслиране на мозъчните сигнали в човешка тирада.
В последна сметка, на изхода е получен синтетичен глас, който произнася освен числа, само че и поредици от цифри. За инспекция на точността на различаване на хората са дали да чуят звуците, синтезирани от тяхната лична мозъчна интензивност. „ Нашите научни опити демонстрираха, че хората схващат и могат да повторят тези звуци в 75% от случаите. Това неведнъж превъзхожда всички предходни опити в това направление “ – сподели доктор Месгарани.
Обективните оценки за другите модели. (А) междинният бал по общоприетата ESTOI оценка за всичките четири метода. В) Обхват и разположение на електродите. както и ESTOI оценката за всеки един от петте пациента.
Учените възнамеряват да усложнят този опит с по-сложни думи и фрази. Сега се тренира невронна мрежа, която се учи да разпознава шаблоните на сигналите от мозъка, в случаите, когато човек си фантазира, че приказва. Крайният резултат би трябвало да е незначителен имплант, който може да преобразува мислите на индивида непосредствено в думи и фрази. Имплантът може да се употребява и за връзка на индивида с компютъра посредством интерфейс от напълно нов към сегашен ден вид.
Изследването удостовери тезата, че интензивността на мозъка при слушането на човешка тирада и при нейното произнасяне, доста си наподобяват. Учените демонстрираха, че съвсем същите сигнали се получават, когато индивидът си спомня казаните от някого думи – т.е., „ когато слуша личните си мисли “. Създадената компютърна система и математически модел може да се употребяват освен за реорганизация на думи, само че и за синтез на това, което индивидът си мисли сега.
Авторите на научната работа акцентират, че създаденият от тях логаритъм е годен единствено за участниците в този опит. За вярната работа на системата, изкуственият разсъдък най-малко към този момент би трябвало да бъде квалифициран самостоятелно за всеки човек.
Научната работа е публикувана в отворен тип на 29-ти януари 2019 година в списание Scientific Reports.
Сорс кодът за фонемния разбор, изчисление на високочестотните амплитуди и създаване на слуховите спектрограми също е публикуван в отворен тип.
Източник: petel.bg
КОМЕНТАРИ