Университетът в Осака е разработил невронна мрежа, способна да реконструира

Университетът в Осака е създал невронна мрежа, способна да реконструира облика, който човек гледа сега. Анализирайки данни от функционален ядрено-магнитен резонанс, системата точно възпроизвежда освен формата, само че и цветовете на обектите. Учените приказват за първата в света машина за четене на мисли.

Обхватът на приложенията на обещаващата технология на компютърното зрение е доста необятен: от другарство с парализирани хора до записване на сънища и проучване на метода, по който другите животни възприемат света към себе си.

Японски откриватели са се възползвали от преимуществата на Stable Diffusion - известна стратегия за превръщане на текст в тирада. Тази невронна мрежа с отворен код е сходна по конструкция на други генеративни LLM (Large language models), като DALL-E2 на OpenAI (създател на ChatGPT) или Midjourney.

Тя се основава на дифузия - способ за машинно образование, при който образният облик се генерира посредством поредни доближения. Всяка нова итерация се базира на друга текстова имитация.

Японците са добавили спомагателна стъпка на образование към общоприетата скица за Stable Diffusion. Така невронната мрежа съпоставя данните за мозъчната интензивност на четирима участници в опита, на които са показани разнообразни фотоси с текстови описания на изображенията.

За начални сигнали били взети данни от функционален магнитен резонанс (fMRI), получени на мощни машини с индукция на магнитното поле 7 Тесла. Като записват потока от кислородни молекули, нужни за работата на невроните, тези устройства са в положение да следят кои области на мозъка, виновни за избрани усеща или страсти, са най-активни, написа " 24 часа ".

Снимката е илюстративна