ChatGPT получи зрение – ботът се научи да разбира видео транслацията от камерата и екрана на смартфон
OpenAI разгласи, че чатботът ChatGPT, който е основан на генеративна просветеност, има способността да обработва видео поток и да приказва с потребителите за това, което „ следи “, употребявайки смарт телефон или компютърна камера, или каквото вижда на екрана на устройството. Новата функционалност е налична в Разширен гласов режим (Advanced Voice Mode).
Компанията разгласи, че ChatGPT ще получи функционалност за компютърно зрение, която му разрешава да „ вижда “ благодарение на камерата на потребителския смарт телефон или посредством транслация на екрана. Собствениците на платените абонаменти ChatGPT Plus, Team и Pro към този момент имат достъп до разширения гласов режим на ChatGPT. Компанията споделя, че клиентите на ChatGPT Enterprise и Edu няма да получат функционалността до януари и че няма график за нейното пускане в Европейски Съюз, Швейцария, Исландия, Норвегия и Лихтенщайн.
В скорошна проява в програмата на CNN “60 минути “, президентът на OpenAI Грег Брокман тества разширения гласов режим с образно различаване с присъединяване на телевизионния водещ Андерсън Купър. Темата е била анатомичните умения на чатбота. Когато Купър нарисува елементи от тялото на дъската, ChatGPT „ разбра “ какво рисува. В същото време ChatGPT направи неточност в геометричната задача в този режим, което демонстрира склонността му към халюцинации.
От оповестяването му през май компанията няколко пъти отсрочи стартирането на усъвършенстван гласов режим с образно различаване. През април OpenAI даде обещание, че режимът ще бъде наличен за потребителите „ в границите на няколко седмици “, само че призна месеци по-късно, че ще отнеме повече време от плануваното. И когато разширеният гласов режим започва за някои консуматори през септември, той нямаше функционалност за компютърно зрение.
Гугъл и Meta също работят върху сходни благоприятни условия за своите чатботове. Тази седмица Гугъл направи своята AI-функция за разбор на видео в действително време Project Astra налична за група „ доверени тестери “ на платформата Android.
