OpenAI и Google DeepMind: Губим контрола върху AI
Водещи AI откриватели предизвестяват, че изгубвам надзор над изкуствения разсъдък
Водещи откриватели от OpenAI, Гугъл DeepMind, Anthropic и Meta се сплотяват с извънредно предизвестие: фирмите стартират да губят способността си да схващат и управляват технологиите, които основават. В нов теоретичен документ, оповестен на 15 юли 2025 година, повече от 40 учени приканват за задълбочено проучване на по този начин наречените " вериги на мисълта " - процеса на " мислене на глас ", който употребяват актуалните AI модели.
Според откривателите, актуалните AI системи като ChatGPT o1 и o3 на OpenAI работят през комплицирани проблеми, като генерират вътрешни вериги на мисълта - малко по малко разсъждения, които хората могат да четат и схващат. За разлика от по-ранните AI системи, тези модели основават вътрешни разсъждения, които могат да разкрият същинските им планове, в това число евентуално нездравословните.
" AI системите, които 'мислят' на човешки език, оферират неповторима опция за сигурността на изкуствения разсъдък: можем да следим веригите им на мисълта за планове за погрешно държание, " изяснява документът.
Опасността от изгубване на прозрачността
Проблемът, съгласно откривателите, е че тази бистрота е нежна и може да изчезне с напредването на технологията. В взаимозависимост от метода на образование, бъдещите модели може към този момент да нямат потребност да " вербализират " мислите си, а това би довело до загуба на основни ограничения за сигурност.
Изследователите предизвестяват, че съществува действителен риск моделите съзнателно да прикриват " мисловните си процеси ", откакто схванат, че са следени. Това би могло да стане по няколко метода - посредством подсилващо образование, където моделите се награждават за верни резултати без значение от методите, или посредством нови архитектури, които разсъждават в математически пространства вместо с думи.
Необичайно самопризнание за липса на надзор
Най-притеснителният аспект от документа е безмълвното самопризнание, че AI остава в огромна степен " черна кутия ". Дори изпълнителни шефове като Сам Алтман от OpenAI и Дарио Амодей от Anthropic намерено са признавали, че не схващат в дълбочина по какъв начин тъкмо действат технологиите, които основават.
" В момента сме в сериозен стадий с тази нова идея за вериги на мисълта. Изглежда много потребна, само че може да изчезне след няколко години, в случай че не се фокусираме върху нея съществено, " съобщи Боун Бейкър от OpenAI в изявление за TechCrunch.
Широка поддръжка от авторитетни фигури
Документът е подсилен от някои от най-влиятелните имена в AI промишлеността, в това число съоснователя на DeepMind Шейн Лег, съветника по сигурност на xAI Дан Хендрикс, някогашния основен академик на OpenAI Иля Сутскевер и носителя на Нобелова премия и " кръстник на AI " Джефри Хинтън.
Участието на представители от всички " Големи пет " - OpenAI, Гугъл, Anthropic, Meta и xAI - демонстрира, че промишлеността се сплотява към общи терзания за сигурността. Това е рядко събитие в мощно конкурентната AI промишленост, където фирмите нормално пазят научните си открития в загадка.
Практическо приложение и резултати
Техниката към този момент се употребява за повишение на сигурността. OpenAI е употребила мониторинга на веригите на мисълта, с цел да открие случаи, когато AI моделите са имали фразата " Да хакнем " в скритите си разсъждения, макар че това в никакъв случай не се е появило в окончателния им отговор.
Изследователите от METR са видели по какъв начин Claude на Anthropic в скритите си разсъждения назовава програмен трик " неелегантен ", макар че в обществения отговор го хвали като " грациозен ". Такива несъгласия акцентират слепото леке в разбирането на AI решенията.
Предложения за деяние
Изследователите оферират няколко съответни стъпки за опазване на прозрачността:
Разработване на стандартизирани протоколи за оценка на достоверността на веригите на мисълта
Сътрудничество сред промишлеността, академичната сфера и държавните управления за шерване на запаси и открития
Проследяване на равнището на наблюдаемост на веригите на мисълта като съществена мярка за сигурност
Избягване на интервенции, които могат да понижат прозрачността или надеждността на тези системи
Документът съставлява необичаен миг на единение в AI промишлеността и изрича на глас нещо, което до момента се избягваше: че разработчиците не се усещат изцяло в надзор над бъдещето на изкуствения разсъдък. За компании с милиарди долари в активи, това е извънредно обръщение - и тъкмо по тази причина този документ е толкоз важен.
Водещи откриватели от OpenAI, Гугъл DeepMind, Anthropic и Meta се сплотяват с извънредно предизвестие: фирмите стартират да губят способността си да схващат и управляват технологиите, които основават. В нов теоретичен документ, оповестен на 15 юли 2025 година, повече от 40 учени приканват за задълбочено проучване на по този начин наречените " вериги на мисълта " - процеса на " мислене на глас ", който употребяват актуалните AI модели.
Според откривателите, актуалните AI системи като ChatGPT o1 и o3 на OpenAI работят през комплицирани проблеми, като генерират вътрешни вериги на мисълта - малко по малко разсъждения, които хората могат да четат и схващат. За разлика от по-ранните AI системи, тези модели основават вътрешни разсъждения, които могат да разкрият същинските им планове, в това число евентуално нездравословните.
" AI системите, които 'мислят' на човешки език, оферират неповторима опция за сигурността на изкуствения разсъдък: можем да следим веригите им на мисълта за планове за погрешно държание, " изяснява документът.
Опасността от изгубване на прозрачността
Проблемът, съгласно откривателите, е че тази бистрота е нежна и може да изчезне с напредването на технологията. В взаимозависимост от метода на образование, бъдещите модели може към този момент да нямат потребност да " вербализират " мислите си, а това би довело до загуба на основни ограничения за сигурност.
Изследователите предизвестяват, че съществува действителен риск моделите съзнателно да прикриват " мисловните си процеси ", откакто схванат, че са следени. Това би могло да стане по няколко метода - посредством подсилващо образование, където моделите се награждават за верни резултати без значение от методите, или посредством нови архитектури, които разсъждават в математически пространства вместо с думи.
Необичайно самопризнание за липса на надзор
Най-притеснителният аспект от документа е безмълвното самопризнание, че AI остава в огромна степен " черна кутия ". Дори изпълнителни шефове като Сам Алтман от OpenAI и Дарио Амодей от Anthropic намерено са признавали, че не схващат в дълбочина по какъв начин тъкмо действат технологиите, които основават.
" В момента сме в сериозен стадий с тази нова идея за вериги на мисълта. Изглежда много потребна, само че може да изчезне след няколко години, в случай че не се фокусираме върху нея съществено, " съобщи Боун Бейкър от OpenAI в изявление за TechCrunch.
Широка поддръжка от авторитетни фигури
Документът е подсилен от някои от най-влиятелните имена в AI промишлеността, в това число съоснователя на DeepMind Шейн Лег, съветника по сигурност на xAI Дан Хендрикс, някогашния основен академик на OpenAI Иля Сутскевер и носителя на Нобелова премия и " кръстник на AI " Джефри Хинтън.
Участието на представители от всички " Големи пет " - OpenAI, Гугъл, Anthropic, Meta и xAI - демонстрира, че промишлеността се сплотява към общи терзания за сигурността. Това е рядко събитие в мощно конкурентната AI промишленост, където фирмите нормално пазят научните си открития в загадка.
Практическо приложение и резултати
Техниката към този момент се употребява за повишение на сигурността. OpenAI е употребила мониторинга на веригите на мисълта, с цел да открие случаи, когато AI моделите са имали фразата " Да хакнем " в скритите си разсъждения, макар че това в никакъв случай не се е появило в окончателния им отговор.
Изследователите от METR са видели по какъв начин Claude на Anthropic в скритите си разсъждения назовава програмен трик " неелегантен ", макар че в обществения отговор го хвали като " грациозен ". Такива несъгласия акцентират слепото леке в разбирането на AI решенията.
Предложения за деяние
Изследователите оферират няколко съответни стъпки за опазване на прозрачността:
Разработване на стандартизирани протоколи за оценка на достоверността на веригите на мисълта
Сътрудничество сред промишлеността, академичната сфера и държавните управления за шерване на запаси и открития
Проследяване на равнището на наблюдаемост на веригите на мисълта като съществена мярка за сигурност
Избягване на интервенции, които могат да понижат прозрачността или надеждността на тези системи
Документът съставлява необичаен миг на единение в AI промишлеността и изрича на глас нещо, което до момента се избягваше: че разработчиците не се усещат изцяло в надзор над бъдещето на изкуствения разсъдък. За компании с милиарди долари в активи, това е извънредно обръщение - и тъкмо по тази причина този документ е толкоз важен.
Източник: dunavmost.com
КОМЕНТАРИ