Anthropic призовава водещите лаборатории за изкуствен интелект да обмислят забавяне

Anthropic приканва водещите лаборатории за изкуствен интелект да обмислят закъснение на темпа на развиване. Стартъпът предизвестява, че AI системите напредват толкоз бързо, че скоро може да стартират да се усъвършенстват сами, без човешка интервенция, по способи, които биха могли да основат обилни опасности за обществото.

Възможността световното развиване на AI да бъде забавено „ евентуално би била нещо положително “, споделя компанията в блог обява, в която разкрива вътрешни данни за това какъв брой бързо се усъвършенстват най-напредналите ѝ модели.

Публикацията, написана от ръководителя на вътрешния проучвателен институт на Anthropic и от един от съоснователите на компанията, отбелязва, че развиването на моделите наподобява се движи към така наречен „ рекурсивно самоусъвършенстване “ - моментът, в който AI системите могат да се усъвършенстват сами без човешка интервенция.

Част от хората в промишлеността преглеждат този предел като евентуален сигнал за заплаха и големи публични разтърсвания.

„ Смятаме, че за света би било добре да има опция да забави или краткотрайно да спре развиването на най-напредналите AI системи, с цел да могат публичните структури и проучванията върху подравняването да настигнат напредъка на технологията “, се споделя в обявата, написана от Марина Фаваро и Джак Кларк.

Тя предлага световно съглашение за това по какъв начин вероятно да бъде забавено развиването и механизъм за инспекция дали съперниците го съблюдават.

Публикацията прецизира, че рекурсивното самоусъвършенстване към момента не се е случило и не е неизбежно, „ само че може да пристигна по-рано, в сравнение с множеството институции са подготвени да посрещнат “.

Наскоро Anthropic завърши кръг на финансиране, който оцени компанията на съвсем 1 трлн. $, и подаде конфиденциални документи за започване на процеса по обществено листване на акциите си.

В последно време компанията се обрисува като любимец в ожесточената конкуренция за водачество в AI против OpenAI, основателя на ChatGPT, която също се чака скоро да подаде документи за първично обществено предложение.

Годишният ритъм на приходите на Anthropic, индикатор, постоянно употребен от стартъпи за прогнозиране на доходи на база краткосрочни продажби, е на път да доближи 50 милиарда $ до края на този месец по отношение на 9 милиарда $ в края на 2025 година

Компанията, която още от основаването си слага акцент върху сигурността на AI, от дълго време е подложена на критика, че политическата ѝ работа има за цел да забави напредъка на съперниците.

Дейвид Сакс, вложител в рисков капитал и неофициален консултант на Белия дом, упреква управлението на Anthropic, че се пробва да си обезпечи регулаторно преимущество за сметка на съперниците.

Сакс съобщи неотдавна, че тази тактика във Вашингтон може да докара до опит за възбрана на така наречен open-source модели - версии на AI системи, които са доста по-евтини за организациите и могат да бъдат употребявани и развивани вътрешно.

Критиците на Anthropic виждат в тези предизвестия и маркетингов детайл. Според тях решението на компанията да ограничи достъпа до мощния си кибермодел Mythos, който може да открива софтуерни уязвимости, ѝ разрешава по едно и също време да приказва за рисковете и да акцентира какъв брой напреднали са личните ѝ артикули, написа The Wall Street Journal.

Ръководителите на Anthropic декларират, че одобряват сигурността съществено и работят за по-широк диалог за рисковете.

Итън Молик, професор в Wharton School към Университета на Пенсилвания и авторитетен откривател на AI трансформацията, споделя, че въпреки някои критици на Anthropic да виждат празни приказки и маркетинг в изказванията ѝ за сигурността, доста хора в компанията са „ същински вярващи “.

„ AI лабораториите са комбинация от разнообразни неща “, споделя пред WSJ Молик.

„ Има компания за трилион $ с всички естествени неща за такава компания, като маркетингови екипи и адвокати. След това има ядро от откриватели, които просто основават идващите модели. И има група хора, нещо като философи и водачи, които се тревожат за бъдещето и за това какво следва. Понякога всички тези групи влизат в спор между тях. “

AI промишлеността от известно време е разграничена по въпроса какъв брой близо са сегашните модели до постигане на прагове като „ неестествен общ разсъдък “, или AGI - равнище на просветеност, сравнимо с човешкото, или рекурсивно самоусъвършенстване.

Някои учени, като Ян Льокюн, някогашен основен AI академик в Meta и един от пионерите в региона, настояват, че усъвършенстваните системите, основани на огромни езикови модели, в никакъв случай няма да могат да създадат скока към съревнование с човешкия разсъдък. Макар да преглежда AI моделите като мощни принадлежности, той ги съпоставя с интелигентността на котка и влиза в разногласия с откриватели, които се опасяват, че AI съставлява екзистенциален риск за човечеството.

Ръководителите на Anthropic, в това число основният изпълнителен шеф Дарио Амодей, от години предизвестяват за евентуално рискови последствия от AI и упорстват за необятна социална съгласуваност за преодоляване на рисковете.

Амодей предизвестява, че AI може да задълбочи неравенството и да отстрани до половината от началните офисни позиции.

Той също по този начин е предупреждавал, че е допустимо мощни AI системи, които съгласно него ще се появят в близко бъдеще, да развият разрушителни трендове по непредсказуем метод.

В есе, оповестено на личния му уебсайт през януари, Амодей позволява, че образованието на AI системи с научнофантастични сюжети за протест на изкуствен интелект може да вземем за пример да докара до това действителни AI системи да се разпалват.

Кларк, съавтор на блог обявата, началник на публичната активност на Anthropic и съосновател на компанията, постоянно приказва за евентуалните опасности от AI и за въздействието, което системите биха имали, в случай че доближат точката на „ рекурсивно самоусъвършенстване “.

По думите му това би преобразило света.

„ Такъв клас технология в никакъв случай до момента не е съществувал, само че аз имам вяра, че това може да се случи в идващите две години, а може би и по-рано “, сподели той на лекция в Лондон предишния месец, съгласно изявление, което е споделил в бюлетин.

„ При липса на координирано световно закъснение оставаме в сегашната обстановка: мощна технология се създава с стремглава скорост от разнообразни участници в разнообразни страни, заключени в конкуренция между тях, в която комерсиалните и геополитическите съперничества заглушават по-големите, екзистенциални за типа аспекти на технологията, която се построява. “

В блог обявата от четвъртък се показва, че Anthropic Institute, вътрешно изследователско звено, отдадено на разбирането и оформянето на метода, по който AI ще въздейства върху света, ще организира проучвания в съдействие с други организации, с цел да „ помогне за построяването на системите, които едно надеждно закъснение или пауза биха претендирали “.

Публикацията показва, че пауза или закъснение би имало смисъл единствено в случай че се съблюдава необятно, което би изисквало режим за инспекция, с цел да се подсигурява, че всички са спрели. Компанията съпоставя казуса с договорите за нуклеарни оръжия, само че признава, че предотвратяването на измами би било още по-трудно.

„ Тренировъчните цикли са надалеч по-лесни за прикриване от ракетните силози “, се споделя в обявата, като се прибавя: „ Този, който продължи, до момента в който другите са спрели, може да наследи водачеството. “

Anthropic възнамерява през идващите месеци да провежда диалози с политици, откриватели и други участници, с цел да помогне за намирането на отговори на въпросите към рекурсивното самоусъвършенстване и системата за инспекция.

„ Прозорецът за взаимно проучване на тези въпроси е отворен и хора отвън AI фирмите би трябвало да вземат участие в това разискване. “