Събирачите на данни за AI забавиха глобалния интернет
Хостинг снабдители се оплакват от всеобщо настъпление на уеб роботи
AI ботовете събират нападателно данни от уебсайтовете, което води до закъснение на интернет услугите (снимка: CC0 Public Domain)
Изкуственият разсъдък, наред с многото си и разнопосочни въздействия върху ИТ промишлеността и пазара на труда, докара и до един малко предстоящ резултат – закъснение на интернет по целия свят. На какво се дължи това?
Оказа се, че събирането на данни за образование на AI моделите е претрупало услугите на хостинг доставчиците, което респективно се отразява на скоростта на интернет достъпа за крайните консуматори. Хостинг платформата за планове с отворен код SourceHut заяви, че нейните услуги са били забавени от уеб роботи, ръководени от компании за изкуствен интелект. Подобни недоволства идват все по-често от притежатели на други хостинг запаси.
За да ограничи трафика от AI ботове, SourceHut трябваше да внедри Nepenthes – отбрана против уеб роботи, които събират данни за образование на AI модели. Администраторите на платформата едностранно са блокирали целия диапазон от адреси на няколко облачни снабдители, заради несъразмерни размери трафик от ботове, ситуирани в техните мрежи.
Собствениците на добросъвестни услуги в тези облачни инфраструктури са посъветвани да се свържат самостоятелно с админите на SourceHut, с цел да ги прибавят към изключенията.
През 2023 година компанията OpenAI, разработчик на ChatGPT, даде обещание, че нейните ботове ще следват наставления от файловете robots.txt, които указват по какъв начин уеб роботите обработват данните от уеб страниците. Други разработчици на AI са поели сходни задължения, само че не престават да постъпват недоволства за злоупотреби.
Миналото лято уебсайтът iFixit беше атакуван от бота Anthropic Claudebot. През декември хостът Vercel регистрира доста наличие на AI роботи в своята инфраструктура: OpenAI GPTbot изпрати 569 милиона поръчки към неговата мрежа, до момента в който Anthropic Claude изпрати 370 милиона. Заедно те съставляват към 20% от 4,5-те милиарда поръчки, които Googlebot употребява за индексиране на уеб запаси.
В същото време разработчикът на разпределената обществена мрежа Diaspora, Денис Шуберт, се оплака, че през предходните 60 дни ботовете с изкуствен интелект съставляват 70% от трафика към неговия сървър. Публикацията стана “вирусна ” и интензивността на AI роботите внезапно спадна.
Въпреки това онлайн хулиганите предизвикаха всеобщо настъпление на поръчки от клиенти със стойност на низа на потребителския сътрудник (user-agent), съответстваща на OpenAI GPTbot. Но същинският OpenAI AI бот изпраща поръчки от инфраструктурата на Microsoft Azure, а в тази ситуация със сървъра на Diaspora те идват от адреси на AWS и даже от американски интернет снабдители.
Ситуацията се усложнява от обстоятелството, че някои ботове имат голям брой цели. По този метод Meta AI bot и AppleBot събират данни извънредно за AI образование, до момента в който GoogleBot обслужва както AI, по този начин и индексирането при търсене. За да избегне комплициране, през 2023 година Гугъл добави обособена Google-Extended стойност за принадлежности за образование на AI.
N-able Cove Data Protection: Революцията в сигурния бекъп и възобновяване на данни
Облачният метод отстрани нуждата от комплицирана инфраструктура и скъпа поддръжка »»»
предишна обява: Свързаността: чака се 6-кратно нарастване на търсенето следваща обява:
графа: Интернет, Мрежи, Новини, Топ вести | етикети: ботове, изкуствен интелект, интернет, уеб роботи, хостинг
Коментар
ИМЕ *
AI ботовете събират нападателно данни от уебсайтовете, което води до закъснение на интернет услугите (снимка: CC0 Public Domain)
Изкуственият разсъдък, наред с многото си и разнопосочни въздействия върху ИТ промишлеността и пазара на труда, докара и до един малко предстоящ резултат – закъснение на интернет по целия свят. На какво се дължи това?
Оказа се, че събирането на данни за образование на AI моделите е претрупало услугите на хостинг доставчиците, което респективно се отразява на скоростта на интернет достъпа за крайните консуматори. Хостинг платформата за планове с отворен код SourceHut заяви, че нейните услуги са били забавени от уеб роботи, ръководени от компании за изкуствен интелект. Подобни недоволства идват все по-често от притежатели на други хостинг запаси.
За да ограничи трафика от AI ботове, SourceHut трябваше да внедри Nepenthes – отбрана против уеб роботи, които събират данни за образование на AI модели. Администраторите на платформата едностранно са блокирали целия диапазон от адреси на няколко облачни снабдители, заради несъразмерни размери трафик от ботове, ситуирани в техните мрежи.
Собствениците на добросъвестни услуги в тези облачни инфраструктури са посъветвани да се свържат самостоятелно с админите на SourceHut, с цел да ги прибавят към изключенията.
През 2023 година компанията OpenAI, разработчик на ChatGPT, даде обещание, че нейните ботове ще следват наставления от файловете robots.txt, които указват по какъв начин уеб роботите обработват данните от уеб страниците. Други разработчици на AI са поели сходни задължения, само че не престават да постъпват недоволства за злоупотреби.
Миналото лято уебсайтът iFixit беше атакуван от бота Anthropic Claudebot. През декември хостът Vercel регистрира доста наличие на AI роботи в своята инфраструктура: OpenAI GPTbot изпрати 569 милиона поръчки към неговата мрежа, до момента в който Anthropic Claude изпрати 370 милиона. Заедно те съставляват към 20% от 4,5-те милиарда поръчки, които Googlebot употребява за индексиране на уеб запаси.
В същото време разработчикът на разпределената обществена мрежа Diaspora, Денис Шуберт, се оплака, че през предходните 60 дни ботовете с изкуствен интелект съставляват 70% от трафика към неговия сървър. Публикацията стана “вирусна ” и интензивността на AI роботите внезапно спадна.
Въпреки това онлайн хулиганите предизвикаха всеобщо настъпление на поръчки от клиенти със стойност на низа на потребителския сътрудник (user-agent), съответстваща на OpenAI GPTbot. Но същинският OpenAI AI бот изпраща поръчки от инфраструктурата на Microsoft Azure, а в тази ситуация със сървъра на Diaspora те идват от адреси на AWS и даже от американски интернет снабдители.
Ситуацията се усложнява от обстоятелството, че някои ботове имат голям брой цели. По този метод Meta AI bot и AppleBot събират данни извънредно за AI образование, до момента в който GoogleBot обслужва както AI, по този начин и индексирането при търсене. За да избегне комплициране, през 2023 година Гугъл добави обособена Google-Extended стойност за принадлежности за образование на AI.
N-able Cove Data Protection: Революцията в сигурния бекъп и възобновяване на данни
Облачният метод отстрани нуждата от комплицирана инфраструктура и скъпа поддръжка »»»
предишна обява: Свързаността: чака се 6-кратно нарастване на търсенето следваща обява:
графа: Интернет, Мрежи, Новини, Топ вести | етикети: ботове, изкуствен интелект, интернет, уеб роботи, хостинг
Коментар
ИМЕ *
Източник: technews.bg
КОМЕНТАРИ