Машинното самообучение – новата енергийна ламя
Кривата на енергопотреблението „ излетява ” нагоре: изчислителната мощ, нужна за най-често употребяваните AI системи, се удвоява на всеки 3,4 месеца
Когато се приказва за машинно самообразование, малко на брой отварят дума за енергийното ползване
(снимка: CCO Public Domain)
С развиването на механизмите за машинно (само)обучение науката дава обещание все по-големи, комплицирани и виновни задания да могат да бъдат решавани от изкуствения разсъдък. Никой обаче не отваря дума за това, че потреблението на сила за зареждането на тези логаритми е голяма, нараства неудържимо и към този момент е на път да излезе отвън надзор. Това слага с цялостна съвестност въпроса ще можем ли в действителност да си позволим лукса на машинното самообразование?
Всички сме наясно, че безвъзмезден обяд няма. Тази елементарна и явна истина непроменяемо бива забравяна постоянно, когато ирационалното обилие се сплоти с цифрови технологии в най-новия вик „ да променим света ”.
Урокът от биткойн
Последните няколко години бяха показателни за това. Манията на криптовалутите обхвана мнозина. На пръв взор ни се видя, че е просто – всеки може да стане безумно богат от „ добива ” на нематeриалните „ монети ”. Всичко, от което се нуждаеш, е компютър и хоп – пускаш го да „ копае ” скъпата валута, от която една единица доближи смайващата стойност от над 19 хиляди $.
„ Копаенето ” обаче е развой, който употребява доста сила. Според последните налични оценки, към края на 2018 година световната биткойн система употребява към 7,7 гигавата електрическа енергия. За една година това се равнява на към 64 тераватчаса (TWh), което е почти колкото потреблението на една страна като Австрия.
Сега, когато все по-ентусиазирано се приказва за друга софтуерна наклонност – машинното самообразование, малко на брой отварят дума за нейното енергийно ползване. Но то също е огромно. Даже може би по-голямо.
Новите оценки допускат, че въглеродният отпечатък от образованието на един „ неестествен разсъдък ” е 284 тона еквивалент на въглероден диоксид – а това е колкото излъчванията от живота на пет автомобила за целия им витален цикъл, в това число и производството им. Как учените са разбрали това?
Научните планове
Ема Струбел от Университета на Масачузетс в Амхерст, Съединени американски щати и сътрудниците й са оценили потреблението на сила, нужна за образование на четири огромни невронни мрежи, употребявани за езикова обработка. Това са логаритми, каквито стоят в основата на Гугъл Translate, както и на GPT-2 генератора на текстове на OpenAI, който може безапелационно да написа подправени вести. Тези AI системи се упражняват посредством задълбочено машинно самообразование, което включва обработка на големи количества данни. „ За да научите нещо толкоз комплицирано като езика, моделите би трябвало да са огромни ”, изяснява Струбел.
Общият метод допуска да се дадат на изкуствения разсъдък милиарди писмени публикации, тъй че да се научи да схваща смисъла на думите и да разбере по какъв начин са построени изреченията.
За да измерят въздействието на този метод върху околната среда, откривателите са обучавали четири разнообразни AI – Transformer, ELMo, BERT и GPT-2 – за по един ден всеки, след което са създали пресмятане за потреблението на сила през целия интервал. След това пресметнали въглеродния отпечатък въз основа на междинните въглеродни излъчвания, употребявани при производството на сила в Съединени американски щати.
Процесът, наименуван търсене на невронна архитектура (NAS) – който включва автоматизиране на проектирането на невронна мрежа посредством проби и неточности – се оказал изключително енергоемък и времеемък. Ако образованието Transformer без NAS лишава 84 часа, със NAS то коства повече от 270 000 часа. А това изисква 3000 пъти по-голямо количество сила. Подобно образование е разпределено на десетки чипове и лишава месеци работа.
AI изпреварва даже закона на Мур
OpenAI – една авторитетна изследователска лаборатория за изкуствен интелект – неотдавна разкри, че се пробва да наблюдава количеството изчислителна мощ, нужна за машинното (само)обучение, общо взето откогато тази просвета се проходила някъде там през 1959 година Лабораторията е разкрила, че историята се разделя на две „ столетия ”.
От първите дни до 2012 година количеството изчислителна мощ, изисквана от технологията, се удвоява на всеки две години – с други думи, следва закона на Мур за растежа на процесорната мощ. Но от 2012 година нататък кривата на енергопотреблението „ излетява ” нагоре: изчислителната мощ, нужна за най-често употребяваните системи за машинно образование, се удвоява на всеки 3,4 месеца.
Ще стигнат ли ВЕИ ресурсите
Засега казусът към момента остава неусетен, тъй като тези, които заплащат сметките, най-често са големи софтуерни компании с големи запаси. Някои от тях са се ориентирали към способи да обезпечават тази сила по не-скандален метод. Гугъл, Amazon, Фейсбук – всички те имат контракти с локални ферми за слънчева и вятърна енeргия, с цел да си подсигуряват, че колкото сила употребяват, толкоз се създава от ВЕИ.
Но машинното самообразование занапред ще се разпростира. Ще смогнем ли да построяваме толкоз ВЕИ, колкото са нужни, с цел да нахраним новата енергийна ламя?
Когато се приказва за машинно самообразование, малко на брой отварят дума за енергийното ползване
(снимка: CCO Public Domain)
С развиването на механизмите за машинно (само)обучение науката дава обещание все по-големи, комплицирани и виновни задания да могат да бъдат решавани от изкуствения разсъдък. Никой обаче не отваря дума за това, че потреблението на сила за зареждането на тези логаритми е голяма, нараства неудържимо и към този момент е на път да излезе отвън надзор. Това слага с цялостна съвестност въпроса ще можем ли в действителност да си позволим лукса на машинното самообразование?
Всички сме наясно, че безвъзмезден обяд няма. Тази елементарна и явна истина непроменяемо бива забравяна постоянно, когато ирационалното обилие се сплоти с цифрови технологии в най-новия вик „ да променим света ”.
Урокът от биткойн
Последните няколко години бяха показателни за това. Манията на криптовалутите обхвана мнозина. На пръв взор ни се видя, че е просто – всеки може да стане безумно богат от „ добива ” на нематeриалните „ монети ”. Всичко, от което се нуждаеш, е компютър и хоп – пускаш го да „ копае ” скъпата валута, от която една единица доближи смайващата стойност от над 19 хиляди $.
„ Копаенето ” обаче е развой, който употребява доста сила. Според последните налични оценки, към края на 2018 година световната биткойн система употребява към 7,7 гигавата електрическа енергия. За една година това се равнява на към 64 тераватчаса (TWh), което е почти колкото потреблението на една страна като Австрия.
Сега, когато все по-ентусиазирано се приказва за друга софтуерна наклонност – машинното самообразование, малко на брой отварят дума за нейното енергийно ползване. Но то също е огромно. Даже може би по-голямо.
Новите оценки допускат, че въглеродният отпечатък от образованието на един „ неестествен разсъдък ” е 284 тона еквивалент на въглероден диоксид – а това е колкото излъчванията от живота на пет автомобила за целия им витален цикъл, в това число и производството им. Как учените са разбрали това?
Научните планове
Ема Струбел от Университета на Масачузетс в Амхерст, Съединени американски щати и сътрудниците й са оценили потреблението на сила, нужна за образование на четири огромни невронни мрежи, употребявани за езикова обработка. Това са логаритми, каквито стоят в основата на Гугъл Translate, както и на GPT-2 генератора на текстове на OpenAI, който може безапелационно да написа подправени вести. Тези AI системи се упражняват посредством задълбочено машинно самообразование, което включва обработка на големи количества данни. „ За да научите нещо толкоз комплицирано като езика, моделите би трябвало да са огромни ”, изяснява Струбел.
Общият метод допуска да се дадат на изкуствения разсъдък милиарди писмени публикации, тъй че да се научи да схваща смисъла на думите и да разбере по какъв начин са построени изреченията.
За да измерят въздействието на този метод върху околната среда, откривателите са обучавали четири разнообразни AI – Transformer, ELMo, BERT и GPT-2 – за по един ден всеки, след което са създали пресмятане за потреблението на сила през целия интервал. След това пресметнали въглеродния отпечатък въз основа на междинните въглеродни излъчвания, употребявани при производството на сила в Съединени американски щати.
Процесът, наименуван търсене на невронна архитектура (NAS) – който включва автоматизиране на проектирането на невронна мрежа посредством проби и неточности – се оказал изключително енергоемък и времеемък. Ако образованието Transformer без NAS лишава 84 часа, със NAS то коства повече от 270 000 часа. А това изисква 3000 пъти по-голямо количество сила. Подобно образование е разпределено на десетки чипове и лишава месеци работа.
AI изпреварва даже закона на Мур
OpenAI – една авторитетна изследователска лаборатория за изкуствен интелект – неотдавна разкри, че се пробва да наблюдава количеството изчислителна мощ, нужна за машинното (само)обучение, общо взето откогато тази просвета се проходила някъде там през 1959 година Лабораторията е разкрила, че историята се разделя на две „ столетия ”.
От първите дни до 2012 година количеството изчислителна мощ, изисквана от технологията, се удвоява на всеки две години – с други думи, следва закона на Мур за растежа на процесорната мощ. Но от 2012 година нататък кривата на енергопотреблението „ излетява ” нагоре: изчислителната мощ, нужна за най-често употребяваните системи за машинно образование, се удвоява на всеки 3,4 месеца.
Ще стигнат ли ВЕИ ресурсите
Засега казусът към момента остава неусетен, тъй като тези, които заплащат сметките, най-често са големи софтуерни компании с големи запаси. Някои от тях са се ориентирали към способи да обезпечават тази сила по не-скандален метод. Гугъл, Amazon, Фейсбук – всички те имат контракти с локални ферми за слънчева и вятърна енeргия, с цел да си подсигуряват, че колкото сила употребяват, толкоз се създава от ВЕИ.
Но машинното самообразование занапред ще се разпростира. Ще смогнем ли да построяваме толкоз ВЕИ, колкото са нужни, с цел да нахраним новата енергийна ламя?
Източник: technews.bg
КОМЕНТАРИ