14 терабайта в секунда: Google разкрива тайната на Effingo
Effingo обезпечава невиждана скорост на данните, променяйки разпоредбите на играта в ръководството на информацията.
Гугъл разкри техническите детайлности за своя вътрешен инструмент за продан на данни, който се назовава Effingo и с който всеки ден се трансферират приблизително 1,2 екзабайта информация.
По време на конференцията SIGCOMM 2024 в Сидни беше показан формален документ, в който се изяснява, че рестриктивните мерки на честотната лента и непрекъснатата скорост на светлината принуждават Гугъл да дублира данните, тъй че те да са по-близо до мястото, където се обработват или споделят. Инструментът Effingo понижава мрежовата инертност от стотици милисекунди до десетки милисекунди на континент.
Конвенционалните принадлежности за прекачване на данни или усъвършенстват времето за прекачване, или обработват потоци от данни от точка до точка, само че не могат да се оправят с размерите данни, които Effingo трансферира всеки ден – 14 терабайта в секунда. Effingo взема поради значимостта на дилемите, като обезпечава нужните запаси за приоритизиране на задания като възобновяване след злополучие пред рутинното прекачване на данни.
Effingo е усъвършенствана да употребява файловата система Colossus, създадена от Гугъл и внедрена в клъстери, състоящи се от хиляди машини. На всеки клъстер е конфигуриран софтуера Effingo, който се състои от контролна и транспортна повърхност. Плоскостта за ръководство ръководи виталния цикъл на копирането, до момента в който транспортната повърхност трансферира данните и наблюдава положението. Транспортната низина употребява 99% от ресурса на процесора, само че се състои от по-малко от 7% реда код.
Всеки клъстер е обвързван с другите клъстери посредством мрежи с ниска инертност и висока пропускателна дарба или WAN връзки, като се употребява инфраструктура на Гугъл и на трети страни. Инструментът Bandwidth Enforcer (BWe), също създаден от Гугъл, разпределя честотната лента въз основа на целите на услугите и цената на добавената честотна лента.
Когато даден консуматор стартира трансфер на данни, Effingo изисква систематизиране на трафика от BWe и стартира да трансферира данните допустимо най-бързо. Това систематизиране може да стане въз основа на авансово избрани квоти, като се употребяват индикаторите за широчината на честотната лента и наличните работни запаси на Effingo, които извършват интервенциите по пренасяне на данни под формата на „ Borg “-задачи (платформата за контейнеризация на Google).
Въпреки всички старания за разпределение на ресурсите, междинният размер на световната опашка на Effingo е 12 милиона файла, което се равнява на към осем петабайта. В пиковите моменти опашките се усилват с 12 петабайта и девет милиона файла, когато 10-те най-големи консуматори предизвикват нови прехвърляния.
Гугъл възнамерява да усъвършенства интеграцията на Effingo със системите за ръководство на ресурсите и да усъвършенства потреблението на CPU за прехвърлянията сред клъстерите. Планирани са и усъвършенствания за по-бързо мащабиране на прехвърлянията на данни.
