Колко .com имена на домейни не се използват
Материалът е на известния експерт по мрежови технологии от Сингапур Christopher Forno.
Докато търсих свободни имена в.com зоната, бях прекомерно неприятно сюрпризиран от броя заети, само че неизползвани домейни. По всичко проличава, че към този момент са регистрирани всички произносими комбинации от букви на всички съществени езици от целия свят. И даже непроизносимите комбинации. Дали пазарът на домейни е толкоз огромен или аз някак все не се сещам по какъв начин да не предпочитам към този момент регистрирани имена на домейни? Да погледнем голата статистика…
Към сегашен ден са регистрирани 137 милиона домейнни имена от вида.com. Според данните на Verisign, в дейната зона към 27.01.2019 година са налични 137 756 106.com домейна. Преди да направя своята инспекция, ревизирах коректността на това число с файла от DNS зоната.
Една трета от тези имена на домейни се употребяват за другите предприятия, за персонални уеб уеб сайтове, е-поща и така нататък Другата една трета от всичките тези имена на домейни явно не се използва, а последната една трета част се употребява за най-различни спекулативни цели.
Ето по какъв начин се употребяват домейните:
Как получих тези цифри
Започнах да обхождам по инцидентен метод домейните от първо равнище, които бяха в DNS файла, който изтеглих на 21.01.2019 година. Обхождането продължи до 23.01.2019, когато доближих 100 000 годни имена на домейни. Не всички записи бяха годни – някои от тях са примамки за лов на хора, които незаконно популяризират файловете от домейната зона, а към 1% от тях са сървъри за имена. След като ги махнах, останаха 98 854 годни домейни.
За всеки един домейн събрах следните данни:
WHOIS записаВсички DNS записи за домейните от първо равнище и www поддомейнитеHTTP и HTTPS отговоритеСкрийншотите на основните страници, които направих в Mozilla Firefox 64.0 под Linux
Сканирането лиши малко повече от 48 часа благодарение на един сървър в сингапурския дата център. След това стартирах втория стадий на обхождането, само че този път за всички домейни, които не можаха да се включат посредством HTTP и HTTPS, и дадоха неточност. И най-после, ръчно ревизирах 2188 домейна, за които излязоха неточности за таймаут или DOM събитията бяха блокирани с JavaScript код.
След това написах спомагателен скрипт за ускорение ръчната подредба на уеб страниците въз основата на техните скрийншоти и наличието.
С помощта на този скрипт категоризацията на уеб страниците лиши 2 дни. Не всички уеб сайтове трябваше да се класифицират ръчно: в редица случаи категорията бе явна по полето <title>, тъй че можеха да се употребяват регулярни изрази. В други случаи скрийншотът не бе задоволителен и се постановяваше ръчното отваряне на домейна в браузъра за инспекция.
Обобщена статистика и заключения
Топ-10 на.com регистраторите
GoDaddy е записал една трета от всичките получени от мен имена на домейни. Това са почти 45 милиона домейна. Една трета от тях са паркирани домейни. Или с други думи, над 10% от всички.com домейни в интернет популяризират рекламите и известията на GoDaddy
Въпреки, че в изследваните от мен домейни се виждат 1851 регистратора, те се ръководят от дребен брой оператори. Така да вземем за пример, единствено DropCatch.com управлява над хиляда регистратора: DropCatch.com 1000 LLC, DropCatch.com 1001 LLC, DropCatch.com 1002 и така нататък Аналогични схеми с сходно номериране употребяват и другите. Много рядко се срещат комплицирани и неочевидни схеми.
През изтеклата една година са регистрирани още 25% домейни
Възраст на домейните в години
Категории на домейнитеСъдържание: 31% или към 43 милиона
Съдържанието е домейн с всякаква неповторима информация. Това е категорията, в която поставях и всички уеб уеб сайтове, за които имах някакви подозрения.
Реклама: 23% или почти 31 милиона домейна
Обърнете внимание, че половината домейни от тази категория са паркирани домейни на GoDaddy, на които GoDaddy слага рекламите на Гугъл въз основа на основните думи, свързани с домейна.
Без уеб сървър: 11% или към 16 милиона
Ако не можех на осъществя връзка или да получа отговор по портовете 80 или 443 за домейна от първо равнище или за www субдомейна, при изискване, че няма MX записи, поставях домейна в тази категория. Навярно някои от тези домейни по този начин или другояче се употребяват – да вземем за пример като FTP или гейм сървър, само че ми се коства, че това се прави рядко. И още, тук сложих всички уеб сайтове с IPv6 протокола, тъй като сървърът, който използвах за обхождането бе надъхан единствено за IP4.
Нищо – 9,2% или почти 13 милиона
Празният домейн е този, за който уеб сървърът дава отговор на запитванията, само че връща празни страници, неточност 404 или незапълнени шаблони (възможно е това да е конфигуриран WordPress с настройките по подразбиране).
Разликата сред паркирания и празния домейн е, че за празния домейн се допуска, че е надъхан от потребителя, само че още не е добавено наличие.
За обмен: 7,1% или към 9,8 милиона
Много домейни се продават посредством разнообразни брокери и търговски площадки. Почти половината от тях се продават от HugeDomains, макар че в техния уебсайт можем да забележим надписа за над 200 000 налични домейна.
Грешка: 5,7% или ~7,9 милиона
Ако домейнът връща неточност от какъвто и да било вид – HTTP или има неточност в страницата, то той бе систематизиран тук.
Паркирани: 4,8% или ~6,5 милиона
Паркираните домейни демонстрират страницата на регистратора или оповестяват, че домейнът още не е надъхан. За да попадне в тази категория, домейнът би трябвало да демонстрира страница без външна реклама. Той може да популяризира личните си услуги, само че не може да помества разгласи от рекламните мрежи.
Хазартни игри: 3,0% или ~4 милиона
Почти всички уеб сайтове от тази категория са на китайски език и постоянно работят под псевдоними. Най-често това са къси редове от числа и съгласни (например 17770012 или tdwhtr). Те доста си наподобяват и употребяват един и същи образец. Изображенията им също са сходни и имат автоматизирано генерирани логотипи. Явно по този метод притеглят хората.
Поща: 2.6% или ~3,5 милиона
Ако домейнът не е подобаващ за никоя категория, само че има MX запис в DNS за email, то го слагах в тази категория. Не съм проверявал дали работи пощенският сървър и доставката. Възможно е някои от тези домейни да не се употребяват за е-поща.
Пренасочващи 1,1% или ~1,6
Това са „домейните на тщеславието“, които препращат към страници на Фейсбук, към различни страници на фирмите и така нататък
Частни 0,64% или ~0,9 милиона
Това са уеб сайтове, страниците в които са недостъпни без верните потребителско име и ключова дума, а в някои случаи желаят и регистрация.
Порно 0,59% или ~0,8 милиона
Подобно на хазартните уеб сайтове, доста порносайтове употребяват псевдоними. И тук множеството уеб сайтове са на китайски език, а домейните следват едни и същи шаблони за имената. Тъй като съвсем всички уеб сайтове от този вид демонстрират нецензурен материали без предизвестие, взех решение да не върша скрийншоти.
Докато търсих свободни имена в.com зоната, бях прекомерно неприятно сюрпризиран от броя заети, само че неизползвани домейни. По всичко проличава, че към този момент са регистрирани всички произносими комбинации от букви на всички съществени езици от целия свят. И даже непроизносимите комбинации. Дали пазарът на домейни е толкоз огромен или аз някак все не се сещам по какъв начин да не предпочитам към този момент регистрирани имена на домейни? Да погледнем голата статистика…
Към сегашен ден са регистрирани 137 милиона домейнни имена от вида.com. Според данните на Verisign, в дейната зона към 27.01.2019 година са налични 137 756 106.com домейна. Преди да направя своята инспекция, ревизирах коректността на това число с файла от DNS зоната.
Една трета от тези имена на домейни се употребяват за другите предприятия, за персонални уеб уеб сайтове, е-поща и така нататък Другата една трета от всичките тези имена на домейни явно не се използва, а последната една трета част се употребява за най-различни спекулативни цели.
Ето по какъв начин се употребяват домейните:
Как получих тези цифри
Започнах да обхождам по инцидентен метод домейните от първо равнище, които бяха в DNS файла, който изтеглих на 21.01.2019 година. Обхождането продължи до 23.01.2019, когато доближих 100 000 годни имена на домейни. Не всички записи бяха годни – някои от тях са примамки за лов на хора, които незаконно популяризират файловете от домейната зона, а към 1% от тях са сървъри за имена. След като ги махнах, останаха 98 854 годни домейни.
За всеки един домейн събрах следните данни:
WHOIS записаВсички DNS записи за домейните от първо равнище и www поддомейнитеHTTP и HTTPS отговоритеСкрийншотите на основните страници, които направих в Mozilla Firefox 64.0 под Linux
Сканирането лиши малко повече от 48 часа благодарение на един сървър в сингапурския дата център. След това стартирах втория стадий на обхождането, само че този път за всички домейни, които не можаха да се включат посредством HTTP и HTTPS, и дадоха неточност. И най-после, ръчно ревизирах 2188 домейна, за които излязоха неточности за таймаут или DOM събитията бяха блокирани с JavaScript код.
След това написах спомагателен скрипт за ускорение ръчната подредба на уеб страниците въз основата на техните скрийншоти и наличието.
С помощта на този скрипт категоризацията на уеб страниците лиши 2 дни. Не всички уеб сайтове трябваше да се класифицират ръчно: в редица случаи категорията бе явна по полето <title>, тъй че можеха да се употребяват регулярни изрази. В други случаи скрийншотът не бе задоволителен и се постановяваше ръчното отваряне на домейна в браузъра за инспекция.
Обобщена статистика и заключения
Топ-10 на.com регистраторите
GoDaddy е записал една трета от всичките получени от мен имена на домейни. Това са почти 45 милиона домейна. Една трета от тях са паркирани домейни. Или с други думи, над 10% от всички.com домейни в интернет популяризират рекламите и известията на GoDaddy
Въпреки, че в изследваните от мен домейни се виждат 1851 регистратора, те се ръководят от дребен брой оператори. Така да вземем за пример, единствено DropCatch.com управлява над хиляда регистратора: DropCatch.com 1000 LLC, DropCatch.com 1001 LLC, DropCatch.com 1002 и така нататък Аналогични схеми с сходно номериране употребяват и другите. Много рядко се срещат комплицирани и неочевидни схеми.
През изтеклата една година са регистрирани още 25% домейни
Възраст на домейните в години
Категории на домейнитеСъдържание: 31% или към 43 милиона
Съдържанието е домейн с всякаква неповторима информация. Това е категорията, в която поставях и всички уеб уеб сайтове, за които имах някакви подозрения.
Реклама: 23% или почти 31 милиона домейна
Обърнете внимание, че половината домейни от тази категория са паркирани домейни на GoDaddy, на които GoDaddy слага рекламите на Гугъл въз основа на основните думи, свързани с домейна.
Без уеб сървър: 11% или към 16 милиона
Ако не можех на осъществя връзка или да получа отговор по портовете 80 или 443 за домейна от първо равнище или за www субдомейна, при изискване, че няма MX записи, поставях домейна в тази категория. Навярно някои от тези домейни по този начин или другояче се употребяват – да вземем за пример като FTP или гейм сървър, само че ми се коства, че това се прави рядко. И още, тук сложих всички уеб сайтове с IPv6 протокола, тъй като сървърът, който използвах за обхождането бе надъхан единствено за IP4.
Нищо – 9,2% или почти 13 милиона
Празният домейн е този, за който уеб сървърът дава отговор на запитванията, само че връща празни страници, неточност 404 или незапълнени шаблони (възможно е това да е конфигуриран WordPress с настройките по подразбиране).
Разликата сред паркирания и празния домейн е, че за празния домейн се допуска, че е надъхан от потребителя, само че още не е добавено наличие.
За обмен: 7,1% или към 9,8 милиона
Много домейни се продават посредством разнообразни брокери и търговски площадки. Почти половината от тях се продават от HugeDomains, макар че в техния уебсайт можем да забележим надписа за над 200 000 налични домейна.
Грешка: 5,7% или ~7,9 милиона
Ако домейнът връща неточност от какъвто и да било вид – HTTP или има неточност в страницата, то той бе систематизиран тук.
Паркирани: 4,8% или ~6,5 милиона
Паркираните домейни демонстрират страницата на регистратора или оповестяват, че домейнът още не е надъхан. За да попадне в тази категория, домейнът би трябвало да демонстрира страница без външна реклама. Той може да популяризира личните си услуги, само че не може да помества разгласи от рекламните мрежи.
Хазартни игри: 3,0% или ~4 милиона
Почти всички уеб сайтове от тази категория са на китайски език и постоянно работят под псевдоними. Най-често това са къси редове от числа и съгласни (например 17770012 или tdwhtr). Те доста си наподобяват и употребяват един и същи образец. Изображенията им също са сходни и имат автоматизирано генерирани логотипи. Явно по този метод притеглят хората.
Поща: 2.6% или ~3,5 милиона
Ако домейнът не е подобаващ за никоя категория, само че има MX запис в DNS за email, то го слагах в тази категория. Не съм проверявал дали работи пощенският сървър и доставката. Възможно е някои от тези домейни да не се употребяват за е-поща.
Пренасочващи 1,1% или ~1,6
Това са „домейните на тщеславието“, които препращат към страници на Фейсбук, към различни страници на фирмите и така нататък
Частни 0,64% или ~0,9 милиона
Това са уеб сайтове, страниците в които са недостъпни без верните потребителско име и ключова дума, а в някои случаи желаят и регистрация.
Порно 0,59% или ~0,8 милиона
Подобно на хазартните уеб сайтове, доста порносайтове употребяват псевдоними. И тук множеството уеб сайтове са на китайски език, а домейните следват едни и същи шаблони за имената. Тъй като съвсем всички уеб сайтове от този вид демонстрират нецензурен материали без предизвестие, взех решение да не върша скрийншоти.
Източник: kaldata.com
КОМЕНТАРИ