Projekt „Nový hledač“
Unsorting

http://whois.smartweb.cz

Řešit problém více IP adres na jednom serveru:
- získat systémově programovým příkazem z IP adresy identifikaci serveru
- z NIC.CZ stáhnout údaje o doménách, parsovat technické kontakty a primární seznam WWW adres (domén) setřídit podle poskytovatelů; pozor, tohle nejde pro nikoli .cz domény
- na Webu vyhledat všechny nebo největší poskytovatele  (providery) (podle počtu registrovaných domén nebo podle počtu sererů nebo podle počtu hostingů), mailnout všem nebo největším poskytovatelům, aby mi poskytli seznam „server ip_adresa“, server může být identifikován pořadovým číslem
Možná eště stahnout domény a zistit, jak sou prolikovaný.
O vzájemně prolinkovaných doménách se dá předpokládat, že jsou na jednom (WWW) serveru.

Řešit předunsort WWW adres:
- podle poskytovatelů
- podle DNS serverů

- napsat providerům, zdůraznit výhodu pro zákazníky plus nabídnout umístění poděkování na 1 rok na home page
(seznam pořadové číslo serveru a doména, případně IP adresa).
- nebo to rozlišit jinak podle záznamů v NIC a WHOIS.

Email

Dobry den,
k Vami popsanemu algoritmu unsortingu mam jednu poznamku, obvykle se u serveru webhosteru nachazi vetsi mnozstvi domen na jenom serveru (obvykle az 1500 domen), takze pokud vezmete seznam, ten zprehazite a pustite k indexovani cilovy server se s Vami opet muze prestat bavit, protoze jste sice prehazel domeny, ale uz ne cilove servery. Typicke nastaveni takovychto DoS chran byvaji:
pocte nove oteviranych spojeni za cas z jedne IP adresy
pocet nove oteviranych spojeni za cas z bloku (obvykle /24)
pocet soucasne otevrenych spojeni IP
pocet soucasne otevrenych spojeni z bloku (obvykle /24).
Tohle se dela budto primo ve firewallu nebo na aplikacni urovi v ramci webserveru (napr. mod_evasive pro Apache a podobne).
Takze by jste mel ty dotazy rozhodit ne podle domen, ale podle IP adres ciloveho serveru - tady jeste pozor na servery ktere pouzivaji pro load-balancing DNS-RR (napr. www.avast.com). Zkuste to rozhodit podle IP tak aby jste vytvoril souvisle bloky dotazu na jednu domenu (cca 3 - 7 adres) a nasledujicich nekolik bloku bude na jine domeny na jine IP adrese. Nasledne ten blok dotazu muzete zpracovat seriove v ramci jednoho spojeni s keep-alive (viz. specifikace RFC 2068, sekce 19.7.1.1). Diky rozdeleni do bloku a pouziti keep-alive zrychlite znacnym zlusobem indexovani.
Berte to jako namet na zamysleni pred spustenim - jinak riskujete ze se s Vami nektere servery prestanou bavit - a verte mi ze jako technicky reditel HOSTING90 systems s.r.o. vim o cem mluvim.
Stanislav Petr
Hosting90 s.r.o.
glux@glux.org