Sitebeheerders blokkeren hele IP-ranges om bots buiten te sluiten, maar maken een uitzondering voor zoekcrawlers. Als je deze blokkeert via robots.txt worden pagina's immers niet (of in elk geval slechter) geïndexeerd en dat is SEO-technisch nou niet zo handig.

IP-ranges blokkeren is onvoldoende, maar beheerders kunnen wel het IP-adres van een crawler controleren om te zien of het een legitieme zoekspider betreft. DDoS-beschermers doen dat al en daarom hebben grotere sites hier minder last van.

Mr. Hack

Kleinere bedrijven hebben deze DDoS-bescherming vaak niet - aldus DDoS-beschermer Incapsula - en aanvallers maken daar handig gebruik van. Laten we onderstaande exacte cijfers over "Mr. Hack" met een flinke korrel zout nemen, maar dergelijke nep-crawlers waren zonder meer rond en leggen sites plat.

Volgens Incapsula (PDF) is de Google-imitator de op drie na grootste DDoS-bot op het web, na twee Baidu-spoofers en een populaire bot die zich een IE6-useragent spooft.

Infographic van beveilingsbedrijf Incapsula: (klik voor groot)