Internetbeveiligingsbedrijf Incapsula heeft 1000 websites onderzocht en daarbij ontdekt dat een aantal Google-bots niet zijn wat ze beweren te zijn. Deze langs websites gaande nepbots zijn overigens niet allemaal gevaarlijk. Incapsula telde 35 sites die een nepbot toelieten, waarvan een aantal gegenereerd zijn door tools voor zoekmachineoptimalisatie.

Malware kruipt cms binnen

Volgens Incapsula zijn er onder de nepbots echter ook malwarebezorgers. Het bedrijf heeft bij de zoekactie ook een zogenaamde Google-bot aangetroffen met een malafide payload. Die website-crawler draagt een worm in zich die gaten in de cms'en Joomla en e107 misbruikt. Langs die gaten plaatst het kwaadaardige code op de website, waardoor dan weer bezoekers daarvan zijn te besmetten.

De meest simpele methode om een Google-bot te spoofen is door de UA-string (user agent) van de echte bot te gebruiken. De onderzoekers van Incapsula zeggen ook bots aangetroffen te hebben die een geniepigere methode gebruiken: zij imiteren ook het gedrag van een echte crawler. Deze bots genereren net als de echte Google-bot dezelfde soort informatieverzoeken, waardoor ze minder snel door de mand vallen.

Betere controle

Incapsula adviseert websitemakers niet alleen de user agent te valideren, maar ook de door Google gebruikte ip-adressen. Het volledig blokkeren van de user agent van de Google-bot valt af te raden. Zo'n algehele blokkade leidt er namelijk toe dat nieuwe pagina's op een website niet in de index van de zoekreus worden opgenomen en dus niet worden getoond in zoekresultaten.