De Rotterdamse provider ("De digitale snelweg zonder files") blijkt niet toe te staan dat de homepages van zijn particuliere abonnees door zoekmachines in hun indexen worden opgenomen. De beperking kwam aan het licht toen de spider van Vindex bij de servers van Wirehub aanklopte. Een poging van dit programma – dat automatisch pagina's op Nederlandse webdomeinen afgraast en indexeert – om de homepages van Wirehuppers (op home.wirehub.nl) in kaart te brengen leidde tot een reprimande van de provider. "Bij het draaien van een aantal statistieken op de homepages van Wirehub-abonnees viel op dat in veel traffic-statistieken de host spindex.idg.nl hoog in de lijst stond en derhalve overall nogal veel verkeer veroorzaakt. Om die reden stellen wij bezoeken van spiders/crawlers e.d. niet op prijs", zo schrijft Ben Grimm van Wirehub. Grimm vermoedt dat de spider van Vindex de robots.txt links laat liggen. In dit bestand staan de vrijwillige spelregels opgesteld waaraan zoekmachines zich op een domeinserver dienen te houden. Dit om te bijvoorbeeld te voorkomen dat een spider de volledige aandacht van een server opeist en niet meer aan het serveren van pagina's aan andere gebruikers van het Internet toekomt. De maker van Vindex, Wiebe Weikamp, zegt dat hij wel degelijk de regels in robots.txt respecteert, maar niet als een complete site geblokkeerd wordt en de abonnees van Wirehub wel met honderden tegelijk hun pagina's aanmelden bij de vindmachine. Navraag bij Wirehub leert dat de provider zijn klanten adviseert om hun (gratis) homepages bij Yahoo-achtige indexen aan te melden. Die maken geen gebruik van spiders. Grimm wijst er op dat Wirehub bandbreedte en connectiviteit boven alles stelt omdat het bedrijf vooral de zakelijke markt bedient: "Veel van onze klanten begrijpen (en waarderen) dat wij niet in het segment van publieks- en massaproviders als bijvoorbeeld WXS of XS4ALL opereren. Onze doelgroep wil boven alles snelheid en breed vertakkende internationale verbindingen." "Zakelijke webservers (bij Wirehub – redactie) zijn wel te bereiken voor spiders. Tenslotte betalen deze klanten een gerichte prijs voor hun verkeer. Ze hebben dan ook zelf de keus een robots.txt in de root van hun server op te nemen," aldus Grimm. Met ingang van deze week houdt Vindex zijn spider weg van Wirehub-sites. Daardoor zullen nieuwe pagina's niet meer in de index worden opgenomen en zullen wijzigingen niet langer worden geregistreerd. Spindex heeft inmiddels (de stand van 8 december) 4.243.988 pagina's opgespoord.