Twee geleerden van het NEC Research Institute in de Verenigde Staten hebben een uitgebreid onderzoek verricht naar de prestaties van de search engines die de surfers moeten helpen hun weg te vinden naar de juiste informatie op het Internet.

En dat is onbegonnen werk, zo stellen Steve Lawrence en Lee Giles vast. Het World Wide Web alleen al telt volgens berekeningen van het tweetal meer dan 320 miljoen pagina's. En er komen elke dag honderden homepages bij. Er bestaat volgens de onderzoekers geen eenvoudige manier om het uitdijende web te indexeren. Een onbekend deel van de pagina's is zelfs nooit door iemand opgezocht – wat de wetenschappers "een elektronisch schemergebied" noemen.

Ook het getal van 320 miljoen noemt het duo een voorzichtige schatting: het gaat hier alleen om de pagina's die met een doorsnee browser kunnen worden opgevraagd. Veel informatie zit achter 'firewalls' verborgen – of kan niet door de zoekrobots worden geïndexeerd.

Lawrence en Giles noemen het World Wide Web een gigantisch woordenboek waarin 15 miljard woorden staan opgeslagen.

De studie van het NEC Research Institute wijst HotBot aan als de search engine met de meest uitgebreide index, hoewel ook deze maar 34 procent van alle homepages beslaat. AltaVista is met 28 procent tweede, Northern Light derde met 20 %, Excite vierde met 14 % en Lycos op de vijfde plaats met 3 %. Vindex, de vindmachine van WebWereld, heeft een bescheiden 2 miljoen pagina's geïndexeerd – alleen in het Nederlandse domein.

Lycos lijkt wel te beschikken over de meest up-to-date index: deze zoekrobot gaf maar 1,6 procent oude, doodlopende hyperlinks bij zoekresultaten. HotBot 'levert' met 5,3 procent de meeste gedateerde verwijzingen.