Op de koffie bij Google
Gepubliceerd: Woensdag 9 juni 2010
Auteur: Chris Broesder
Google heeft een nieuwe manier om het web te indexeren geïmplementeerd in hun zoekmachine. Het systeem, genaamd Caffeine, moet ervoor zorgen dat gebruikers meer up-to-date zoekresultaten krijgen. Zo komen gebruikers dus niet meer op de koffie wanneer ze recente informatie zoeken.
Google zelf omschrijft het effect voor gebruikers als "dichterbij live" dan het vorige zoeksysteem. Voorheen 'crawlde' Google een klein deel van het web in de nachtelijke uren, indexeerde het en voegde het vervolgens toe aan de zoekresultaten. Met Caffeine worden de gecrawlde direct geïndexeerd zodat ze enkele seconden later al op het beeldscherm van de gebruiker kunnen verschijnen.
Wat live zoeken betreft komt Google van ver. In het begin werd de zoekindex slechts elke 4 maanden geüpdate. Rond 2000 werd dat eens per maand en duurde het 7 tot 10 dagen om alles te indexeren. In die tijd had Google niet genoeg capaciteit om al hun datacenters in één keer te updaten, waardoor je verschillende zoekresultaten kon krijgen bij eenzelfde zoekopdracht, afhankelijk van welk datacenter de gebruiker aan toegewezen werd. Caffeine ging de afgelopen dagen live en wordt inmiddels nu al in alle Google datacenters gebruikt.
Volgens Matt Cutts, hoofd van Google's webspam team, geeft Caffeine niet alleen 'frissere' resultaten, maar is ook de schaalbaarheid een stuk verbeterd. Het bedrijf zal veel meer kunnen indexeren, ergens in de buurt van 100 petabytes.
Bron: Techworld
De rubriek Tips & Tools biedt praktische informatie die IT-professionals in hun dagelijkse werk kunnen toepassen.
