Google zelf omschrijft het effect voor gebruikers als “dichterbij live” dan het vorige zoeksysteem. Voorheen ‘crawlde’ Google een klein deel van het web in de nachtelijke uren, indexeerde het en voegde het vervolgens toe aan de zoekresultaten. Met Caffeine worden de gecrawlde direct geïndexeerd zodat ze enkele seconden later al op het beeldscherm van de gebruiker kunnen verschijnen.

Wat live zoeken betreft komt Google van ver. In het begin werd de zoekindex slechts elke 4 maanden geüpdate. Rond 2000 werd dat eens per maand en duurde het 7 tot 10 dagen om alles te indexeren. In die tijd had Google niet genoeg capaciteit om al hun datacenters in één keer te updaten, waardoor je verschillende zoekresultaten kon krijgen bij eenzelfde zoekopdracht, afhankelijk van welk datacenter de gebruiker aan toegewezen werd. Caffeine ging de afgelopen dagen live en wordt inmiddels nu al in alle Google datacenters gebruikt.

Volgens Matt Cutts, hoofd van Google’s webspam team, geeft Caffeine niet alleen ‘frissere’ resultaten, maar is ook de schaalbaarheid een stuk verbeterd. Het bedrijf zal veel meer kunnen indexeren, ergens in de buurt van 100 petabytes.

Bron: Techworld