Googlebot è lo spider web di Google. Effettua due diversi generi di scansione del web chiamati “Deep crawl”, una volta al mese e la “Fresh crawl”, quasi tutti i gironi. Nella scansione mensile viene esaminato tutto il web, in ogni sua pagina, per aggiornare indici, cache e pagerank. In seguito alla scansione mensile Google ci mette da sei a otto giorni per aggiornare completamente i suoi indici e per diffonderli nei datacenter. Questo lasso di tempo viene definito “Google dance” perché i risultati possono essere di volta in volta differenti per poi stabilizzarsi dopo qualche giorno. La seconda scansione, quella quotidiana, aggiorna le pagine già presenti nell’indice di Google e aggiunge quelle che sono state create dopo la Deep crawl più recente. Per indirizzare e dare un limite alle sue scansioni, Googlebot utilizza anche altre procedure e strumenti. Tra questi c’è il file “robots.txt” che è sempre oggetto di scansione da parte degli spider