Nel web un Robot, chiamato anche “Web Crawler” o “Spider”, è un programma o uno script automatico che esplora la rete in maniera metodica per analizzare i contenuti di un database o di un sito. Svariati siti e motori di ricerca come Google, utilizzano questo mezzo per offrire dati sempre aggiornati. Il Robot scansiona i siti e memorizza copia delle pagine per poi indicizzarle e velocizzare le ricerche. Il Robot si basa su una lista di Url fornita dal motore di ricerca e identifica gli hyperlink presenti e li aggiunge alla lista dei siti da visitare. I Robot possono essere usati anche per rendere automatiche tutte le attività di manutenzione di un sito, controllando i collegamenti e convalidando il codice Html. Esistono Robot destinati ad attività di spamming, come la raccolta di indirizzi di posta elettronica e l’inserimento di spam all’interno di forum e blog. Per capire quali Robot visitano un sito esistono programmi e applicazioni appositi, utili per monitorare questo tipo di attività proveniente dall’esterno.