I file robots.txt consentono agli amministratori di sistema e ai webmaster di indicare ai robot (detti anche spider o web crawler) dei motori di ricerca quali pagine Html non devono essere visitate ed esaminate. Per l’esclusione dei Robot ci si avvale solitamente di un normale file di testo, creabile con un qualsiasi text editor, come il Blocco Note di Windows. Questo file viene chiamato “robots.txt” e include, in un formato specifico, le istruzioni che impediscono ai robot di prelevare alcune o tutte le pagine del sito. Il file robots.txt deve essere creato e pubblicato online, all’interno della directory principale del sito. I robot dei motori di ricerca che aderiscono agli standard comunemente accettati seguono le indicazioni contenuti nel file robots.txt e quando accedono al sito web cercano nella directory principale questo file, seguendo tutte le indicazioni che esso contiene. Nel file robots.txt è possibile indicare quali pagine del sito i robot non devono scansire, ma non quelle che, invece, si vuole che prendano in considerazione.