Il faut savoir que le référencement des pages web s’effectue avec des robots d’indexation (GoogleBot, par exemple). Ces robots suivent les directives contenues dans un fichier nommé robots.txt à la racine du site et les directives contenues directement dans le code source de la page.