Hello nostromo
on parle de dépot légal.
le fichier robots.txt donnent aux robots les instructions sur ce qu’ils doivent visiter
le sitemap informe les robots sur les liens du site et leur dernière édition
mais donne pas le contenu qui doit être aspirer lors de la visite de la page par le spider et être mis cache.
C’est la métadonnée archive/noarchive qui dit aux robots s’il a le droit de rendre le contenu accessible via le cache des moteurs ou des organisations telles que http://www.archive.org/index.php