En réponse à :
Hello nostromo
on parle de dépot légal.
le fichier robots.txt donnent aux robots les instructions sur ce qu’ils doivent visiter
le sitemap informe les robots sur les liens du site et leur dernière édition
mais donne pas le contenu qui doit être aspirer lors de la visite de la page par le spider et être mis cache.
C’est la métadonnée archive/noarchive qui dit aux robots s’il a le droit de rendre le contenu accessible via le cache des moteurs ou des organisations telles que http://www.archive.org/index.php
Ajouter une réaction
Pour réagir, identifiez-vous avec votre login / mot de passe, en haut à droite de cette page
Si vous n'avez pas de login / mot de passe, vous devez vous inscrire ici.
FAIRE UN DON
Articles les plus lus
- Après « Retour vers le futur ! », Hollywood vous offre : « Ukraine descente aux enfers ! »
- Vers le licenciement des fonctionnaires… conservateurs ?
- A propos de Boutcha
- Si GLUCKSMANN est socialiste, Eh ben moi… J’suis le Pape !
- Décentralisation : stop ou encore ?
- Météo d’avril : tous les excès sont permis
- Netanyahou : de l’épuration ethnique aux dérives génocidaires
- La conquête de l’ouest et l’extermination des Indiens
- Une frappe iranienne contre Israël est imminente
- Le Lyon-Turin ne sera pas
Agoravox utilise les technologies du logiciel libre : SPIP, Apache, Ubuntu, PHP, MySQL, CKEditor.
Site hébergé par la Fondation Agoravox
A propos / Contact / Mentions légales / Cookies et données personnelles / Charte de modération