... votre « noeud papillon » est une image, mais je doute qu’elle soit bien parlante pour le commun du mortel.

Vous citez la taille, le format et... les liens (le noeud papillon) pour expliquer l’isolement dans lequel se trouvent ces « miillions de pages »,


c’est fort possible, mais c’est une tres tres faible raison « de surface » pour ne pas etre indexé.

Le contenu d’un document « pdf » n’a pas a etre connu pour etre referencé par son nom, comme les images et les videos, et les liens peuvent etre univoques et c’est egalement suffisant pour exister dans Google.
Cela etant, les technologies avance et ces taux de meconnaissance diminuent.

par contre, vous faites l’impasse sur les autres obstacles au referencement qui se cachent derriere une volonté certaine de ne pas etre exposé a la lumiere du jour.
Il ne suffit pas de mettre --- Disallow : / --- dans le fichier robots pour qu’on vous oublie.

D’abord, de nombreux serveurs ne sont pas accessibles par un nom de domaine. cela veut dire que vous pouvez y acceder seulement si vous connaissez leur adresse IP (et bien entendu qu’il n’y ait pas de filtre ou de redirection derriere). Le moteurs de recherches ont du mal a suivre, seuls les plus simples sont accessibles. --- ce sont des sites internes aux entreprises, aux organismes qui ont des ressources communes a partager... ---

ensuite il y a ceux qui ne repondent pas au protocole http standard et/ou sur les ports normalement reservé a leur usage (port 80 par exemple). Les moteurs de recherches n’y accedent seulement s’il existe un lien explicite qui permet de « mettre le pied dans la porte », sinon tout reste caché. --- en general les organismes bancaires, les systemes techniques, les fournisseurs de services payants ---

enfin il y a tous ceux qui sont « ouverts » de façon fugitive, c’est adire dont l’acces est possible qu’apres une demande d’ouverture sur un autre site, et c’est ceux la qui sont remplis de bases de données dont il faut souvent connaitre la structure pour acceder. --- sites evenementiels, sites historiques, sites d’archives ---

Cela parait simple, mais vous avez raison, le monde caché d’internet est tres riche et va encore se developper et s’enrichir au fur et a mesure que les debits montants residentiels vont augmenter autorisant ainsi des sites « personnels » parfois tres interressants alors que leur acces via des dyndns sont difficiles et souvent sans lien avec d’autres pages.