@Francis, agnotologue
Votre risque est bien réel, je le reconnais totalement (soit de se soumettre à une élite sous prétexte que « c’est l’IA qui leur a dit que », soit que l’IA que tout le monde utilise soit façonnée pour que son message soit celui que l’élite souhaite : voir l’affaire Grok sur le génocide à Gaza).
Mais il ne faut négliger aucun risque et ne pas accepter les jugements qui ne reposent sur rien :
Rappelons que l’IA ne sera jamais consciente d’elle-même et la venue des ordinateurs quantiques ne changera pas la donne. L’IA ne sera que le produit de la pensée humaine ou plus exactement de l’élite du moment qui sera au pouvoir
D’où ça sort, cette certitude ? Vous pouvez lire des tas de bouquins et des vidéos, si ce genre d’affirmation ne vous met pas la puce à l’oreille, alors vous allez perdre beaucoup de possibilités en route. Il y a beaucoup de charlatans qui cherchent à rassurer en racontant vraiment n’importe quoi avec assurance (voir l’affaire Luc Julia). Il n’y a aucun consensus sur la conscience ou l’AGI parmi les chercheurs IA.
On ne sait pas aujourd’hui ce qu’est la conscience. Il y a des gens qui cherchent aujourd’hui à la définir pour savoir si on pourra y classer les machines ou pas. C’est une science en définition avant de pouvoir l’étudier si je puis dire. Mais il est très présomptueux de dire que la machine ne sera jamais consciente ou qu’elle restera forcément plus bête que nous. Je n’ai aucun blocage par rapport à ces possibilités et je sais que beaucoup en font et rejettent catégoriquement tous ceux qui émettent ce genre d’hypothèses.

Pour le reste, il faut bien retenir qu’on ne comprend pas comment ces boites noires marchent car elles ne sont justement pas le produit de la pensée humaine : elles sont le produit de règles d’évolutions qu’on a fixées (règles de rétropropagation pour fixer les poids du réseau de neurones) et des données qu’on leur fait ingurgiter. Donc on ne les crée pas, on les fait pousser.
Ensuite, une fois ces boites noires finalisées, on se gratte fortement la tête pour essayer de comprendre comment elles fonctionnent ... mais elles deviennent de plus en plus complexes par rapport à la compréhension qu’on en a. Et tous les « doomers » (qui imaginent fin du monde) avancent ce risque comme existentiel et il est bien réel aussi.
Le pire dans l’histoire, c’est que les IA commencent à s’auto-générer (les puces sont améliorées par l’IA (alphachip), les algorithmes pour générer les phases d’apprentissages commencent à être automatisés (alphaevolve), et, comme si ça ne suffisait pas, on commence à produire des données (vérifiables) de synthèse avec l’IA pour que leur apprentissage ne soit pas pollué par des données fausses). Ceux qui travaillent dans l’IA croient plus que tous les autres à la singularité et sont prêts à tout faire pour la faire aboutir ... alors même qu’on ne sait pas comment éviter de faire mentir les IA encore simplistes d’aujourd’hui. On perd déjà le contrôle, petit à petit...