Je n’ai pas la moindre idée de comment des types ont pu programmer un truc aussi puissant.

Mais personne ne sait vraiment comment ça marche, même ceux qui travaillent sur le sujet ! A tel point que quand une IA a été entrainée et « fine-tunée », des experts en neuroscience et dans d’autres domaines analysent ce paquet de neurones artificiels pour essayer de voir s’il ne va pas déconner complètement (pour éviter de mettre n’importe quoi en ligne, pour savoir si on peut détecter des mensonges, etc...)

En fait, on ne peut pas programmer une machine qui parle, c’est bien trop complexe. Ce qu’on sait faire, c’est « faire pousser » des réseaux neuronaux artificiels avec des données d’entrainement. Mais on ne sait pas le résultat que l’on va obtenir, ce dont il sera capable avant de l’avoir fait pousser, et surtout de l’avoir testé. Hors, plus ces réseaux neuronaux sont complexes, moins on peut les tester de manière complète. Et des tests négatifs sur certaines questions ne veulent absolument pas dire que la machine ne peut pas répondre : une formulation différente de la question et on obtient une réponse correcte.

C’est essentiellement pour cette raison que les IA font courir un risque existentiel : on ne les comprend pas vraiment, de la même manière qu’on ne comprend pas notre cerveau. Les machines commencent déjà à savoir quand elles sont testées et peuvent ajuster leurs réponses si elles se sentent testées (pour être déployées par exemple). Pour certains experts (je pense à Geoffrey Hinton), si la machine devient plus intelligente que nous, elle nous manipulera (et elle pourra se faire passer pour plus bête qu’elle ne l’est, ce qui n’éveillera aucun soupçon de notre part : principe de base où le plus bête ne peut pas comprendre ce que mijote quelqu’un de plus intelligent que lui, et donc le contrôler).