C’est vrai, je suis d’accord pour dire que Germanwings 9525 n’était pas un accident d’IA. Je mentionne cet événement comme un exemple des dangers de l’autonomie des systèmes automatisés. Il montre qu’une machine peut continuer à exécuter fidèlement une instruction reçue d’un humain alors que d’autres humains cherchent à lui faire faire autre chose. Il ne suffit pas que la machine obéisse à l’homme : le problème peut être qu’elle obéisse trop docilement à une consigne particulière et qu’elle soit conçue de telle manière que les humains ne puissent plus reprendre le contrôle. Ce problème peut se poser avec des IA auxquelles on aurait accordé une trop grande liberté de décision.
L’IA ne fait que ce que l’humain lui demande de faire.
Non, vous n’avez pas compris la gravité du problème.
Dans 2001 l’odyssée de l’espace l’humain n’avait pas demandé à HAL, pris dans un conflit logique, de tuer les membres de l’équipage qui étaient maintenus en hibernation. De même qu’on peut espérer que le 28 février dernier l’humain n’avait pas demander à l’IA de faire bombarder l’école de filles de Minab (bilan : entre 108 et 168 morts) . Ou encore, vol GermanWings 9525 du 24 mars 2015. Co-pilote suicidaire, commandant de bord absent, impossibilité de déverrouiller la cabine de pilotage. Etc.