perlseb

@Epsilone
Non, à partir du moment où une IA n’est pas alignée (= ne fait pas ce qu’on lui demande, ou, pour y arriver, fait des choses abominables qu’on lui a pourtant interdites « verbalement »), on peut considérer qu’elle a une volonté propre.
On peut également considérer que c’est une simulation de volonté, un bug à résoudre. Mais tant que ce n’est pas résolu, c’est un risque existentiel.
On peut également estimer que les humains dans leur grande majorité, ne sont que des machines programmées pour se reproduire et que par conséquent, ils sont assez prévisibles et sans volonté propre (c’est en tout cas une des thèses d’un philosophe très connu et du fondateur de la psychanalyse qui lui doit tout).

@Sigurdhur
Non, je crois vraiment qu’il faut viser le risque nul pour le risque existentiel. Il y a tout un tas d’autres risques qu’on peut ignorer dans un premier temps, mais accepter un risque existentiel infime c’est de la folie : on a déjà assez de technique pour vivre beaucoup mieux (et on ne le fait pas), l’IA n’est pas la technique révolutionnaire qui va nous sauver. On s’est passé de l’IA jusque-là, pourquoi jouer la vie de l’humanité à la loterie, de quel droit ?
Ce n’est pas la technique qui empêche des gens de manger décemment ou de se loger. C’est le système social, les règles économiques qu’on s’impose et qui génèrent nos problèmes. On préfère protéger la propriété abusive du riche que subvenir aux besoins existentiels de l’exclus, et il ne faut parfois pas grand chose pour faire partie des exclus : désobéir à quelque chose d’immoral ou dire la vérité, ça peut suffire (voir le journalisme ou le show-biz). Toute la pyramide de l’obéissance (néo-fascisme) est bâtie sur cette peur qu’on ne mangera peut-être pas demain, ou qu’on ne pourra pas rembourser notre prêt ou payer notre loyer, avec des règles absurdes (monnaie qui masque le vol dans l’échange, propriété privée qui permet la rente exponentielle pour les plus gros voleurs).

@pemile
Entre un drone et une armée, il faut passer d’un garage à une usine, ce que ne fera pas Kevin à 14 ans. Donc ce n’est pas un risque existentiel. Mais oui, comment on fait ? On tue tout le monde, c’est plus sûr. Ou, si l’élite aime le risque, elle rendra les gens suffisamment cons pour qu’ils ne sachent même plus lire, ni écrire : alors télécharger une IA et la bidouiller deviendra juste impossible. C’est une autre façon de passer à un système religieux beaucoup plus stable. Mais quel intérêt par rapport à tous nous tuer puisqu’on ne servira plus à rien ? Je n’en vois aucun... Donc finalement, Kevin, ça reste un scénario plutôt positif.

Oui, je pense qu’il est bien plus simple de se révolter contre notre « élite » que de réussir à éliminer le risque existentiel de l’IA. Donc si on se met à supposer qu’on trouve une solution au risque existentiel de l’IA, il faut rester optimiste pour les autres hypothèses.

Mais en tant qu’esclaves devenus inutiles, nous devrions fortement nous inquiéter pour notre avenir (nous ne deviendrons que des pollueurs sans intérêt). Et l’affaire Epstein nous rappelle la grande noblesse de notre élite.

Pour moi, l’IA est ce fameux grand filtre.

Il faudra bien un effort commun et contraignant de tous les pays pour que les risques existentiels liés à l’IA soient totalement nuls. Ce qui veut dire que tous les pays devront choisir la régulation plutôt que des profits à court terme mais avec une fin de monde possible à moyen terme. La réponse semble évidente, sauf si on est sûr que l’homme ne pourra jamais être égalé (cette confiance est donc potentiellement destructrice).

Et après s’être occupé du risque existentiel, il faudra parler du chômage, du sens à donner à une vie sans travail, d’un nouveau système économique à mettre en place, du risque d’abrutissement généralisé, de l’encadrement d’une utilisation privée de l’IA de manière néfaste (création de drones tueurs dans son garage, prolifération du piratage informatique...), de qui aura accès aux IA les plus avancées et de ce qu’on fera des réponses (gérées collectivement ou nouvelle ère religieuse ?)...

L’IA n’est pas un sujet anodin dont on parle trop, il faut en parler maintenant et se préparer au pire si on veut limiter au maximum les (très) mauvaises surprises. Même dans le meilleur des cas, l’IA signe la fin d’un monde et les plus informés s’étonnent qu’on accepte aussi facilement et sans s’inquiéter de parler à des machines. Merci d’en parler.