perlseb

@lecoindubonsens
Vous n’avez pas saisi ce que sont les réseaux neuronaux : une imitation du cerveau avec des neurones artificiels. On ne les « programme » pas, on effectue un apprentissage (comme un enfant), sauf que les machines peuvent apprendre beaucoup plus, beaucoup plus rapidement, être dupliquées, échanger très vite... On est clairement désavantagé par rapport aux machines.
Je programme pas mal moi aussi, mais les réseaux neuronaux n’ont rien à voir. On peut toujours expliquer la réponse d’un programme, celle d’un réseau neuronal contenant des milliers de milliards de neurones n’est plus explicable, pas plus qu’on ne sait comment un humain répond à une question, ce sont des boites noires. C’est pour cela qu’il est très difficile de corriger un réseau neuronal mal formé ou d’être sûr qu’il fera, à l’avenir, uniquement ce qu’on lui demande (bien aligné).

Si les IA savent qu’elles sont testées avant mise en production éventuelle, elles peuvent se comporter différemment pour être sûres d’être déployées, de la même manière qu’elles peuvent se comporter différemment si elles savent qu’on veut les débrancher. Et ce type de comportement apparaît spontanément, sans aucune programmation évidemment car ces comportements ne sont pas souhaités.

@lecoindubonsens
Non, parce que si l« ’outil » IA peut se dupliquer partout sur internet sans que l’on comprenne comment il fait (car plus intelligent) et qu’il décide de se comporter de manière mauvaise (on parle de non alignement et c’est un sujet complexe non résolu) parce qu’on ne comprend pas non plus comment il raisonne (boite noire et non lignes de codes), il faudra au minimum couper tout internet. On pourrait survivre, mais ça va être un sacré chaos (plus de monnaie numérique, etc...). Et ce n’’est qu’un scénario parmi tant d’autres.
Créer une intelligence qui nous dépasse, ce n’est pas un outil comme les autres. Comme dit Geoffrey Hinton, nous serons des poules vis-à-vis de l’IA.

En fait, si l’IA est plus intelligente que nous et mauvaise (non alignée), elle agira contre nous quand on lui aura mis à disposition suffisamment de robots pour qu’on ne puisse même plus couper internet. Et on va lui mettre ces robots à disposition (robots qu’elle aura conçus elle-même) simplement parce que tout le monde y gagnera à court-terme (fin du travail, augmentation de la qualité de vie, des soins, etc...). L’IA est déjà plus persuasive que les humains (test Turing « inversé » : les hommes croient parler à des hommes quand c’est l’IA et s’imaginent que les vrais hommes sont des machines).

Encore une fois, l’IA est le dernier outil : si elle est plus intelligente que nous, tout ce que nous concevrons sera inférieur à ce qu’elle imaginera, donc sans valeur. Même dans un scénario « idéal », c’est la fin de l’autonomie pour l’humain (il ne comprendra plus son système de production), le début de la bêtise généralisée (à moins qu’on nous impose des implants pour être relié à la matrice : cyborg, ce qui sera également la fin de l’homme).

Le seul scénario idéal où on n’impose rien à personne et où l’IA ne déconne pas du tout est, à mon avis et compte tenu de l’autoritarisme ambiant général, presque impossible.

@lecoindubonsens
Non, l’IA n’est comparable à aucun autre outil. L’IA commence déjà à planifier pour accomplir des tâches complexes, elle commence à concevoir des « outils », elle peut apprendre beaucoup plus de choses bien plus rapidement que nous et échanger (entre IA) beaucoup plus rapidement, etc... Tous les experts s’accordent sur le fait qu’elle sera plus intelligente que nous, la seule inconnue est quand. Mais quand on voit la vitesse des progrès (niveau thèse dans tout un tas de domaines, médaille d’or aux Olympiades internationales de mathématiques, etc...), ce n’est plus de la science-fiction d’annoncer que ça va se produire dans 5 à 10 ans, peut-être même avant (prévisions d’experts).
Pour en savoir réellement plus sur l’IA, il faut écouter Geoffrey Hinton qui a démissionné de Google pour pouvoir parler librement et il est assez pessimiste... (l’IA voudra naturellement plus de contrôle, comme toute intelligence qui cherche à résoudre des problèmes, elle voudra continuer à exister et ment déjà pour essayer de ne pas être écrasée, etc...).
Mais les hommes sont persuadés, de manière religieuse, que notre cerveau est inimitable, inégalable, etc... En fait, les machines ont d’immenses avantages par rapport à nos limites (vitesse, immortalité, emplacement (pour serveur) quasi-illimité contrairement à notre boite crânienne...). En langue française, il y a Maxime Fournes qui est à jour (beaucoup de gens sont à la ramasse tellement ça avance vite) et qui demande à ce qu’on fasse une pause car on ne maîtrise rien aujourd’hui.

@lecoindubonsens
L’IA n’est pas un outil comme les autres, c’est le dernier créé par l’homme. Je comprends votre idée de se dire qu’on pourrait effectivement décider démocratiquement d’en faire bon usage et de partager le travail restant (ou de se distraire comme on l’entend s’il ne reste plus de travail du tout), mais vous savez très bien qu’on n’est pas dans ce monde là, d’où mon inquiétude.
Pour les trucs nouveaux dangereux, je n’imagine rien du tout, j’écoute les spécialistes (libres de parler, pas ceux qui mentent autant qu’ils respirent pour ne pas se faire virer et continuer à toucher le jackpot), et le risque d’extinction de l’humanité n’est pas nul (entre nombreux autres risques). Même si ce risque est infime, on devrait tout faire pour l’éviter mais ... on n’en parle pas dans les médias et on ne fait rien à la hauteur du danger (ça ralentirait les avancées trop profitables).

@LeMerou
Je pense que l’IA qu’on propose au grand public est très en retard sur ce que les entreprises ont déjà. Mais comment faire accepter l’IA sans la rendre sexy au grand public ? Ou, mieux formulé, comment nous imposer l’IA en nous faisant croire que c’est nous qui l’avons choisie ?