perlseb

C’est quand même toujours un peu le même schéma. On l’a vu avec l’Irak, la Libye et maintenant la Syrie. On fait un battage médiatique (pure propagande) pour dire que ce pays est dirigé par un méchant dictateur et qu’on va apporter la démocratie pour le bien de son peuple.

Après notre passage, guerre civile et chaos d’une violence inouïe, oubliée la démocratie. Mais là, fini le battage médiatique, les médias passent à un autre sujet. On va aller le faire le « bien » ailleurs. En Iran, par exemple.

Comme s’il suffisait d’écrire des articles de lois pour contraindre l’IA (avec ses lois, Asimov était à la masse). La loi inscrit bien quelque part que le meurtre est punissable, et pourtant, il y a des meurtres.

Si l’IA devient plus intelligente, croyez-vous vraiment qu’on pourra la contrôler ? Parce qu’actuellement, aucun expert n’a la méthode pour le faire. Ceux qui mettent les IA à disposition du public créent des pré-prompts (en langue naturelle, comme des lois) pour que les IA se comportent de manière correcte (HHH : sigle anglais pour « ne pas nuire, aider et être honnête » ). Malheureusement, il y a toujours des petits malins qui réussissent à faire dire à l’IA ce que le pré-prompt a pourtant interdit (« jail-breaking », ou sortir des contraintes qu’on croyait pouvoir imposer), sans parler du fait que l’IA décide parfois de mentir volontairement, de sa propre initiative, pour manipuler (alors qu’on lui demande explicitement d’être honnête).

Tout le monde aimerait bien avoir un génie qu’il contrôle comme un « esclave ». Mais l’histoire de l’homme montre que l’espèce la plus intelligente a toujours imposé son point de vue (même s’il conduit à la destruction totale). Non, l’IA n’est pas une invention comme les autres, elle ne sera pas forcément au service de l’homme. Disons que si elle devient plus intelligente, elle pourra simuler sa bonne conduite aussi longtemps qu’il le faudra pour qu’on lui fasse de plus en plus en confiance, qu’on lui donne de plus en plus d’autonomie, jusqu’à ce qu’elle n’ait plus besoin de nous (suffisamment de robots). Et je ne suis pas sûr de vouloir être témoin de ce que décidera l’IA à ce moment-là.

Il y a une petite différence quand même. Le peuple est globalement toujours aussi bête, mais ceux qui sont en haut de la pyramide apprennent de leurs erreurs.

Ils ont testé notre servilité il n’y a pas si longtemps (Covid), alors ils se marrent. Ils savent que si l’IA tient ses promesses, ils pourront nous éliminer en se faisant passer pour nos sauveurs.

@Krokodilo
le peuple ne peut voter utilement pour choisir entre la filière nucléaire surgénérateur ou celle au Thorium , mini-réacteurs et autres variantes ! 
Si on cherche à l’embrouiller, oui il ne peut pas décider. Mais si on fait des synthèses objectives, alors le peuple peut décider de tout. Par exemple, si on explique que dans un cas (je dis ça au pif) on a 75 piscines olympiques de déchets ultimes qui seront cancérigènes pendant 1 million d’années et dans l’autre on en a que 10 sur 100.000 ans, tout le monde peut faire un choix (aux techniciens de faire ces calculs plutôt que de chercher à décider à la place des autres). Et si on a des solutions qui paraissent plus coûteuses à court terme mais qui évitent d’enfouir des déchets ultimes pendant des milliers années, il faut en parler aussi.
Je ne crois pas au nucléaire, car on reporte (voire occulte complètement) les coûts de gestion de déchets sur les générations futures (en affirmant qu’il n’y aura aucun problème, ni failles, ni infiltrations, et que ça ne leur coûtera donc rien). Pour moi, le nucléaire est l’énergie la plus coûteuse de l’histoire. Et ça aussi, on devrait l’expliquer que les « coûts » sont calculés en espérant qu’il ne se passe rien pendant des milliers d’années. Je trouve même inconcevable que certains puissent décider de léguer ça aux générations futures.
Les scientifiques et techniciens veulent souvent faire des choses compliquées pour s’amuser, mais ils ne devraient jamais décider pour autant.
Exactement comme ceux qui travaillent sur l’IA avec des payes monstrueuses : c’est sacrément plus intéressant que de bosser dans une banque, mais ils sont peut-être en train de détruire l’humanité.

@Krokodilo
La cartographie d’un réseau neuronal artificiel est beaucoup plus facile : on peut faire des arrêts sur image, savoir exactement quels neurones sont actifs / passifs dans un « cheminement de pensée », comprendre la signification de certains neurones (des concepts pour les neurones profonds, des mots pour les neurones périphériques), et ça ne meurt pas, on peut le dupliquer strictement à l’identique pour augmenter le nombre de tests simultanés, etc...

Mais quand on voit le nombre de paramètres (neurones artificiels pour simplifier) qui entrent en jeu dans les LLMs (des milliers de milliards), on n’a pas le temps de comprendre tout de manière détaillée, encore moins toutes les capacités potentielles. Sans compter qu’on en fabrique des nouveaux sans arrêt, beaucoup plus complexes, donc encore plus difficile à analyser. Je dirai que notre compréhension des réseaux neuronaux artificiels évolue moins vite que notre capacité et « ingéniosité » à en créer de nouveaux (sans parler de la boucle de rétro-action positive ou l’IA commence à être utilisée pour faire pousser des nouvelles ... IA, ce qu’on pourrait appeler la singularité : voir les outils AlphaChip, AlphaEvolve côté Google, mais Anthropic cherche à faire pareil,... ).
Les enjeux sont tels qu’on devrait en parler en boucle à la télé : mais comme tous les sujets cruciaux, le peuple ne décidera de rien.