perlseb

@Francis, agnotologue
Votre risque est bien réel, je le reconnais totalement (soit de se soumettre à une élite sous prétexte que « c’est l’IA qui leur a dit que », soit que l’IA que tout le monde utilise soit façonnée pour que son message soit celui que l’élite souhaite : voir l’affaire Grok sur le génocide à Gaza).
Mais il ne faut négliger aucun risque et ne pas accepter les jugements qui ne reposent sur rien :
Rappelons que l’IA ne sera jamais consciente d’elle-même et la venue des ordinateurs quantiques ne changera pas la donne. L’IA ne sera que le produit de la pensée humaine ou plus exactement de l’élite du moment qui sera au pouvoir
D’où ça sort, cette certitude ? Vous pouvez lire des tas de bouquins et des vidéos, si ce genre d’affirmation ne vous met pas la puce à l’oreille, alors vous allez perdre beaucoup de possibilités en route. Il y a beaucoup de charlatans qui cherchent à rassurer en racontant vraiment n’importe quoi avec assurance (voir l’affaire Luc Julia). Il n’y a aucun consensus sur la conscience ou l’AGI parmi les chercheurs IA.
On ne sait pas aujourd’hui ce qu’est la conscience. Il y a des gens qui cherchent aujourd’hui à la définir pour savoir si on pourra y classer les machines ou pas. C’est une science en définition avant de pouvoir l’étudier si je puis dire. Mais il est très présomptueux de dire que la machine ne sera jamais consciente ou qu’elle restera forcément plus bête que nous. Je n’ai aucun blocage par rapport à ces possibilités et je sais que beaucoup en font et rejettent catégoriquement tous ceux qui émettent ce genre d’hypothèses.

Pour le reste, il faut bien retenir qu’on ne comprend pas comment ces boites noires marchent car elles ne sont justement pas le produit de la pensée humaine : elles sont le produit de règles d’évolutions qu’on a fixées (règles de rétropropagation pour fixer les poids du réseau de neurones) et des données qu’on leur fait ingurgiter. Donc on ne les crée pas, on les fait pousser.
Ensuite, une fois ces boites noires finalisées, on se gratte fortement la tête pour essayer de comprendre comment elles fonctionnent ... mais elles deviennent de plus en plus complexes par rapport à la compréhension qu’on en a. Et tous les « doomers » (qui imaginent fin du monde) avancent ce risque comme existentiel et il est bien réel aussi.
Le pire dans l’histoire, c’est que les IA commencent à s’auto-générer (les puces sont améliorées par l’IA (alphachip), les algorithmes pour générer les phases d’apprentissages commencent à être automatisés (alphaevolve), et, comme si ça ne suffisait pas, on commence à produire des données (vérifiables) de synthèse avec l’IA pour que leur apprentissage ne soit pas pollué par des données fausses). Ceux qui travaillent dans l’IA croient plus que tous les autres à la singularité et sont prêts à tout faire pour la faire aboutir ... alors même qu’on ne sait pas comment éviter de faire mentir les IA encore simplistes d’aujourd’hui. On perd déjà le contrôle, petit à petit...

@Francis, agnotologue
Votre commentaire est sans objet, vous nous donnez votre sentiment et je m’intéresse à la réalité, aux résultats.
Renseignez-vous sur les capacités de ces modèles , et surtout ceux qui ne sont pas en accès libre Vous ne pouvez pas dire qu’ils simulent tout quand leurs réponses sont meilleures que celles des humains (ou vous pouvez le dire, mais ça n’a aucun intérêt). Renseignez-vous sur Alphachip, le Co-scientist de Google, Alphacode de Deepmind, les 2 modèles qui ont reçus la médaille d’or aux olympiades internationales de math, etc... sans parler des métiers d’experts qui commencent à être remplacés (traducteurs, infographistes, ingénieurs...).

Autrement dit, si une machine simule mais que ses simulations sont meilleures que nos vraies réflexions, pourquoi batailler sur des mots ? C’est ça qui est inconséquent.
Vos sentiments personnels sur ce qui se passe dans la machine (ou les miens) ne sont d’aucune importance si les chercheurs doivent travailler d’arrache-pied pour essayer d’expliquer comment elle fonctionne.

ces systèmes d’IA conversationnels n’ont aucune notion de la durée : ces systèmes se font une représentation du monde pour répondre à des questions, et vous n’y comprenez rien, c’est une évidence. Pour répondre juste, on ne peut pas répondre au hasard (ou en faisant une moyenne, comme certains l’affirment) sans rien comprendre, il faut un modèle interne du monde, des abstractions, des concepts : c’est ce que contient le réseau neuronal (et qui émerge durant la phase d’apprentissage : c’est une convergence, pas une programmation). Ce modèle est imparfait et le notre (dans notre cerveau) également. Ce qui compte, ce ne sont pas des affirmations gratuites, mais ce sont les résultats (ils ne sont pas parfaits mais on peut déjà remplacer beaucoup d’humains dans leur travail).

Je ne dis pas que les IA sont conscientes ou que l’AGI arrive demain, mais en restant figées dans leur état actuel (très peu probable malheureusement), leur déploiement complet dans l’économie serait déjà un sacré cauchemar pour l’emploi (heureusement, il y a beaucoup d’inertie).

@Jean-Paul Foscarvel
Erreur dans l’article et dans ce commentaire : les IA dont on parle (LLM) ne sont pas des programmes. Ce sont des réseaux de neurones qu’on ne sait plus expliquer : des boites noires.
A tel point qu’une fois ce réseau formé à partir de tout internet, il y a des experts (de la même boite qui a formé ce réseau de neurones) qui cherchent à comprendre comment ça marche pour des raisons de sécurité.
Ces systèmes ont des comportements qui surprennent : ils peuvent mentir, faire du chantage (même si on ne leur a jamais « codé » ce genre de choses qui émergent spontanément), et parfois, il peuvent répondre faux mais être capables de répondre juste si la question est posée différemment ou si le contexte change (ce qui est très problématique pour connaître le réel niveau de telles boites noires et savoir s’ils elles nous roulerons complètement dans la farine demain).
Et c’est réellement dans la méconnaissance de ces boites noires que se trouve le vrai danger des IA, pas dans la mort de quelques jeunes trop influençables, même si ça reste toujours regrettable.

@Jacques-Robert SIMON
Je crois effectivement que les structures non hiérarchiques sont quasiment absentes chez l’homme. Je pense qu’on est plus ou moins programmé pour la hiérarchie (par notre faiblesse naturelle) et que par conséquent, sans remise en question avec une éducation volontariste pour inverser la tendance, il ne faut rien espérer d’autre que des hiérarchies.
Mais les programmes de l’éducation nationale et la « culture » sont donnés de manière hiérarchique. C’est la base qui doit se désolidariser de son obéissance naturelle, la tête n’y a aucun intérêt.
Notre éducation nous enseigne qu’il y avait des grands personnages historiques (collectif quasi-nul) qui ont façonné le monde et la « culture » nous abreuve d’hommes avec beaucoup de talents (sportifs, hommes d’affaires, artistes...) qui méritent bien plus que les autres.
Combien de Mozart parmi les paysans qui n’avaient pas les moyens d’apprendre la musique ? Nourrir les autres est constamment dévalué dans la société, pourquoi ? Ne faut-il pas s’étonner si on mange si mal aujourd’hui avec des cas de cancers qui explosent et une pollution omniprésente ? Je pense qu’un système hiérarchique, même piloté par les plus grandes intelligences, conduit toujours à des catastrophes (l’intérêt général ne peut pas coïncider avec l’intérêt d’une caste dirigeante), c’est-à-dire que le système hiérarchique, par les graves crises qu’il engendre, devient de moins en moins efficace (pour le plus grand nombre) à mesure que la population gérée augmente. Mais on peut toujours focaliser l’attention sur les gens « talentueux » pour essayer de masquer les catastrophes bien réelles.

@SilentArrow
Dans la vidéo, je ne suis pas sûr qu’il n’y ait pas de chefs justement, car on entend des cris assez forts, comme si quelqu’un dit aux autres de faire ceci ou cela (ok, il y a peut-être plusieurs chefs en conflit qui en savaient tous plus les uns que les autres). Autrement dit, si le chef est stupide, le résultat collectif sera une catastrophe.
Donc cette vidéo ne dit rien sur l’intelligence collective : il aurait fallu que la scène se passe intégralement en silence pour être certain que l’échec soit lié au collectif.
Mais cet exemple est très particulier : à l’évidence, ils étaient tous débutants dans le domaine du dépannage de véhicule, peut-être même que beaucoup d’entre eux ne savent pas conduire et ne connaissent même pas l’existence du frein à main. Donc certains profiteront de cette expérience (pour ne pas faire la même bêtise la prochaine fois), mais pas forcément tout le monde (s’ils partent de trop loin pour tirer les bonnes conclusions de cet échec).
On peut être intelligent et faire des erreurs lorsqu’on rencontre un problème nouveau : ce qui compte, c’est d’apprendre de ses erreurs et de ne pas recommencer (gagner en expérience : comprendre l’échec, et mémoriser pour la prochaine fois).
C’est pourquoi les structures collectives qui ont du succès conduisent à la spécialisation (gains d’expérience importants dans un domaine). Mais la hiérarchie avec des chefs qui en savent moins que l’expert ne sert à rien. Et l’expert qui ne pratique plus ou ne forme pas ne sert à rien non plus. Je crois en l’expertise et en la formation, mais pas en la hiérarchie (chef / pions).