perlseb

@pemile
T’es revenu en mode troll. Des remarques sans réflexion et désobligeantes.

C’est aveu timide que tu ne sais pas comment les LLM fonctionnent ?

Tu as lu mon post ? Ceux qui les font pousser ne savent pas comment ils marchent. Tu peux trouver des très bonnes vulgarisations des différences phases permettant de générer un LLM, mais si tu cherches la réponse à ta question précise sur youtube, tu trouveras surtout des vidéos de charlatans qui t’expliqueront que les LLMs sont des perroquets stochastiques (donne le mot le plus probable pour répondre).
Si tu te contentes de cette réponse stupide de la part de charlatans parce qu’elle te rassure, tant mieux pour toi. Si tu veux en savoir plus, apprends d’abord à déceler les charlatans (ils ont toujours une vision extrêmement simpliste des choses qu’ils ne comprennent pas).
Et malheureusement tu ne pourras pas me convaincre que les LLMs sont des perroquets stochastiques (beaucoup ont déjà démonté cette idée stupide) : on ne trouve pas des coups aux échecs qui battent des humains moyens en répondant au hasard dans des situations (position des pièces sur le plateau) complètement nouvelles. Oui, les LLMs ne sont pas très bons aux échecs, mais certains modèles spéciaux ont été un peu modifié pour y jouer (en mode texte évidemment).

Dernière réponse au troll.

@pemile
Moi, c’est fait, mais toi, pourquoi tu ne réponds pas à ma simple question si tu veux prétendre connaitre comment fonctionnent les LLM ?
Alors réponds à ta question si tu as la réponse. Je ne prétends pas être un spécialiste, mais je constate que beaucoup trop de gens comparent l’IA connexionniste (simulation de neurones) à des programmes, ce qui n’a absolument rien à voir. C’est l’origine de mon premier post sur cet article.

Je tiens à insister sur le fait que ceux qui fabriquent ces LLMs les étudient derrière pour essayer de comprendre comment ils fonctionnent. Donc j’écoute certaines vidéos ou lit des articles et, en supposant qu’ils ne racontent pas n’importe quoi, j’apprends certaines choses. Mais ce n’est pas à quelqu’un comme moi de te répondre à des questions précises sur comment les LLMs fonctionnent : je ne peux que te répéter ce que j’ai vu ou lu des spécialistes qui analysent de tels systèmes.
C’est aussi pourquoi je t’ai parlé (en guise de réponse) du cerveau humain dont on s’est inspiré pour l’IA connexionniste : on n’y comprend pas grand chose. Si tu comprends l’anglais, je te conseille vraiment le premier lien que j’ai donné (en traduction automatique, c’est quasi-inaudible). Anthropic embauche des neurobiologistes et autres pour faire des études de leur « cerveau » numérique. C’est beaucoup, beaucoup plus pratique à étudier qu’un cerveau biologique : on peut l’ouvrir, regarder chaque neurone individuellement, refaire des tests à l’identique, etc... Mais ça ne rend pas pour autant la tâche de compréhension d’un tel amas de milliers de milliards de neurones facile. Et à supposer qu’ils commencent à mieux comprendre une version, la prochaine qui sort 6 mois après est 10 fois plus complexe... Ils ne cherchent évidemment pas à comprendre la fonction de chaque neurone (il faudrait plusieurs vies pour faire un tel travail), ils cherchent simplement à détecter des motifs permettant de savoir si une machine « ment », dissimule ses pensées, etc... pour permettre de détecter leur non alignement (entre autre). Et c’est pas gagné... En fait, plus les gens en savent sur le sujet, et plus ils expliquent qu’essayer de comprendre ces amas de neurones est bien plus complexe que de les faire pousser. Donc la sécurité sera de plus en plus en retard par rapport aux capacités de ces IA.

@Francis, agnotologue
Je dirai sans certitude mais avec conviction que si nous poursuivons dans cette voie qui est de (faire) croire en l’impartialité et l’omniscience de ces machines
Le problème, c’est que si ces machines nous battent à plate couture en sciences et en technique (ce qu’on pourra vérifier de manière objective, pour les autres domaines, on pourra toujours faire des jugements un peu arbitraires), on va leur donner plus d’autonomie et de confiance. Et comment empêcher ça ?

Ce qui risque de se passer, c’est que les machines « intelligentes » seront privées, les autres, que le public pourra utiliser, seront biaisées. On pourrait dire que les IA open source pourront empêcher ce scénario sauf que si la puissance de calcul devient suffisamment bon marché pour faire tourner un génie dans son garage, cela voudra aussi dire que n’importe qui pourra fabriquer un virus mortel ou des drones tueurs. Privé ou public, l’IA débouche sur des impasses.

Pour le reste, je suis entièrement d’accord avec vous : c’est déjà le privé qui dirige le monde occidental (possède les médias, etc...) et la machine est toujours utilisée contre le peuple (concurrence, baisse des salaires sans baisse du temps de travail autrement que par des luttes). Et si une machine peut remplacer tous les humains, alors la lutte des classes va se transformer en une mise à mort (lente par la misère ou rapide avec tout un tas de scénarios possibles).

Et je ne crois absolument pas à un avenir utopique où tout devient gratuit pour tout le monde puisqu’on pourrait déjà vivre dans une utopie proche de celle-ci avec les moyens techniques actuels.

@pemile
Et comment fait un humain pour extraire et gérer le sens d’un mot ? Est-ce que tu sais déjà que les LLMs qui parlent plusieurs langues activent les mêmes neurones (internes) pour des questions identiques mais dans des langues différentes ? Ils ont des concepts (communs) qui sont étrangers à la langue, une représentation du monde. La traduction du texte se fait en entrée et en sortie, mais ils ne « raisonnent » pas avec des mots.
Mais j’arrête de nourrir le troll. Si le sujet t’intéresse, arrête d’écouter ceux qui disent ce que tu as envie d’entendre et essaie d’écouter ceux qui parlent de technique pure, qui vulgarisent correctement des papiers scientifiques. Sinon, tu n’apprendras rien. Si tu comprends l’anglais, il y a énormément de choix.

@Francis, agnotologue
C’est peut-être l’intelligence humaine qu’il faut être capable de démystifier si on veut avoir une image complète des possibilités. S’interdire des scénarios sans aucune argumentation valable est tout sauf scientifique.
Je préfèrerais vraiment que les GAFAM n’arrivent à rien avant longtemps, mais on ne peut pas éliminer des scénarios parce qu’ils ne nous plaisent pas.
La centaine de chercheurs (dont des prix Turing) qui alertent sur les dangers ont tous fumé la moquette ? Je ne suis pas assez prétentieux pour dire une chose pareille.
Sans débat, on peut créer une religion mais on ne fait pas avancer la science.

Ne me dites pas que vous attendez ou espérez des IA conscientes ?

Je m’intéresse à l’IA mais je n’ai aucune certitude sur le futur quand les experts eux-mêmes ne sont pas d’accord.