Signaler un abus
@Ramdane ISSAAD
Bonjour,
Merci pour ce partage. J’ai regardé de près l’étude du MIT citée, car elle est centrale dans l’argument, et elle dit en réalité l’inverse de « plus c’est gros, plus ça se trompe ».
Il s’agit de Superposition Yields Robust Neural Scaling (Liu, Liu et Gore), présentée à NeurIPS 2025. Elle montre que l’erreur des LLM diminue quand on augmente leur taille, à peu près en proportion inverse de la largeur du modèle. Les auteurs l’ont vérifié sur plusieurs familles de modèles open source, de 100 millions à 70 milliards de paramètres.
La « limite » qu’elle décrit est une limite de rendement. Agrandir les modèles rapporte de moins en moins, et une part d’erreur liée à l’ambiguïté naturelle du langage reste incompressible. L’auteur de la vidéo YouTube a d’ailleurs corrigé son titre : l’étude montre une limite du scaling, et non une limite à la progression des LLM.
Les auteurs suggèrent même de concevoir des modèles plus petits mais mieux organisés, capables d’égaler des modèles plus grands.
L’étude est en accès libre :
https://arxiv.org/abs/2505.10465v4
https://arxiv.org/pdf/2505.10465v4
Cordialement
Articles les plus lus
- Rassemblement National : Le Pen va « débrancher » Bardella
- Ce coup d’état qui vient
- Macron, ne rigole plus !
- L’attaque de Macron sur la liberté d’expression aux États-Unis scandalise
- Primaire du PS : la victoire du stagiaire de la gauche bobo
- Dette : pas un problème si nous monétisions
- Blocus lycéen : LFI a infiltré le mouvement pour le pourrir comme à chaque fois : bravo Louise
- L’Otan sous tutelle : Washington remet l’Europe à sa place
- Zelensky risque de se brouiller définitivement avec Trump
- J’ai vu un miséreux fouiller dans les poubelles...
Agoravox utilise les technologies du logiciel libre : SPIP, Apache, Ubuntu, PHP, MySQL, CKEditor.
Site hébergé par la Fondation Agoravox
A propos / Contact / Mentions légales / Cookies et données personnelles / Charte de modération