Fermer

  • AgoraVox sur Twitter
  • RSS
  • Agoravox TV
  • Agoravox Mobile

Accueil du site > Actualités > Technologies > Les dessous du peer review ou la falsification des évaluations par les (...)

Les dessous du peer review ou la falsification des évaluations par les pairs

En juin dernier je proposais l’article intitulé La moitié des études biomédicales seraient fausses, selon The Lancet, faisant état d’un sérieux problème de crédibilité des études biomédicales. Ce problème n’existe pas que dans le secteur biomédical même si ce dernier, du fait des gros sous à la clé et de la manipulabilité subjectivité du sujet, semble être le plus affecté.

Un récent article paru dans le Washington Post sous le titre “Major publisher retracts 64 scientific papers in fake peer review outbreak“, ou “Un éditeur connu rétracte 64 publications scientifiques dans une épidémie de faux examens par des pairs”, déclare qu’un certain nombre de publications, supposément vérifiées selon la méthode consacrée de l’examen par des pairs, n’ont en fait pas été vérifiées du tout. Non pas que les éditeurs des revues ne le voulaient pas, mais parce qu’il existe tout un éventail de techniques de fraude utilisées par les rédacteurs de ces papiers pour tromper les éditeurs – et donc les lecteurs professionnels, les pouvoirs publics et, au bout du compte, le public.

Ces techniques sont la création de fausses adresses mail, de faux collègues, d’identités réelles volées pour créer de fausses évaluations, ou encore des auteurs qui publient des avis à la gloire de leurs propres publications, qu’ils font ensuite passer pour des avis indépendants. L’éditeur en question, Springer, annonçait donc le 18 août par cette déclaration qu’il retirait 64 publications dont les évaluations, suite à une enquête interne, se révélaient être bidon. Ceci survient quelques mois après une autre rétractation, par la revue BioMed Central cette fois, de 43 publications. En 2014, l’éditeur SAGE Publications retirait 60 articles du Journal of Vibration and Control suite à la découverte d’un réseau “d’examen par des pairs” fictif où les auteurs évaluaient leurs papiers, et ceux de leurs collègues, sous de faux noms.

Selon le blog Retraction Watch, qui piste les rétractions d’articles scientifiques sous toutes leurs formes (fraude, plagiat, etc..), cela porte à 230 le nombre de publications dépubliées depuis 3 ans pour fraude dans leur évaluation. Cela fait peu au regard des dizaines de milliers de papiers publiés chaque année, mais ce phénomène semble récent, inconnu avant 2012. Aujourd’hui, ce syndrôme de dépublication par évaluation frauduleuse représente 15% de l’ensemble des retraits. Pour Ivan Oransky, journaliste scientifique et co-fondateur de Retraction Watch, ce phénomène fait penser à un virus qui serait resté dormant depuis des années pour se réveiller aujourd’hui. Et il n’est certain de savoir s’il s’agit effectivement d’un phénomène nouveau, ou d’une capacité nouvelle de détection de ce type de fraude.

La fraude est parfois le fait d’auteurs écrivant leurs propres évaluations ou évaluant de manière exagérément positive les travaux de leurs collègues (avec retour d’ascenseur au moment voulu, bien sûr), mais c’est aussi le fait d’agences vendant des services d’évaluation ! Selon une déclaration du Committee on Publication Ethics (COPE), “Certaines agences vendent des services, allant de la pré-écriture de manuscrits à la fourniture de contacts créés de toutes pièces pour les évaluateurs au cours du processus d’évaluation, pour ensuite fournir ces avis aux revues via ces fausses adresses. Certaines de ces adresses portent le nom de vrais scientifiques mais diffèrent de celles fournies par leurs instituts, ou sont associées à des publications antérieures, ou sont complètement fictives”. (1)

Cela dit, il n’est pas toujours évident de savoir si l’auteur d’un papier faussement évalué est lui-même coupable : il peut avoir agit de bonne foi, s’attachant les services de ce type d’agence sur recommandation de la revue ou de collègues. Un peu comme le sportif dopé qui ne sait pas que son entraîneur lui a donné in produit interdit. Il paraît que ça existe… Les éditeurs sont désormais conscients du problème et mettent en place des garde-fous, mais le problème principal reste la pression qui est mise sur les chercheurs pour publier le plus possible. Mieux vaut publier n’importe quoi que ne pas publier, et la fraude émerge naturellement.

La dépublication d’un article pour fraude dans le processus d’évaluation n’implique pas nécessairement que l’article est faux, juste que son objectivité n’est pas garantie par un processus reconnu par la communauté scientifique – l’évaluation par les pairs. Ce système est en soi imparfait car, au-delà des problèmes de fraude et de copinage entre chercheurs, existe le problème du biais : dans une communauté donnée il existe des préjugés qui font que certains sujets sont rejetés car déconsidérés d’office, ou difficiles à analyser au travers de méthodes scientifiques classiques basées sur l’objectivité et la reproductibilité pure et dure. Le phénomène de la mémoire de l’eau est pour cela emblématique, tout comme la démonstration de la nature anthropique du réchauffement climatique.

Dans un monde matérialiste idéal, la vérité scientifique existerait indépendamment du fait que l’on y croit ou pas, qu’on la connaisse ou non. Un comité d’évaluation ne ferait que vérifier si la méthode utilisée est correcte. Dans la réalité, la recevabilité d’une étude est non seulement dépendante de la pertinence de la méthode, mais aussi et surtout des enjeux politiques / académiques / financiers qui s’y attachent. Les évaluateurs ne peuvent faire abstraction de leurs croyances, intérêts et biais cognitifs. Dans le monde réel l’idée de l’existence d’une évaluation objective, surtout dans un domaine où tout le monde a les mêmes intérêts et la même culture, est en soi une illusion.

Une tentative de réponse à ce problème est le Open Peer Review, une philosophie de l’évaluation transparente pouvant avoir lieu avant et après la publication d’un article. Cette démarche pourrait aller jusqu’au “crowd-sourced peer review“, l’équivalent pour l’évaluation d’articles du crowdfunding pour le financement de projets par le public. Un tel système ne remplacerait sans doute pas totalement le système classique, mais pourrait en être un excellent supplément.

 

 

(1) “Some agencies are selling services, ranging from authorship of pre-written manuscripts to providing fabricated contact details for peer reviewers during the submission process and then supplying reviews from these fabricated addresses,” it said. “Some of these peer reviewer accounts have the names of seemingly real researchers but with email addresses that differ from those from their institutions or associated with their previous publications, others appear to be completely fictitious.”


Moyenne des avis sur cet article :  4.14/5   (7 votes)




Réagissez à l'article

17 réactions à cet article    


  • robin 8 septembre 2015 10:16

    Eh Oui les scientifiques sont des escrocs comme les autres, le réveil est brutal.......lol !


    • leypanou 8 septembre 2015 11:06

      @robin
      Essayez d’affiner au lieu de parler de « scientifiques » trop général : les mathématiciens sont des scientifiques et je suis certain qu’il y a nettement moins de publications bidon là-dedans qu’ailleurs, en sociologie par exemple dont un exemple est ici. (car les Sciences Humaines sont des sciences parait-il)


    • Vincent Verschoore Vincent Verschoore 8 septembre 2015 11:16

      @leypanou
      Ce qui pose d’ailleurs la question de « qu’est ce qu’un scientifique ? » Est-ce un statut comme on dirait « un notaire », ou une sorte de label de qualité envers une personne qui applique de bonne foi une méthode reconnue comme scientifique ? Faisant qu’un notaire peut aussi être un scientifique, alors qu’un biologiste peut ne pas du tout l’être.


    • Philippe Stephan Christian Deschamps 8 septembre 2015 13:08

      @leypanou.
      .
      (car les Sciences Humaines sont des sciences parait-il)
      .
      pour moi la réponse est dans ce livre

      Ken-Wilber_Les-Trois-Yeux-De-La-Connaissance.pdf


    • liberty1st liberty1st 8 septembre 2015 15:59

      @robin
      Les scientifiques sont des escrocs ... Autant que vous et moi ;)
      Et encore, je serais prêt à parier que la moyenne d’escrocs parmi les scientifiques est sans doute inférieur à la moyenne d’escrocs dans la population globale. Pour une raison simple : la science promeut des valeurs humanistes de partage (inconditionnel de connaissance) et d’honnêteté (intellectuelle). Évidemment, les « scientifiques » restent des hommes, avec tout les défauts qui vont avec.
       
      Note : Je suis moi même ce que l’on pourrait appeler un « scientifique » donc considérez mon avis comme vous le sentez. Je ne nie pas l’existence d’escrocs et de la falsification mais je nie l’importance de cette falsification par rapport au progrès réalisé et au nombre de publications réelles et bien fondées.
       
      Il est vrai que la pression est grande et que la nécessite de publier pour exister est de plus en plus présente. Il me semble toutefois que cela nuit plus à la qualité des publications en général (plus de petite publications, découpage des résultats, études incomplètes) et à leur visibilité (trop de publications à lire) qu’au risque de falsification.
       
      Je tiens tout de même à souligner qu’il y a tout de même très peu d’exemples de falsifications dans les grands journaux à Peer Review (beaucoup d’exemples dans de petits journaux obscures) car leur processus de peer review ont été éprouvé et sont bien en place. 
       
      Attention à ne pas mettre en lumière de manière disproportionné ces quelques exemples de falsification, au risque de discréditer toute la communauté scientifique et la science en général. Et quand il n’y a plus/peu de science dans une civilisation cela laisse place au scepticisme à l’extrême voir à la paranoïa (il n’y a qu’a regarder le nombre de gens qui ne croient plus ce que la science expose, ni aux vaccins, ni au médicament, ni en ce que leur dit leur médecins, etc... Parfois à juste titre mais bien souvent à tort, à mon avis.)
       
      Plus que l’aspect scientifique, il me semble que c’est l’aspect du modèle économique de la science médicale qui devrait être remis en question !
       
      Il aurait été souhaitable dans cet article d’avoir le rapport chiffrés entre le nombre de retraits de publications falsifiés par rapport au nombre de publication publiés. Cela
      aurait permis une mise en perspective moins alarmiste au vu du faible % (qui corrèle également avec un faible impact sur la science en général).


    • Vincent Verschoore Vincent Verschoore 8 septembre 2015 20:56

      @liberty1st
      Bonsoir. Le % est effectivement très faible, 230 articles sur des dizaines de milliers de publications sur 3 ans. Mais je ne sais pas quels articles, spécifiquement, ont été dépubliés. L’impact n’est pas tant le % que l’impact dudit papier sur la recherche ou les décisions stratégiques qui en découlent. 

      De manière générale, à partir du moment ou la corruption est avérée, la confiance en prend un coup, peu importe que ce soit 0,1% ou 10% car on n’en connait pas l’impact réel. 

    • doctorix doctorix 9 septembre 2015 00:11

      @Vincent Verschoore

      Quand on sait le nombre de pompes qu’il faut cirer pour accéder au clinicat, puis au professorat, on peut se demander si un scientifique reconnu n’est pas plus doué pour les affaires que pour la science.
      Quand on sait ensuite à quel point le scientifique qui a grimpé toutes les marches (ou sucé toutes les b...) peut être sollicité pour écrire telle ou telle louange, et sachant que l’homme est faible du côté du portefeuille, alors on perd toute confiance.
      Vous avez cité la mémoire de l’eau et l’origine anthropique du réchauffement, je ne peux qu’ajouter les vaccinations à votre palmares, un domaine où la désinformation est également la règle depuis 200 ans : un record...et l’ancêtre de la fraude scientifique.

    • Ruut Ruut 9 septembre 2015 09:01

      @Vincent Verschoore
      Un scientifique est simplement une personne qui publie le résultat de ses expériences (ou pas) et en tire des conclusions (ou pas).


    • Vincent Verschoore Vincent Verschoore 9 septembre 2015 11:57

      @Ruut
      Il y a quand même une notion de méthode, et notamment celle de la falsifiabilité. C’est elle qui distingue la science du reste (métaphysique, spiritualité, etc...), domaines dans lesquels ont peut aussi faire des expériences et les publier. Et qui sont du reste tout aussi intéressantes.


    • Vincent Verschoore Vincent Verschoore 9 septembre 2015 12:03

      Salut doctorix
      Parmi les ancêtres on trouvera aussi le créationnisme et l’alchimie, alors :)


    • foufouille foufouille 8 septembre 2015 11:13

      "cela porte à 230 le nombre de publications dépubliées depuis 3 ans pour fraude dans leur évaluation. Cela fait peu au regard des dizaines de milliers de papiers publiés chaque année, mais ce phénomène semble récent, inconnu avant 2012"
      sans blague ?
      comme le plagiat, ça a toujours exister, comme les charlatans.


      • attis attis 8 septembre 2015 14:16

        Et il n’est certain de savoir s’il s’agit effectivement d’un phénomène nouveau, ou d’une capacité nouvelle de détection de ce type de fraude.
         
        Les pratiques décrites dans cet articles sont pourtant anciennes.
        La science ne fait que recycler des techniques de manipulation utilisées dans d’autres domaines, ce qui semble choquer certaines personnes persuadées que la science est une sorte de divinité virginale qui trône dans les hauteurs éthérées, et que les scientifiques sont ses serviteurs vertueux (à bas le nouveau clergé scientiste ! ).
         
        Dans The Anglo-American Establishment, Carroll Quigley décrit les tactiques d’influence de groupes d’oligarques anglais au début du XXème siècle :
         

        L’influence de chaque branche grandissait par un processus de renforcement mutuel par l’interaction de ces différentes branches entre elles, tout en prétendant que les branches étaient indépendantes les unes des autres. L’unanimité qui naissait parmi les différentes branches était perçue par le monde extérieur comme la conséquence de l’influence d’une Vérité unique, alors qu’il s’agissait en fait de la conséquence de l’existence d’un groupe unique. Ainsi, un homme d’état (qui est un membre de ce groupe) annonce une politique. À peu près au même moment, le Royal Institute of International Affairs publie une étude sur le sujet, et un professeur à l’université d’Oxford, un Fellow of All Souls [ndt : ancien élève du All Souls College, l’un des collèges de l’université d’Oxford], publie également également un ouvrage sur le sujet (probablement par le biais d’une maison d’édition alliée au groupe, comme G. Bell and Sons ou Faber and Faber). La politique proposée par l’homme d’état est ensuite soumise à une analyse critique puis approuvée dans un éditorial paru dans The Times, tandis que les deux ouvrages font l’objet d’une critique (dans le même article) dans le supplément littéraire de The Times. L’éditorial et la critique sont tous deux anonymes, mais rédigés par un membre du groupe. Enfin, toujours au même moment, un article anonyme paru dans The Round Table soutient énergiquement la politique voulue par le groupe. Les effets cumulés de ce type de tactiques auront nécessairement un impact important, et ce même si chaque action prise isolément n’aura touché qu’un petit nombre de décisionnaires.


        • christophe nicolas christophe nicolas 8 septembre 2015 16:06

          Vous avez raison...


          Prenez les neutrinos supraluminiques, Icarus infirme Opéra alors que la chaîne de mesure n’est pas corrigée et que l’erreur est imputée à la chaîne de mesure sur des motifs que je maîtrise et dont je peux vous dire qu’ils sont bien bidons. Que peut-on dire ? Que les neutrinos aient dépassé ou pas la vitesse de la lumière, il y une volonté intentionnelle d’enfumage. Les précédents résultats du fermilab ne permettaient pas de trancher avec certitude et dans le cas présent, nul ne peut contredire le laboratoire souterrain de Gran Sasso. L’arnaque a un motif clair, faire un appel a théorie, le Cern est coincé dans une logique stérile et pompe pour tenter de s’en sortir.

          Prenez la sonde Pioneer qui s’est révélée avoir une accélération vers le soleil pendant 30 ans, lorsque le Pr John Anderson est parti à la retraite, son successeur a résolu le problème par une pression radiative de photons thermiques, une grande première mondiale... Vous ralentissez en branchant vos phares... Les précédents symposiums mondiaux n’avaient pas trouvé la solution (sic). La valeur de la décélération étant l’exacte valeur de l’approximation relativiste du 1er ordre lorsque « v » est beaucoup plus petit que « c », on ne peut que conclure à la supercherie.

          Aujourd’hui, on nous parle de l’EMdrive qui avance avec des micro-ondes dans une cavité résonnante produisant des poussées de plusieurs dizaines de grammes. Est ce possible ? Non, c’est impossible pourtant cet appareil fonctionne réellement mais c’est un tout autre problème que la sonde Pioneer, résolu, je vous rassure.

          Trois problèmes, trois casse-têtes. Certains nagent dans le brouillard et laissent des doubles portes de sortie sur les observations, font de la pub et une sorte de brainstorming mondial. Lorsque vous pensez tenir votre explication, vous pouvez infirmer les observations en fonction des intérêts carriéristes, économiques et/ou stratégiques, le secret sera bien gardé. En gros, c’est une escroquerie comme pendant la guerre froide. Vous passez au pallier supérieur si vous produisez une étude fausse pour expliquer une observation. Et après, qu’est-ce qu’ils vont faire ? Une étude disant que les micro-ondes peuvent produire une poussée de plusieurs dizaines de grammes ? Mette une micro bombe atomique sur Los Alamos pour leur faire dire que de l’engrais a explosé et les obliger à mentir comme pour le port de Tianjin parce que c’est le but.... obliger les autorités chinoises à mentir pour rentrer dans le rang du « bon dirigeant hypocrite » de la planète qui a une épine dans le corps sur laquelle certains peuvent appuyer pour faire mal.

          La vérité a tant de facettes qu’elle resurgit de partout tandis que les mensonges deviennent toujours plus gros, intenables et ridicules.

          • Lapa Lapa 8 septembre 2015 19:54

            Bonjour à l’auteur,

            Les sciences biomédicales, ayant trait à la psychologie ou à l’économie sont les plus sujettes à caution. Soit de part le côté peu reproductible de leur analyses et conclusion, soit par la problématique énoncée dans l’article.

            Quelques précisions parce que je ne voudrais sombrer dans un relativisme scientifique « tout se vaut, les théories les plus bidons aussi ». Le système de revue par des paires, s’il n’est pas parfait, a néanmoins le mérite d’être le moins pire. Le fait même que ses utilisateurs puissent montrer son imperfection et ses dévoiement et un critère important de confiance et de future amélioration. N’oublions pas que la science avance grâce à l’esprit critique et le consensus. Les deux sont indissociables. On n’a pas trouvé mieux que les tests en double aveugle, répétables et reproductibles (ce n’est pas la même chose) confirmés par des paires dans le domaine pour prouver une concordance, une cause à effet et pouvoir établir des règles et lois...etc... quitte à ce que l’intuition ou l’empirisme donne une piste de recherche.

            Pour l’open peer review ou le crowd, je pense qu’il serait bon de appesantir sur le pourquoi ils permettraient d’évoluer ou pourquoi ils ne seraient pas soumis aux mêmes problématiques, voire à d’autre ; bref discuter de leur limites/avantages. Présentement ça fait un peu lapin qu’on sort d’un chapeau.

            bonne journée !


            • Vincent Verschoore Vincent Verschoore 8 septembre 2015 21:00

              @Lapa
              La fraude dans le peer review est sans doute un problème temporaire, mais le biais est un problème nettement plus fondamental. les système open et crowd, faisant appel à des avis hors des cercles d’initiés qui partagent, en général, les mêmes biais (surtout dans le biomédical, mais pas seulement), peut justement contrer l’effet de biais. L’un ne remplace pas l’autre, c’est plutôt une sécurité supplémentaire. 


            • Ruut Ruut 9 septembre 2015 09:09

              @Lapa
              Non la science avance par la reproduction des expériences et la reproductibilité des conséquences.

              Si une expérience n’est pas reproductible, c’est une théorie.


            • christophe nicolas christophe nicolas 9 septembre 2015 18:26

              @Ruut


              C’est exact Ruut, c’est nécessaire mais ce n’est pas suffisant. En premier lieu on observe, on pose des hypothèses, on imagine des mécanismes. La reproductibilité est importante pour les sciences objectives et encore, la reproductibilité peut s’exprimer dans une forme statistique...

              Il y a donc un double mécanisme où les expériences précèdent la théorie et où la théorie précède l’expérience... les théoriciens et les expérimentateurs sont au charbon à tour de rôle, actuellement ce sont les théoriciens qui planchent.

              Le point de convergence est l’observation pour laquelle l’honnêteté est de rigueur... J’ai une bonne nouvelle pour tout le monde, on va pouvoir tester si on peut dépasser la vitesse de la lumière si l’accélération provient de l’intérieur (vaisseau) par rapport au fait qu’on ne peut pas si l’accélération provient de l’extérieur (accélérateur de particules et mouvements naturels).

              Combien de temps ? Je dirais moins de 25 ans au pifomètre... Je vous propose un pari planétaire chez les bookmakers pour le fun, je mets le 1er euro sur le fait qu’on dépasse la vitesse de la lumière « les doigts dans le nez », c’est bien normal puisque que je suis l’auteur de la théorie de l’intrication. Je prends 1% des gains si je gagne pour financer les inventeurs méconnus, et c’est pour le Cern si je perds qui financera se qu’ils veulent, trous de ver, matière noire, énergie sombre, etc...

              Je mets la pression pour éviter les escroqueries...

Ajouter une réaction

Pour réagir, identifiez-vous avec votre login / mot de passe, en haut à droite de cette page

Si vous n'avez pas de login / mot de passe, vous devez vous inscrire ici.


FAIRE UN DON






Les thématiques de l'article


Palmarès