• AgoraVox sur Twitter
  • RSS
  • Agoravox TV
  • Agoravox Mobile

Accueil du site > Actualités > Société > L’interprétation des résultats statistiques

L’interprétation des résultats statistiques

Les statistiques ont pris une importance considérable dans la gestion économique et sociale des États qui fondent leurs politiques sur la rationalité, c’est-à-dire pour la plupart dont le régime est la démocratie. L’argumentation avancée pour justifier des mesures de toutes natures est fondée très souvent sur l’interprétation de résultats statistiques exprimés sous forme de chiffres, pourcentages, graphiques, etc. mais malheureusement, d’une part ces résultats sont contestables, et d’autre part leur interprétation souvent abusive.

L’origine des erreurs

Je ne discuterai pas ici des erreurs volontaires, qui sont tout simplement des escroqueries intellectuelles. Elles ne méritent pas qu’on s’attarde dessus. Les erreurs involontaires peuvent s’expliquer de deux façons.

La première est l’inadaptation de la méthode choisie pour analyser les données. La facilité avec laquelle on peut procéder maintenant à une enquête, à une analyse de données, met la modélisation et la statistique à la portée d'un grand nombre d'utilisateurs qui n'ont pas nécessairement les connaissances en statistique suffisantes pour en appliquer correctement les méthodes. Paradoxalement, l’augmentation considérable de la quantité d’informations statistiques que l’informatique permet d’obtenir a pour conséquence d'accroître l'exigence dans la compétence scientifique et l’esprit critique des utilisateurs.

La seconde concerne l’interprétation des résultats. Naturellement, cette interprétation n’a pas de sens si la méthode utilisée n’est pas adaptée aux données analysées. Mais une méthode employée à bon escient ne garantit pas que cette interprétation lui soit conforme : une bonne connaissance de cette dernière est indispensable, mais non suffisante. Il ne s’agit pas seulement de connaître les principes numériques de la méthode, mais ses limites, et c’est l’erreur commise par des statisticiens trop sûrs d’eux-mêmes.

Ces deux types d’erreurs résultent en réalité d’une même démarche psychologique suivie dès le début de l’analyse. L’analyse de données nombreuses, connue sous le nom de big data, réduit cette difficulté mais n’y échappe pas. La démarche est en effet toujours la même : le scientifique (sociologue, médecin, etc.) se pose des questions qui relèvent de son champ de connaissances. Ces questions dépendent de sa réflexion personnelle et sont par suite déjà subjectives. Elles aboutissent à un questionnaire et à des données (quel que soit leur nombre). La méthode utilisée produit des statistiques qui « résument » les données observées, et l’interprétation consiste à déduire de ces valeurs des réponses aux questions que se pose initialement le scientifique. La tendance naturelle est de chercher confirmation des réponses qu’il présuppose implicitement par toute l’analyse qu’il a menée. La subjectivité est présente du début à la fin de l’analyse.

L’intérêt intellectuel de cette démarche fait oublier régulièrement cette subjectivité. Cette dernière est connue, puisque les scientifique tentent d’y répondre par ce que les sociologues appellent la « neutralité axiologique » (Max Weber) de l’observateur, par son recul vis-à-vis du problème étudié, par sa position de « spectateur impartial » (Raymond Boudon), mais cette tentative ne peut que la limiter : le questionnement reste toujours de l’initiative du scientifique.

 Quelques exemples simples d’erreurs

  • Les sciences de l’éducation

Les publications dans les sciences de l’éducation sont une source inépuisable d’exemples d’erreurs méthodologiques et interprétatives.

La conclusion d’une étude sur le redoublement est la suivante : « Les études sont formelles : au cours préparatoire, sauf circonstances exceptionnelles, le redoublement est contre-productif. Plus généralement, de l'école primaire au collège, il est inefficace, car il ne permet pas aux élèves de rattraper leur retard, et inéquitable, car il touche surtout les enfants évoluant dans les catégories socioprofessionnelles les plus défavorisées. » La vérité sur le redoublement est dite. Cela mérite réflexion. La neutralité axiologique est ici complètement oubliée :

1) le scientifique part du principe que le redoublement doit permettre à l’élève de rattraper son retard. Quel retard ? Vis-à-vis des autres ? Comment le redoublement pourrait-il augmenter le quotient intellectuel ou régler des problèmes familiaux ?

2) Il est inéquitable car il touche surtout les catégories les plus défavorisées : l’auteur de l’étude part ici du principe que c’est une punition, alors que c’est une aide. Ce raisonnement est l’inverse de celui qui justifie la création des ZEP.

C’est une démarche typique de technocrate incompétent qui remet en cause de façon complètement abusive la déontologie des instituteurs.

  • Le féminisme

La nature officielle des analyses statistiques ne garantit pas leur scientificité. L’enquête nationale sur les violences envers les femmes en France (ENVEFF, Jaspard, 2000) commanditée par le Secrétariat d’État aux Droits des femmes et à la formation professionnelle, est très contestable au plan scientifique. La procédure utilisée pour recueillir les informations (un questionnaire très long administré par téléphone), est très discutable et la pertinence des réponses très loin d’être assurée. En n’interrogeant que des femmes, on n’accède qu’à la moitié des infor­mations sur les conflits qui ont dégénéré en violences physiques ou psychologiques. La restriction de l’échantillon aux femmes limite et biaise la réflexion sur le fait social observé : dans un procès, on interroge les deux parties avant d’émettre un jugement. Cette enquête, limitée au discours de la femme, est orientée dès sa conception vers sa victimisation et par suite vers la criminalisation de l’homme, sans qu’il soit possible d’observer les relations familiales ni les motivations de celui qu’il faut bien appeler l’accusé. La neutralité axiologique a été complètement oubliée à la fois dans la méthodologie et l’interprétation des résultats.

D’autres exemple d’implication personnelle dans l’interprétation de statistiques sociales sont donnés par Antoinette Fouque dans son ouvrage Il y a deux sexes (Gallimard, 1995). Quand elle regrette qu’en Europe 80% des personnes âgées vivant de l’aide sociale sont des femmes (p.258), on ne peut que compatir à ce qui apparaît au premier abord comme une injustice. Une réflexion un peu plus approfondie montre qu’elle oublie simplement que les hommes du même âge sont souvent morts puisque les personnes âgées prises en charge par l’assistance sociale ont fréquemment plus de 80 ans et que, par suite, ce sont en très grande majorité des femmes (au moins 75%). En outre, l’argument s’inverse facilement : être pris en charge par l’assistance sociale est évidemment le signe d’une détresse, mais cela reste un avantage social dont on pourrait dire que peu d’hommes bénéficient puisque la plupart sont morts.

  • La sécurité routière

C’est encore un domaine très riche d’erreurs méthodologiques et interprétatives. On donne ci-dessous un graphique montrant la relation entre les mesures de sécurité routière prises de 1971 à 1998 et les nombres annuels de tués sur les routes.

L'erreur consiste à en déduire l’efficacité des mesures prises. Si, au lieu de ces mesures, on avait représenté le prix du pain, on n’en aurait pas déduit une relation de causalité. La méthodologie utilisée n’est pas efficace pour montrer cette efficacité, et l’interprétation du graphique est évidemment liée à l’intuition immédiate. Pour prouver la relation de causalité entre la diminution du nombre de morts et une mesure de prévention routière, il faudrait vérifier l’impact de cette dernière sur les accidents survenus auparavant : c'est en examinant les circonstances précises dans lesquelles ils se sont produits et leurs conséquences sur les conducteurs et les passagers des véhicules que l'on peut évaluer l'efficacité de la mesure prise.

 

Je me suis limité dans cet article à des critiques assez faciles d’analyses simples. On peut croire que des méthodes plus puissantes échappent aux difficultés méthodologiques et interprétatives. En fait, c’est l’inverse : plus une méthode est complexe, plus elle en exige une bonne connaissance de ceux qui l’utilisent, et plus la position d’observateur impartial est nécessaire pour aboutir à des interprétations scientifiquement correctes. Ce sera l’objet d’un article ultérieur, qui contiendra une bibliographie sur ces sujets.

 

 


Moyenne des avis sur cet article :  4.29/5   (7 votes)




Réagissez à l'article

17 réactions à cet article    


  • Abou Antoun Abou Antoun 17 juillet 15:48

    Je ne discuterai pas ici des erreurs volontaires, qui sont tout simplement des escroqueries intellectuelles. Elles ne méritent pas qu’on s’attarde dessus.
    Eh bien si justement, ce sont les plus fréquentes et les plus simples à comprendre. Il faut les démonter toutes, une à une sans relâche.


    • Thierry FOUCART Thierry FOUCART 17 juillet 17:38

      @Abou Antoun
      Je comprends bien votre souhait. Je l’ai fait à un moment donné, mais c’est en vain que l’on dénonce les erreurs les plus flagrantes parce que justement, elles sont volontaires et leurs auteurs refusent de les reconnaître.


    • Pere Plexe Pere Plexe 21 juillet 17:46

      @Thierry FOUCART
      Vous avez raison

      Mais l’important n’est pas que l’auteur reconnaisse.
      C’est que ceux qu ils cherchent à tromper sachent. 

    • zygzornifle zygzornifle 17 juillet 15:59

      on parle toujours du nombre de tués sur les routes mais jamais de l’accroissement de la circulation ....


      il faudrait un % par rapport au nombre de véhicules autrement ce chiffre ne veut rien dire ....

      • Thierry FOUCART Thierry FOUCART 17 juillet 17:58

        @zygzornifle
        Vous avez raison, mais dans ce cas particulier, les statistiques n’ont pas d’autre but que de confirmer la politique des pouvoirs publics. 


      • Pere Plexe Pere Plexe 21 juillet 18:03

        @Thierry FOUCART
        D’ailleurs le principe est simple :

        si le nombre de tués baisse c’est la preuve que les mesures prises sont efficaces.
        s’il monte c’est la preuve qu’il faut continuer et accentuer ces mesures.

      • amiaplacidus amiaplacidus 17 juillet 16:32

        Durant mes études, j’avais fait essentiellement de l’analyse, de l’algèbre linéaire et de la géométrie, le tout parsemé de quelques cours de prob et stat.

        Dans ma vie professionnelle, j’ai eu beaucoup plus besoin de prob et stat.

        Je me suis alors aperçu que c’était un domaine assez difficile des maths, et j’ai dû ramer pour me mettre à niveau.
        Par exemple, je pense que les équadiff sont plus faciles à maîtriser que les tests statistiques.

        Alors, lorsqu’un politique ou un journaliste parle de statistique ...


        • Abou Antoun Abou Antoun 17 juillet 17:41

          @amiaplacidus
          Je suis parfaitement d’accord avec vous.


        • Pere Plexe Pere Plexe 21 juillet 18:06

          @amiaplacidus
          reste qu’avec un peu de bon sens ont peu déjà déjouer pas mal de travers méthodologiques.


        • sls0 sls0 17 juillet 17:10

          Je regarde beaucoup les statistiques du moins les données brutes.

          Je regarde d’abord les chiffres, leurs corrélations et les vérifie via ANOVA par exemple.
          C’est seulement ensuite que je regarde à quoi ils correspondent et le questionnaire associé.
          Pourquoi les chiffres en premier ? Ca me permet une neutralité d’esprit, je ne cherche pas la corrélation qui me plait mais celle qui est mathématiquement remarquable.
          Quand c’est du domaine sociologique il est bon de relire les méthodes en sociologie de Raymond Bourdon.
          Les stats sont très fiables sauf aux endroits où intervient l’humain, il vaut mieux avoir l’esprit le plus neutre possible.
          C’est fait pour comprendre c’est tout, les stats ne sont pas là pour plairent.
          Pour moi la plupart du temps c’est des stats hors humain ce qui permet de m’entrainer à ne pas me sentir impliquer. Même une étude de la délinquance en Amérique latine je considère comme hors humain. Pour comprendre certaines incohérences, il faut parfois aller dans le pays où trouver le ou les connaissants locaux.

          Aux USA c’est très riche en chiffres et données, il est facile de voir le porte à faux des discours.
          Emmanuel Todd en son temps avait préduit la chute de l’URSS en regardant des chiffres, même dans un système assez fermé ils est difficile de cacher les chiffres.

          Des données et des chiffres on en trouve en pagaille, le tout est de savoir lesquels chercher.

          Personnellement j’emploie R qui est très puissant et qui permet de voir où l’esprit peut avoir des limites de visualisation.

          Les stats souvent on ne les connait que via les sondages, ce n’est peut être pas le meilleur endroit coté qualitatif, toujours le facteur humain et les intérêts qui y sont liés. 

          En archéologie ça a bien servit, c’est un endroit où on voit mal la présence des stats pourtant ça a amené un bon qualitatif, bon la bible y a perdu son coté historique mais c’est une autre histoire.



          • Thierry FOUCART Thierry FOUCART 18 juillet 10:00
            @sls0
            Je suis entièrement d’accord votre démarche.
            Emmanuel Todd n’est pas le seul à voir prédit la chute de l’URSS. Hélène Carrère d’Encausse était parvenue à la même conclusion par d’autres moyens, et bien d’autres observateurs. C’est la date de cette chute qui était difficile à prévoir.
            Cela n’enlève rien à la qualité du travail d’Emmanuel Todd, qui a analysé dans son essai Qui est Charlie ? le mouvement populaire qui a suivi l’attentat contre le journal. Son étude est très rigoureuse contrairement à ce que certains ont prétendu , et le seul reproche méthodologique qu’on peut faire est l’utilisation abusive des coefficients de corrélation alors que les graphiques seuls sont à mon avis suffisants. Cela n’empêche pas qu’on peut ne pas partager certaines de ses conclusions (c’est mon cas). 
            La statistique est un outil très efficace lorsqu’on l’utilise correctement, quel que soit la nature des données. Les Cahiers de l’analyse des données publiées à l’origine par Jean-Paul Benzecri en ont donné des exemples très nombreux dans tous les domaines.

          • jef88 jef88 17 juillet 21:53

            c’est pas nouveau !
            Mr Disraeli, 1er ministre de la reine Victoria a déclaré :
            « Il y a trois formes de mensonge : le mensonge, le satané mensonge et la statistique !
            La statistique est la forme élaborée du mensonge »
            Notre 21ème siècle a augmenté le mensonge en inventant « l’échantillon représentatif » !


            • Pere Plexe Pere Plexe 21 juillet 18:19

              @jef88
              forme élaboré qui donne un vernis scientifique.

              Comme l’expert devenu indispensable pour cautionner un info ou une analyse

            • Aristide Aristide 18 juillet 09:58

              Le biais le plus fréquent en analyse statistique consiste à assimiler corrélation et causalité.


              • Thierry FOUCART Thierry FOUCART 18 juillet 10:00

                @Aristide
                Oui, j’en parlerai plus précisément dans l’article suivant.


              • Pere Plexe Pere Plexe 21 juillet 18:10

                @Aristide

                un de mes prof l’illustrait par :
                l’hôpital est l’endroit ou statistiquement l’on meurt le plus : supprimer les hôpitaux augmenterai à coup sur l’espérance de vie.

              • jambon31 18 juillet 15:18

                W. Churchill aurait dit :
                « Je ne fais confiance qu’aux statistiques que j’ai moi même trafiqué ».

Ajouter une réaction

Pour réagir, identifiez-vous avec votre login / mot de passe, en haut à droite de cette page

Si vous n'avez pas de login / mot de passe, vous devez vous inscrire ici.


FAIRE UN DON









Palmarès