Bidouillage à l'anglaise de l'étude Kiggs

Publié le 18 Août 2013

ou encore: "lisons l'article et affirmons que les conclusions des auteurs sont en contradiction avec le contenu de l'article"

Il s'agit d'un billet de Heidi Stevenson (oui encore elle) intitulé sobrement Unvaccinated Children Suffer Fewer Infectious Diseases: Study qui commence de la sorte:

  • This study stated a conclusion absolving vaccinations of causing harm to children. But their conclusion doesn’t match their results!

L'argumentaire d'Heidi Stevenson porte sur trois axes:
- les maladies infectieuses non spécifiques (contre lesquelles il n'y a pas de vaccins),
- les allergies/atopies,
- la méthode d'analyse des données.

Je ne compte pas m'attarder sur ses critiques méthodologiques, qui sont d'une mauvaise foi atterrante et ne peuvent de toute façon pas prouver que les conclusions de l'étude seraient en contradiction avec le contenu. En effet, elle reproche principalement aux auteurs de ne pas avoir étudié telle ou telle chose, à tort d'ailleurs (par exemple, il y a à peine une petite centaine d'enfants non vaccinés, donc il est impossible d'étudier des troubles, tels que l'autisme, qui sont quand même plus rares que l'eczéma...). Si ils ne les ont pas étudiées, ils n'ont rien conclu à leur sujet non plus. Dont acte.

Maladies infectieuses non spécifiques
  • The study found:
    -Vaccinated children aged 1-5 had 27% more infectious disease than unvaccinated children.
    -Vaccinated children aged 11-17 had 16% more infectious disease than unvaccinated children.

Donc H. Stevenson affirme que les enfants vaccinés entre 1 et 5 ans et entre 11 et 17 ans souffrent plus de maladies infectieuses non spécifiques que les enfants non vaccinés. Pour situer le contexte, les résultats indiqués dans l'étude pour le nombre d'infections par enfant dans l'année précédant la collecte de données sont les suivants

Classe d'âge

Groupes des non vaccinés

Groupes des vaccinés

Valeur p

1-5 ans

3.3 (IC 95%: 2.1-4.6)

4.2 (IC 95%: 4.1-4.4)

p=0.1728

6-10 ans

3.0 (IC 95%: 0.4-5.7)

2.9 (IC 95%: 2.7-3.0)

p=0.7137

11-17 ans

1.9 (IC 95%: 1.0-2.8)

2.2 (IC 95%: 2.1-2.3)

P=0.5765

Bidouillage à l'anglaise de l'étude Kiggs

Donc si on s'amuse à faire les opérations arithmétiques (4.2-3.3)/3.3 et (2.2-1.9)/1.9 pour les 1-5 ans et les 11-17 ans, on trouve bien des différences relatives de l'ordre de 27% et 16%. Mais il ne faudrait pas oublier que les résultats sont accompagnés de leur intervalle de confiance à 95% et de leur valeur-p.

--- Un peu de théorie (oui je sais, c'est affreux) ---

L'étude Kiggs est un sondage (sélection d'un échantillon représentatif de la population de taille limitée, en vue d'estimer les caractéristiques de la population d'ensemble). Un peu à la façon d'un sondage pré-électoral pour le second tour d'une élection présidentielle réalisé sur quelques milliers de personnes.

  • Soit la vraie valeur de la caractéristique (Vv, valeur vraie) étudiée.
    Par exemple:
    -le nombre d'infections par enfant dans l'année précédant la collecte de données
    -la proportion d'intention de vote pour un des deux candidats
    Cette valeur Vv est impossible à connaitre (à moins de sonder la population dans sa globalité, ce qui est difficilement réalisable, sauf au moment de l'élection proprement dite).
  • Pour compliquer les choses, on désire savoir si la valeur Vv est différente pour différentes catégories de population (Vv1 et Vv2)
    Par exemple:
    -en fonction du statut vaccinal de l'enfant
    -en fonction du sexe des votants
  • A partir de l'échantillon, on obtient une estimation, une mesure de la valeur de la caractéristique pour chaque catégories de la population (Ve1 et Ve2, valeur estimée). Il y a alors 95% de chance que l'intervalle noté IC 95% et définit autour de Ve1 (/Ve2) contiennent Vv1 (/Vv2), la vraie valeur la caractéristique étudiée.
    Si on recommençait le sondage sur 100 échantillons de populations différents, on s'attend à ce que l'IC 95% contiennent la valeur vraie dans 95 des sondages et ne la contiennent pas dans les 5 autres. Réalisez 100 sondages pré-électoraux, et attendez-vous à vous tromper 5 fois sur la valeur des intentions de vote.
    Donc l'IC 95% a 95% de chances de contenir la vraie valeur. De là, un abus de langage tend à faire dire que la vraie valeur a 95% de chances de se trouver dans l'IC 95%. Si vous le comprenez comme çà, ce n'est pas tout à fait exact, mais ce n'est pas très grave non plus.
    Notez qu'au plus la taille de l'échantillon est grande, au plus les IC 95% auront tendance à être petits. C'est pourquoi les IC 95% sont plus petits pour les enfants vaccinés, qui sont plus nombreux que les non-vaccinés.
  • La valeur p est la probabilité que la différence entre Ve1 et Ve2 ait été obtenue par hasard en partant de l'hypothèse qu'en réalité Vv1 et Vv2 soient égales (nombre d'infection indépendant du statut vaccinal, intention de vote indépendant du sexe).
    En effet, même si les deux candidats sont d'égale popularité entre hommes et femmes, vous pouvez choisir par hasard un échantillon de population au sein duquel leur popularité ne sera pas égale.
    La valeur p est donc la probabilité d'obtenir une différence donnée entre les valeurs estimées Ve1 et Ve2, dans le cas où Vv1=Vv2.
    Dit autrement, la valeur p est la probabilité de se tromper en affirmant qu'il y a une différence entre Vv1 et Vv2 en prenant Ve1 et Ve2 comme estimations de Vv1 et Vv2 (qui pour rappel sont inconnues).
    Classiquement, on considère que si la probabilité p est en dessous de 5%, c'est que la différence a peu de chance d'être due au hasard, et qu'on peut raisonnablement risquer d'affirmer que Vv1 est différent de Vv2. On dit aussi que la différence entre Ve1 et Ve2 est significative, ce qui n'a rien à voir avec l'ampleur de la différence entre Ve1 et Ve2. Encore une fois, réalisez 100 sondages pré-électoraux, et attendez-vous à vous tromper 5 fois en ce qui concerne l'existence d'une influence du sexe sur le vote.
    Une différence significative peut être obtenue quelque soit la taille de l'échantillon (voire sophisme du petit échantillon).

Techniquement parlant, pour les curieux, je viens de décrire un test d'hypothèse (cas particulier du test d'homogénéité entre deux échantillons).

--- Fin de l'entracte théorique ... il y a encore quelqu'un? ;-) ---

Revenons aux enfants de 1-5 ans et 11-17 ans, on voit bien qu'il n'y a pas de différences significatives entre les vaccinés et les non vaccinés (les IC 95% sont plus ou moins emboités l'un dans l'autre et les valeurs de p sont grandes). H. Stevenson ne peut donc pas affirmer ce qu'elle affirme...
D'ailleurs pourquoi ne s'amuse-t-elle pas aussi avec les 6-10 ans pour conclure qu'à ces âges la vaccination protègerait des maladies infectieuse non spécifiques...? Ben parce que c'est moins amusant quand on est un militant anti-vaccin... d'ailleurs d'un coup, la valeur-p existe (c'est juste qu'il lui faut de très grandes valeurs pour la remarquer... elle ne comprend pas que même une valeur p de 0.17 n'est pas très encourageante):

  • Notice that unvaccinated children aged 1-5 and 11-17 were significantly less likely to suffer from any infection than vaccinated children, while the unvaccinated aged 6-10 were only slightly more likely to to suffer from an infectious disease than the vaccinated—and the p-value for that age group is exceptionally high, indicating that the age 6-10 results could easily have been reached by pure chance.

En fait, aucune des différences, quelque soit le groupe d'âge, n'est significative. Quand les auteurs concluent que

  • The slight differences between the vaccinatation status groups did not reach significance.

ils sont bien en accord avec les résultats décrits dans l'étude!

Le allergies/atopies

Voici le tableau des résultats présentés dans l'étude

Bidouillage à l'anglaise de l'étude Kiggs

Heidi stevenson le commente de la sorte

  • The results for allergic conjunctivitis, eczema, and bronchial asthma were quite mixed, as is apparent in the graph to the shown above.The results appear to be all over the place:
    -Allergic rhinoconjunctivitis seems to be more common in unvaccinated children aged 1-5, but becomes significantly less common as they age, until it’s twice as common in ages 11-17 in vaccinated children.
    -The rate of atopic eczema is nearly identical in ages 1-5, becomes more common in unvaccinated children aged 6-10, and then becomes nearly 2½ times more common in vaccinated children aged 11-17.
    -No cases of bronchial asthma were reported in unvaccinated children aged 1-10. Between the ages of 11 and 17, the unvaccinated had a slightly larger percentage of cases. However, the number is so small—just 2—that the comparison is fairly meaning
    less.

Pour finir par conclure que

  • The trends in allergic rhinoconjunctivitis and atopic eczema as children get older clearly favors the unvaccinated. Only bronchial asthma might show a different trend, but that result is, as explained, questionable.

Pourtant, encore une fois, au vu des valeur p et des intervalles de confiance, il n'y a rien à conclure de particulier, ni dans un sens, ni dans l'autre. La façon de procéder de Mme Stevenson est révélatrice d'une volonté d'incriminer les vaccins à toux prix. Elle se donne beaucoup de mal pour justifier les cas où les non vaccinés présentent une valeur estimée plus élevée que celle des vaccinés. Ce n'est pourtant pas la peine.

Les statistiques, c'est important. On ne peut pas sortir des chiffres d'une étude et oublier les statistiques qui les accompagnent. Ca devient malhonnête quand il s'agit de faire passer les auteurs de l'étude pour des idiots qui n'arriveraient pas à tirer les conclusions qui découlent de leurs résultats.

Rédigé par Julie

Publié dans #debunking, #Kiggs

Commenter cet article