Bidouillage à l'allemande de l'étude Kiggs

Publié le 18 Août 2013

Bidouillage à l'allemande de l'étude Kiggs
ou encore "triturons les données jusqu'à trouver un os à ronger, et ne parlons que de l'os",

Dans la première partie du document (lettre d'information d'une association anti-vaccinaliste) évoqué dans le billet précédent, vous pourrez trouver un texte d'une militante anti-vaccinaliste allemande (A. Kogel). Ce texte a été traduit en français depuis le texte original par l'association (on va supposer que la traduction est fidèle, bien que les anti-vaccins aient parfois quelques soucis à ce niveau)

A. Kogel utilise les mêmes données que les auteurs de l'étude Kiggs. Donc en principe, ils devraient tous arriver aux mêmes résutlats et conclusions. Après une longue introduction en forme de pétition de principe et quelques plaintes sur les données qui seraient trop ou pas assez détaillées, selon la phrase et le moment, A. Kogel partage par avance ses conclusions:

  • Cependant, dès le début de cette vaste enquête et à partir de ces maigres informations, j’ai pu disposer d’éléments me permettant de conclure que les enfants et les adolescents non vaccinés étaient en meilleure santé

Conclusions à 180° de celles de l'étude Kiggs. On s'y attendait. Mais il y a plus intéressant:

  • j’ai pu, malgré ces imprécisions, présenter des corrélations que je n’attendais pas aussi claires et aussi évidentes. Bon nombre de ces corrélations entre le statut vaccinal et la santé sont, même du point de vue statistique, significatives, voire hautement significatives. Cela veut dire que la probabilité de trouver cette relation de cause à effet tout à fait par hasard, à cause d’une erreur, s’élève à 5% ou plutôt 1 %. Cette probabilité d’erreur est en matière de statistique un nombre de grandeur qui témoigne de la qualité des conclusions.

Là c'est une surprise! Une militante anti-vaccin qui connait la notion de test d'hypothèse et la définition de la valeur-p, ce n'est pas courant (elle pourra donner un petit cours à H. Stevenson à l'occasion).
Néanmoins, elle commet un petit sacrilège statistique... En effet, on comprend à la lecture du document, qu'en cherchant bien, elle a bien fini par trouver des différences entre vaccinés et non vaccinés, défavorables aux vaccins, dont "bon nombre sont significatives", et que c'est uniquement de ça dont elle nous parlera. Si une différence est en faveur du vaccin? Elle n'en parlera pas. Si une différence n'est pas significative, elle passera cela sous silence. Etc...


A ce jeu-là, qui cherche trouve!

Souvenez-vous, en réalisant 100 fois le même sondage, on peut se tromper 5 fois sur l'existence d'une différence entre deux groupes pour une caractéristique donnée. Dans le même esprit, si au cours d'un sondage, on évalue la différence pour 100 caractéristiques entre les mêmes deux groupes (mettons l'opinion des hommes et des femmes sur 100 sujets de sociétés différents), on pourra trouver 5 différences significatives qui n'existent pas et apparaissent seulement du fait du hasard. Pareil pour les enfants vaccinés et non vaccinés, si on cherche leur différence pour 100 problèmes de santé aussi divers que variés, on finira bien par trouver 5 différences significatives dues seulement au hasard. Plus amusant: on devrait non seulement trouver des différences défavorables aux vaccins, mais aussi quelques différences favorables (A. Kogel se garde bien de nous les montrer celles-là, évidemment...).

Mme Kogel a trituré les données pour chercher les résultats qui lui plaisent, en choisissant également les tranches d'âge qui l'arrangent, jusqu'à pouvoir présenter des différences dont "bon nombre sont significatives" (donc même pas toutes!). Ce sont les os qu'elle rongent. Pour éviter qu'on se pose trop de questions, elle ne prend même pas la peine d'expliciter les IC à 95% et les valeur p qu'elles a prétendumment calculés, de sorte qu'on ne saura pas lesquelles sont significatives parmi les "bon nombre de ". Ce n'est pas très sérieux pour quelqu'un qui prétend avoir des révélations de la plus haute importance à partager. Et ça ne passerait pas dans une revue scientifique digne de ce nom.


Par exemple, parmi les résultats et conclusions qu'elle met en avant, les dermatites atopiques/exzéma chez les adolescents ne font certainement pas partie de ce "bon nombre de". En effet, on peut comparer avec les résutats et conclusions de l'étude Kiggs. Les limites des tranches d'âge sont à peu près compatibles (10-17 ans chez Kogel et 11-17 ans chez Kiggs, ce qui peut expliquer une petite différence au niveau des valeurs médianes):

  • Kogel: 8.1% et 14.2% chez les non vaccinés et les vaccinés, respectivement
    Les enfants vaccinés ont presque deux fois plus souvent une neurodermatite (dermatite atopique)que les enfants non vaccinés
  • Kiggs: 6.4% (1.5-23.5) et 15.3% (14.0-16.6) chez les non vaccinés et les vaccinés, respectivement, p=0.30.
    The prevalence of allergic diseases was not found to depend on vaccination status

La différence entre adolescents vaccinés et non vaccinés n'est pas significative. A. Kogel n'a aucun droit d'affirmer que les vaccinés sont deux fois plus souvent touchés que les non vaccinés... et elle le sait surement, puisque ce résultat fait partie de ceux qui ne font pas partie des "bon nombre qui étaient significatifs". Malhonnêteté. Avec cette façon de faire, elle aurait du conclure que les enfants (entre 1 et 10 ans) non vaccinés étaient plus touchés que les vaccinés. Mais des enfants de 1 à 10 ans, elle ne parle pas. Elle a choisi la tranche d'âge qui lui convenait, évidemment.

D'ailleurs, cette tranche d'âge change au fur et à mesure de l'analyse.

  • Arrivée aux troubles du développement cérébral, elle choisit la tranche d'âge des 5-17 ans.
  • Plus loin, pour ce qu'elle qualifie de maladies graves (il y est question de 3 maladies qui ont, je suppose, été choisies de façon à convenir, par hasard, à la pseudo-démonstration des risques des vaccins), on passe aux 1-17 ans.

Et ainsi de suite...
Pourquoi? Comment? Mystère! Mais il faut retenir que ce genre de pirouette ne se retrouve pas dans les études dignes de ce nom publiées dans des revues sérieuses.

En guise de conclusion

On peut remarquer quelque chose de cocasse. Le document de l'association anti-vaccinaliste reprend à la fois les études de Kogel et Bachmair, en insistant sur le fait que les résutlats de Bachmair seraient cohérents avec ceux de Kogel, voire en seraient une confirmation. Or, le bidouillage suisse présuppose d'ignorer l'existence des non vaccinés de l'étude Kiggs, là où le bidouillage allemand se base sur leur existence. Les deux bidouillages ne sont pas compatibles, c'est une évidence.

Le bidouillage à l'anglaise repose sur les données publiées dans l'étude originale, là où le bidouillage allemand repose sur une trituration des données brutes (et donc pas toutes publiées dans l'étude originale) jusqu'à trouver un truc, n'importe quoi, tant que ça dit ce qu'on a envie que ça dise.

Rien de tout ça n'est cohérent, logique, sensé, ... Et cela n'empêchera pas le militant anti-vaccin lambda de trouver à la fois les trois approches valides, justifées et cohérentes entre elles. C'est le signe d'une façon de choisir les informations qui collent à ses croyances, à ses pétitions de principe, sans se donner une chance de les remettre en question.

Rédigé par Julie

Publié dans #debunking, #Kiggs

Commenter cet article