And when such claims are extraordinary, that is, revolutionary in their implications for established scientific generalizations already accumulated and verified, we must demand extraordinary proof.
(Marcello Truzzi, Editorial in The Zetetic, Vol. 1, No.1, Fall/Winter 1976, p 4)Fere libenter homines id quod volunt credunt.
(Cesare, De bello gallico, Libro III, 18)
Cet article expose la manière dont devrait être analysé, en général, un document scientifique, au sens large du terme. Cette approche devrait s’appliquer, selon moi, chaque fois qu’une référence précise soutient un argument, d’autant plus lorsqu’il est en contradiction ouverte avec des lois générales déjà établies.
Évaluer un article
La règle fondamentale pour évaluer un article est de ne jamais s’arrêter au premier niveau de références. Trouver les points critiques de l’article et chercher les références, les références de références et ainsi de suite. Au bout de cette démarche, généralement, seules deux solutions s’offrent à nous :
- Nous finissons par tomber sur un article publié dans un journal reconnu ou par un grand organisme national ou international.
- Nous tombons sur des références croisées entre blogs, article internet ou de journaux qui s’auto-référencent les uns les autres.
Le point de départ de chaque évaluation est composée de trois questions:
- Qui a écrit l’article
- Pourquoi a-t-il été écrit
- Quelle conclusion peut-on en tirer
Détaillons plus précisément ces trois questions :
Qui a écrit l’article
La question semble évidente, mais elle ne l’est pas tant que ça. Il s’agit non seulement d’évaluer les compétences (et cela n’est pas si évident, nous y reviendrons plus avant), mais également de comprendre les relations entre les auteurs de l’article et son contenu. On peut trouver des articles qui se déclarent indépendants et fournissent une longue liste de signataires, et constater finalement que la plupart des gens cités n’ont pas réellement contribué ou encore que les personnes qui ont contribué ont un rapport étroit et intéressé avec les résultats présentés. Il s’agit notamment de ce qu’on appelle plus communément les conflits d’intérêts, ici sous leur forme la plus subtile.
Parfois, on peut également écrire des choses incorrectes en toute bonne foi. Lorsqu’on parle de physique, l’avis d’un physicien est probablement correct, n’est-ce pas? Non, pas forcément. Lorsque l’on parle d’un domaine où la spécialisation est élevée, il ne suffit pas d’en faire partie pour en être compétent. Par exemple, un théoricien relativiste est sûrement un expert dans son domaine, mais peut très bien exprimer des théories inexactes en physique nucléaire. Voici une anecdote qui illustre mon propos :
C’est un problème bien connu de tous les physiciens : un bateau sur un lac embarque une pierre. On jette la pierre dans l’eau. Est-ce que le niveau de l’eau monte, baisse ou reste le même ? Ce problème a été soumis à Gamow, Oppenheimer et Bloch, qui ne sont certainement pas les derniers de la classe en physique, et pourtant tous trois donnèrent une mauvaise réponse.
De même si nous parlons d’une expérience en biologie médicale, l’opinion d’un non-médecin sera-t-elle inexacte ou insignifiante ? Non, pas forcément. S’il donne un avis sur des questions qui ne concernent pas les aspects médicaux, son avis peut être tout à fait valable.
Dans ces cas-là, vous devez évaluer les arguments spécifiques et non la personne qui les soumet.
Pourquoi cet article a été écrit
L’article est-il neutre, exposant simplement des mesures ou est-il plus ou moins subtilement enclin à nous pousser à certaines conclusions ou comportements? Ce point est particulièrement important lorsqu’il y a des intérêts économiques en jeu.
Par exemple: s’agit-il d’un article rapportant les mesures des 7 planètes du système extrasolaire Trappist-1 ou d’un article qui montre la corrélation entre l’incidence de certains cancers et la consommation de viande rouge, dans un contexte où les élevages sont de plus en plus sous le feu des critiques et la société répartie entre les végétariens/végétaliens et les omnivores?
Les deux cas, de toute évidence, ne peuvent pas être traités de la même manière. La seconde exige une analyse plus précise.
Quelle conclusion peut-on en tirer
L’article est-il amené à soutenir une thèse particulière? Si oui, cet argument peut-il effectivement être déduit de l’article? Il ne s’agit pas là de juger de l’article en lui-même dont les conclusions peuvent être correctes, mais de l’utilisation des résultats à l’appui d’une hypothèse spécifique.
Pour ce faire, vous devez avoir un large éventail de connaissances afin de pouvoir être en mesure de juger pertinemment le contenu d’un article. Le savoir s’acquérant au fil du temps, il est difficile de maitriser de façon exhaustive l’ensemble des connaissances requises permettant d’avoir un cadre dans lequel placer les nouvelles informations. C’est pourtant essentiel. Ces connaissances doivent être acquises dans un contexte indépendant de l’article en cours d’analyse. Vous ne pouvez pas acquérir les bases de connaissances nécessaires pour juger un article en ne lisant que les publications soutenant la thèse de l’article.
Savoir si l’article peut effectivement soutenir la proposition d’une thèse exige habituellement d’en examiner les aspects suivants:
- Le système statistique de l’article est-il compatible avec la thèse? Est-ce que les échantillons sélectionnés, la procédure utilisée sont conformes à la thèse proposée?
- Le contexte physique / chimique / biologique de l’article est-il compatible avec la thèse exposée?
- La préparation de l’expérience, les lois appliquées sont-elles cohérentes avec la thèse proposée?
- Que donnent vraiment les mesures?
- L’application des lois naturelles est-elle correcte?
- Y a-t-il des données externes au contexte de l’article qui pourraient invalider le support de la thèse?
et tout cela sans prendre en considérations d’éventuelles erreurs plus ou moins évidentes (de lois naturelles, de méthodologie ou de concepts) dans l’article proposé.
Exemple réel 1: une référence sur les études homéopathiques
Un article proposé soutenant les traitements homéopathiques :
Low Dose Medicine: Omeopatia e omotossicologia – le prove scientifiche
Cet article propose d’acheter un livre, mais on y trouve aussi des références à des essais pratiqués chez l’homme:
Vue d’ensemble sur les essais cliniques contrôlés sur les humains
Le texte est bien présenté de manière professionnelle. Il y a une longue série d’essais, en référence, cités pour soutenir l’hypothèse.
Probablement, beaucoup de gens s’arrêteraient ici et citeraient ces études sans discernement, par contre nous en choisissons un, plus ou moins au hasard, à la page 101 dans la rubrique « allergie», asthme, «thérapie homéopathique de soutien personnalisé dans le traitement de l’asthme chez les enfants: essai contrôlé randomisé contre placebo », A. White, P. Slade, C. Hunt, A. Hart, E. Ernst, Thorax , 2003 , 4: 317-321. L’étude est rapportée comme une preuve de la supériorité du traitement homéopathique par rapport au placebo.
Cherchons l’article original, que l’on trouve ici:
La conclusion de l’article est la suivante:
«This study provides no evidence that adjunctive homeopathic remedies, as prescribed by experienced homeopathic practitioners, are superior to placebo in improving the quality of life of children with mild to moderate asthma in addition to conventional treatment in primary care.»
C’est exactement le contraire de ce qui est rapporté dans l’overview. Après cela, à chacun de décider par soi-même si le sérieux de l’article justifie une analyse plus approfondie.
Exemple réel 2: l’E-Cat de Rossi
Le 7 Juin 2013 sur arXiv a été publié une étude qui se dit indépendant sur la fusion à froid de Rossi-Focardi . Pour simplifier une longue analyse présentée ici (en italien) , les résultats ont été les suivants:
- L’équipe suédoise a participé en donnent un« input » non précisée, selon les déclarations de Levi lui-même
- Levi et Foschi ne sont pas du tout indépendants, car ils avaient déjà participé à des expériences précédentes avec Rossi
- Les expériences ont été effectuées dans les locaux de Rossi, avec du matériel fourni par Rossi et selon les procédures établies par Rossi, et sans la possibilité d’analyser l’appareil
- la conclusion de l’article est inexacte en raison d’une mauvaise interprétation des lois physiques et le mécanisme proposé par Rossi demeure impossible, soit par les lois de la physique à l’état actuel, soit par des lois hypothétiques encore à découvrir.
- Les seules déclarations sur la bonté du dispositif revient d’une manière ou d’une autre aux publications de Rossi même dans « Journal de Physique Nucléaire » qui, malgré son nom qui prête à confusion, est son blog personnel.
Cet article ne satisfait donc pas les prérequis minimaux pour être validé « indépendant » et il contient probablement des erreurs grossières en physiques.
D’autres exemples
- Les neutrinos superluminiques à OPERA : depuis l’annonce en 2011 de la découverte de neutrinos ayant une vitesse dépassant celle de la lumière (révélé plus tard comme une erreur de mesure), nous avons eu un certain nombre d’articles qui ont immédiatement trouvé des mécanismes théoriques complexes pour justifier les mesures. Il faut aussi dire que les articles qui ont immédiatement argumentés « contre » les mesures d’OPERA ont été écrits par des piliers de la physique des particules. Les leçons à tirer sont :
- Même les physiciens peuvent dire des choses inexactes dans leur matière,
- L’intuition de ceux qui maîtrisent vraiment la question ne peut jamais être négligé.
- Articles sur Kepler 452-b : Les articles sur le système planétaire extrasolaire publiés dans les médias en 2015 ont rapporté la découverte d’une planète « semblable à la terre. » Mais la lecture de l’ article original nous apprend que nous avons des informations sur la taille, mais pas sur la masse. Par conséquent, aucune mesure directe ne nous permet d’établir réellement les caractéristiques de ces planètes. Ce que nous avons, en fait, sont des estimations sur la masse et la composition par des modèles. La leçon à en tirer est:
- Les médias, les blogs, les articles consacrés au grand public déforment souvent ou mal interprètent la réalité. Pour savoir ce qui a été vraiment trouvé ou publié, il faut toujours remonter aux sources originales.
Cette publication est également disponible en it_IT.