And when such claims are extraordinary, that is, revolutionary in their implications for established scientific generalizations already accumulated and verified, we must demand extraordinary proof.
(Marcello Truzzi, Editorial in The Zetetic, Vol. 1, No.1, Fall/Winter 1976, p 4)Fere libenter homines id quod volunt credunt.
(Cesare, De bello gallico, Libro III, 18)
In questo articolo discuteremo di come dovrebbe essere analizzato in generale un articolo scientifico, nel senso più vasto del termine. Questo approccio dovrebbe essere seguito secondo me ogni volta che ci viene proposta una referenza a sostegno di un argomento, in modo particolare quando l’argomento non fa parte o va in contraddizione aperta con leggi generali già stabilite.
Valutare un articolo
La regola fondamentale per valutare un articolo è: mai fermarsi al primo livello di referenze. Trovare i punti critici per il contenuto dell’articolo e cercare le referenze, le referenze delle referenze e così via. Alla fine della strada si presentano generalmente due possibilità:
- Arriviamo a un articolo pubblicato su una rivista riconosciuta o da un grande organismo nazionale o internazionale.
- Per quanto si cerchi, arriviamo su blog, articoli internet, articoli di giornale che si rimandano l’uno verso l’altro.
La base di partenza di ogni valutazione è costituita da tre domande:
- Chi ha scritto l’articolo
- Perché è stato scritto l’articolo
- Quale conclusione se ne può trarre
Vediamo cosa intendo con queste tre domande.
Chi ha scritto l’articolo
La domanda sembra ovvia, ma non lo è. Non si tratta solo di valutare le competenze (e anche questo non è evidente, ci ritorneremo più giù), ma di capire le relazioni fra gli autori dell’articolo e il contenuto. Un articolo può dichiararsi indipendente e fornire una lunga schiera di persone a firma, per poi scoprire che buona parte delle persone non hanno effettivamente contribuito o che le persone che hanno contribuito hanno un rapporto con qualcuno che ha interesse nel risultato riportato. È quello che si chiama generalmente conflitto di interesse, ma in una forma più sottile.
A volte si possono anche scrivere cose non corrette in buona fede. Parliamo di fisica, il parere di un fisico sarà sicuramente corretto, no? No, non necessariamente. Qundo si parla di un settore in cui la specializzazione è alta, non è sufficiente essere nella “materia” per essere competente. Per esempio, un relativista teorico è sicuramente esperto nel suo campo, ma può dire sciocchezze in fisica nucleare. Un aneddoto è interessante.
Problema che tutti i fisici conoscono: una barca con una pietra su un lago. Si getta nell’acqua la pietra a partire dalla barca. Il livello dell’acqua sale, resta lo stesso o scende? Questo problema fu sottoposto a Gamow, Oppenheimer e Bloch, non certo gli ultimi arrivati in fisica, e tutti e tre diedero la risposta sbagliata.
Parliamo di un esperimento di biologia medica, il parere di un non-medico sarà sicuramente sbagliato? No, non necessariamente. Se il non-medico esprime un parere su aspetti dell’esperimento che non riguardano specificamente il campo medico, il suo parere può essere perfettamente valido.
In questi casi bisogna valutare l’argomentazione specifica e non la persona.
Perché è stato scritto l’articolo
L’articolo è un articolo neutro che espone delle misure o è un articolo che in maniera più o meno sottile cerca di spingerci verso determinate conclusioni o comportamenti? Questo punto è particolarmente importante quando ci sono interessi economici in gioco.
Per esempio: si tratta di un articolo che riporta le misure dei 7 pianeti del sistema extrasolare Trappist-1 o di un articolo che mostra la correlazione fra l’incidenza di certi tumori e il consumo di carne rossa, in un contesto in cui gli allevamenti sono sempre più sotto accusa e la società è divisa fra vegetariani/vegani e onnivori?
I due casi, evidentemente, non possono essere trattati nello stesso modo. Il secondo richiede un’analisi più accurata.
Quale conclusione se ne può trarre
L’articolo è portato a supporto di una tesi particolare? Se si, questa tesi può effettivamente essere dedotta dall’articolo? Non si tratta in questo caso di giudicare le conclusioni dell’articolo in sé che possono essere corrette, ma l’uso dei risultati a sostegno di una ipotesi specifica.
Per fare questo bisogna avere un bagaglio di conoscenze necessarie per poter giudicare il contenuto di un articolo. Non è facile e non si può sapere tutto e in genere è qualcosa che si acquisisce nel tempo, ma è indispensabile per avere un quadro di riferimento in cui collocare le nuove informazioni. Queste conoscenze devono essere acquisite in un contesto indipendente dall’articolo in corso di analisi. Non si possono acquisire le conoscenze di riferimento che mancano per giudicare un articolo leggendo solo pubblicazioni a sostegno della tesi dell’articolo.
Capire se l’articolo può realmente supportare la tesi proposta richiede generalmente di indagare su diversi aspetti:
- L’impianto statistico dell’articolo è compatibile con la tesi? I campioni scelti, la procedura utilizzata sono coerenti con la tesi proposta?
- Il contesto fisico/chimico/biologico dell’articolo è compatibile con la tesi?
- La preparazione dell’esperimento, le leggi applicate sono coerenti con la tesi proposta?
- Cosa dicono realmente le misure effettuate?
- L’applicazione delle leggi naturali è corretta?
- Esistono effetti esterni al contesto dell’articolo che potrebbero invalidarne l’applicazione alla tesi proposta?
e tutto questo senza ancora prendere in considerazione eventuali errori più o meno evidenti (di leggi naturali, metodologia o concetto) nell’articolo proposto.
Esempio concreto 1: una referenza sugli studi omeopatici
Un articolo a sostegno della terapia omeopatica:
Low Dose Medicine: Omeopatia e omotossicologia – le prove scientifiche
Questo articolo propone di comprare un libro, ma troviamo dei riferimenti a studi controllati sull’uomo:
Overview sugli studi clinici controllati sull’uomo
Il testo si presenta bene e in maniera professionale. C’è una lunga serie di studi clinici citati con riferimento completo a sostegno dell’ipotesi.
Probabilmente, molte persone si fermerebbero qua e citerebbero questi studi acriticamente, noi invece ne scegliamo uno, più o meno a caso, a pagina 101 nella sezione “allergie“, “Asma”: “Terapia omeopatica personalizzata di supporto nella terapia dell’asma in età pediatrica: studio clinico controllato randomizzato vs. placebo”, A. White, P. Slade, C. Hunt, A. Hart, E. Ernst, Thorax, 2003, 4: 317-321. Lo studio è riportato come prova della superiorità del trattamento omeopatico rispetto al placebo.
Cerchiamo l’articolo originale, che troviamo qui:
La conclusione dell’articolo è la seguente:
“This study provides no evidence that adjunctive homeopathic remedies, as prescribed by experienced homeopathic practitioners, are superior to placebo in improving the quality of life of children with mild to moderate asthma in addition to conventional treatment in primary care.”
Che è esattamente l’opposto di quanto riportato nell’overview. Dopo questo, a ciascuno di decidere per sé se il tempo necessario per indagare tutti gli studi riportati vale l’impresa. Di sicuro, getta un’ombra sull’intera metodologia.
Esempio concreto 2: l’E-Cat di Rossi
Il 7 giugno 2013 esce un articolo su arxiv che riporta uno studio che si definisce indipendente sulla fusione fredda di Rossi-Focardi. Per semplificare una lunga analisi riportata qui, le conclusioni sono state:
- L’équipe svedese ha partecipato dando giusto un imprecisato “input”, secondo le affermazioni dello stesso Levi
- Levi e Foschi non sono per niente indipendenti, in quanto avevano già partecipato a precedenti esperimenti con Rossi
- Gli esperimenti si sono effettuati nei locali di Rossi, con materiale fornito da Rossi e secondo procedure stabilite da Rossi, e senza possibilità di analizzare il dispositivo
- le conclusioni dell’articolo sono errate a causa di una cattiva interpretazione delle leggi fisiche e il meccanismo proposto da Rossi non è possibile né per leggi attuali né secondo ipotetiche leggi ancora da scoprire.
- Le uniche affermazioni sulla bontà del dispositivo risalgono in un modo o nell’altro a pubblicazioni di Rossi stesso su “Journal of Nuclear Physics” che nonostante il nome, è il suo blog personale.
Questo articolo dunque non riveste i parametri minimi per essere definito indipendente e presenta probabilmente grossolani errori di fisica.
Altri esempi
- neutrini superluminali a OPERA: dopo l’annuncio nel 2011 della scoperta di neutrini a velocità superiori a quella della luce (rivelatasi poi un errore di misura), abbiamo avuto un certo numero di articoli che hanno immediatamente trovato complessi meccanismi teorici per giustificare le misure. E c’è anche da dire che gli articoli che si sono immediatamente schierati “contro” le misure di OPERA con validi argomenti sono stati scritti da colonne portanti della fisica delle particelle. La lezione da imparare è:
- Anche i fisici possono dire cose inesatte nella loro materia,
- L’intuito di chi padroneggia veramente la materia è sempre da tenere in considerazione.
- Articoli su Kepler 452-b: gli articoli sul sistema planetario extrasolare pubblicati nei media nel 2015 riportano della scoperta di un pianeta “simile alla terra”. Ma leggendo l’articolo originale, scopriamo che abbiamo delle informazioni sulla dimensione, ma non ne abbiamo alcuna sulla massa del pianeta. Dunque alcuna misura diretta ci permette di stabilire realmente le caratteristiche di questo pianeta. Quello che abbiamo, in realtà, sono stime sulla massa e la composizione basate su modelli. La lezione da imparare è:
- I media, i blog, gli articoli dedicati al grande pubblico spesso deformano o interpretano male la realtà. Per sapere cosa realmente è stato scoperto, bisogna sempre risalire alle fonti originali.
Questo articolo è tradotto anche in fr_FR.