Aspetti rilevanti nell'utilizzo delle meta-analisi

meta-analisi

La meta-analisi è una tecnica statistica che permette di combinare i dati raccolti da più studi condotti su uno stesso argomento per ricavarne un unico dato conclusivo che risponde ad uno specifico quesito clinico. Poiché la conoscenza delle tecniche statistiche utilizzate esula dalle nostre necessità, la finalità di questa presentazione è unicamente limitata a fornire alcuni elementi per permettere un minimo senso critico verso i risultati degli studi ottenuti con questa tecnica.

Uno dei primi esempi di questo tipo di analisi risale ai primi anni del novecento (1904) ed è dovuto agli studiosi Pearson e Fisher. In particolare, Pearson, basandosi sulla constatazione che studi di piccole dimensioni avevano fornito risultati non conclusivi circa l'effetto ottenuto dall'inoculazione di antibiotici per combattere la febbre da tifo, sviluppò una tecnica statistica per ottenere, all'unione dei vari studi, un risultato di maggior attendibilità.

Il tipico grafico di sintesi di una meta-analisi prende il nome di "forest plot". Nel forest plot sono evidenziate linee orizzontali (nella figura che segue ne sono riportate tre), ciascuna delle quali mostra il risultato di un singolo studio. La linea perpendicolare che divide il grafico in due zone (trattamento vs controllo) corrisponde a "nessun effetto". Per convenzione nel lato sinistro cadono le stime di effetto che favoriscono il trattamento sperimentale, mentre in quello destro quelle a favore del trattamento standard (controllo).

L'elemento geometrico sovrapposto alla linea indica la stima di effetto, maggiore è il numero di pazienti nello studio e maggiore sarà la dimensione dell'elemento geometrico, che costituisce la stima puntuale. La lunghezza della linea attorno alla stima puntuale è proporzionale alla sua incertezza nello studio in esame: corrisponde all'intervallo di confidenza. Uno studio di pochi pazienti ha una linea più lunga e di conseguenza un risultato molto incerto.

Quando la linea dello studio tocca o attraversa la linea perpendicolare del "nessun effetto" il risultato, convenzionalmente, non è statisticamente significativo

Se si sceglie di fare una meta-analisi si fa una stima puntuale globale degli studi. Se combiniamo i risultati dei tre studi che avevamo sin qui, la stima globale è rappresentata dal "diamante" ai piedi del grafico: in questo caso, essendo il diamante a sinistra della linea verticale, il risultato mostra che i dati ricavati dagli studi portano a concludere che il trattamento è più efficace del placebo.

l'esame di una metanalisi^*

La tabella di dati qui riportata per esempio, è composta da cinque colonne. Leggendo da sinistra troviamo: l'indicazione del tipo di studio; il numero dei soggetti che hanno presentato l'evento in studio (i casi); il totale dei partecipanti allo studio; il rischio relativo (inteso anche come odds ratio, che può essere interpretato come il rapporto della probabilità di avere l'esito in questione se si è nel gruppo dei vaccinati e la probabilità di avere l'esito se si è nel gruppo di controllo); racchiuso fra parentesi quadre "[ ]" si può leggere l'intervallo di confidenza.

Gli esiti rispetto ai quali si misurano le capacità dei vaccini oggetto di valutazione sono riassunti dal forest plot (mancante del "diamante"), che è suddiviso in due sottogruppi, a seconda delle tipologie di studio che forniscono i dati.

Ora, un "avvocato del diavolo" leggendo il grafico potrebbe concludere dicendo che:

il vaccino funziona contro l'influenza;
riduce le ospedalizzazioni per polmonite ed influenza;
è efficace contro la morte per "tutte le cause" (!?)

Premesso che dei 10 studi esaminati 5 sono non significativi, il risultato paradossale è mostrato nelle ultime righe del forest plot, dove il vaccino antinfluenzale sembra più efficace nel prevenire le morti per tutte le cause (forse anche non naturali...) piuttosto che le morti per influenza e polmonite.
In realtà, il grafico non riporta (lo si legge nello studio) il fatto che i dati relativi all'outcome "ospedalizzazione per influenza e polmonite" provengono da un trial del 1966 di un vaccino monovalente contenente olio di noccioline come coadiuvante (per la risposta anticorpale), che non è mai stato commercializzato!

^*Simonsen L, Taylor R J, ViboudC, Miller M A, Jackson L A. Mortality benefits of influenza vaccination in elderly people: an ongoing controversy. LancetInfectDis2007; 7: 658-66.

le specifiche della metanalisi

Già il primo esempio esaminato mostra la criticità di una meta-analisi; per questo, una procedura corretta deve indicare i seguenti elementi:

obiettivo;
partecipanti;
interventi
outcome (variabile a cui si è interessati);
criteri di inclusione e di esclusione;
tipo di studi;
Ricerca Bibliografica (manuale o computerizzata-MedLine, Cochrane, Embase).

I problemi fondamentali di una meta-analisi nascono molto prima di iniziare la vera e propria analisi statistica dei dati, ed è proprio dalla ricerca bibliografica che nasce un rilevante problema legato alla meta-analisi.

Molto spesso gli studi che producono risultati positivi e differenze significative hanno più probabilità di essere pubblicati di quelli che danno risultati nulli o non significativi. Questo il fenomeno del BIAS di Pubblicazione. Fenomeno dovuto in parte alla perplessità degli autore a pubblicare conclusioni negative e in parte al decrescente entusiasmo dei ricercatori, che spesso abbandonano gli studi prima di concluderli e pubblicarli (qualora portino a risultati negativi).

osservazione Nella meta-analisi, il confronto tra i soli studi pubblicati potrebbe portare a conclusioni non corrette (troppo ottimistiche): le informazioni pubblicate su uno specifico esperimento possono risultare distorte in favore di un effetto positivo.

Altra fonte di bias è legata alla selezione degli articoli, ed è classificato in due tipologie:

Inclusion Criteria Bias: creata da criteri di inclusione che escludono studi rilevanti;
Selector Bias: distorsione che si verifica quando non si fissano precisi criteri di selezione.

Solitamente ci si può servire di diversi metodi per identificare e stimare l'entità di bias di pubblicazione in una meta-analisi; fra questi, il metodo più semplice è quello del "funnel plot" (grafico a imbuto). Il metodo consiste nel disegnare un grafico che riporti sull'asse delle ascisse la stima che quantifica l'effetto (es. odds ratio) e sulle ordinate la dimensione del campione in esame, o una misura similare, come il reciproco dell'errore standard della stima. Nell'ipotesi di assenza di bias di pubblicazione il grafico ottenuto presenta una riconoscibile forma ad imbuto (fig. 3a)


Fig. 3a -funnel plot privo di bias		Fig. 3b -funnel plot con bias

la forma del funnel plot potrebbe diventare asimmetrica (fig. 3b) in presenza di bias di pubblicazione: quando è maggiore la probabilità che vengano pubblicati studi che riportano risultati positivi e statisticamente significativi, o con dimensione incongrua per quanto riguarda l'entità dell'effetto.
Come conseguenza, nel grafico ci sarà una carenza di punti nella parte in basso a sinistra corrispondente a dimensione piccola ed effetto piccolo (cerchio blu a sx in basso); a favore invece di una maggior densità di punti in zone che corrispondono a dimensione grande e piccolo effetto (cerchio in rosso), e dimensione piccola e grande effetto (cerchio blu a dx in basso).

Particolarmente significativo è un articolo pubblicato dal Lancet nel 1997 (vol. 350, 20 sept 1997, pp 834-843) , riguardante una "meta-analisi" condotta su farmaci omeopatici. Questa meta-analisi era basata su studi clinici nei quali l'effetto di trattamenti omeopatici è stato confrontato con quello di un placebo.

funnel plot con evidente bias

Fig. 4 - funnel plot asimmetrico

Da una attenta lettura, l'articolo merita di essere cestinato, oltre che per la presenza di frasi "innocue" (v. Discussione e Implicazioni) che, per altro, tentano di giustificare una non efficacia clinica di qualsiasi singolo trattamento omeopatico su qualsiasi condizione clinica, anche per il semplice esame del funnel plot (fig. 4), dove si può ben notare una forma asimmetrica, con carenza di punti in basso a sinistra (dimensione piccola ed effetto piccolo) ed una maggiore densità in zone che corrispondono a dimensione grande e piccolo effetto o a dimensione piccola e grande effetto.

Discussione: I risultati della nostra meta-analisi non sono compatibili con l'ipotesi che gli effetti clinici dell'omeopatia siano completamente dovuti all'effetto placebo. Ma da questi studi vi è insufficiente evidenza che qualsiasi tipo di trattamento omeopatico sia chiaramene efficace in qualsiasi singola condizione clinica.

Dunque non è stata dimostrata l'efficacai di qualsiasi singolo trattamento omeopatico su qualsiasi singola condizione clinica. Se si considera che questa conclusione è inferita dall'esame di tutti gli studi clinici pubblicati (per lo più organizzati da medici omeopati), si dovrebbe concludere che il prodotto omeopatico è "un rimedio che cura qualche disturbo".

Implicazioni: Il nostro studio non ha grandi implicazioni per la pratica medica perché abbiamo trovato modesta evidenza di efficacia per qualsiasi approccio omeopatico su qualsiasi condizione clinica.

Così, gli autori si rammaricano perché viene ribadito che il prodotto omeopatico è "un rimedio che cura qualche disturbo"... Eppure implicazioni cliniche ci sono, eccome: la conclusione equivale ad affermare che "questa medicina cura qualche disturbo!". Però questa non è scienza, è medicina tribale...

eterogeneità

L'eterogeneità rappresenta il grado di diversità fra le stime puntuali, cioè il grado di incompatibilità fra gli esperimenti inclusi nella meta-analisi.
La decisione rispetto all'eterogeneità si prende sulla base dei seguenti aspetti:

Valore del test statistico di eterogeneità (Chi-quadro).
Scostamenti tra le stime puntuali degli effetti dei diversi studi.
Sovrapposizione degli intervalli di confidenza.

1. Valore del test statistico di eterogeneità nel Forest Plot.

Nel Forest Plot l'indicatore del Chi-quadro si trova in fondo alla tabella dei dati... ma non sempre!

chi quadro: si ha eterogeneità quando il valore del Chi quadro (o Q) diviso N-1 (dove N è il numero degli studi) risulta > 1;

P value: se p > 0,05 non c'è eterogeneità, se < 0,05 c'è eterogeneità;
inconsistenza: descrive la percentuale della variabilità dell'effetto della stima, riferibile all'eterogeneità piuttosto che al caso. Se >50%, siamo in presenza di eterogeneità.

L'esempio riportato in tabella (costruito con articoli fittizi), fornisce una meta-analisi di dubbia attendibilità.

2. Scostamenti tra le stime puntuali degli effetti dei diversi studi.

studio "Meravigliomicina" nella prevenzione degli annegamenti

1. Sul Forest Plot la presenza di eterogeneità è riscontrabile graficamente quando le stime puntuali (i quadratini) sono molto diverse per dimensione sebbene coerenti per direzione (v. studio "Meravigliomicina");
2. oppure quando sono differenti sia in direzione che in grandezza (v. studio "Neo-Fence").

3. Sovrapposizione degli intervalli di confidenza.

studio "Neo-Fence" nella prevenzione degli annegamenti

E' bene osservare gli intervalli di confidenza delle diverse stime puntuali (i "baffi"). Se in parte si sovrappongono oppure se sono separati tra loro, è segno di eterogeneità (ad esempio, negli studi "Meravigliomicina" e "Neofence": Donna Lorica 1996). Invece, quando le stime puntuali sono molto simili fra loro e i rispettivi intervalli di confidenza si sovrappongono per buona parte della loro larghezza, allora si dice che i risultati sono coerenti (consistenti).

indagare le cause di eterogeneità

La presenza di eterogeneità pone il problema di indagarne le cause. Infatti, quando gli studi differiscono in direzione e/o grandezza della stima, questo dovrebbe suggerire che possono esistere dei fattori importanti che influenzano l'efficacia dell'intervento.

Di séguito, sono riassunte le principali fonti di eterogeneità che dovrebbero essere sempre tenute a mente quando si legge sia un singolo studio sia una revisione sistematica.

Caratteristiche dei partecipanti (età, sesso, fenotipo, criteri di inclusione/esclusione)
Caratteristiche del trattamento o intervento: es. tipo di intervento, vie di somministrazione, dosaggio o presenza di effetti collaterali.
Modalità di conduzione dello studio: tipo la definizione degli eventi di interessi (end-points) o la lunghezza del periodo di osservazione.
Qualità metodologica della conduzione dello studio: qualità delle procedure di randomizzazione, dimensione campionaria, numero di persi di vista, esclusi o ritirati dopo l'inizio dello studio.

Purtroppo, non è sempre possibile fornire una spiegazione dell'eterogeneità osservata! A volte a causa del numero esiguo di studi presenti, altre volte perché nella presentazione dello studio non si individuano i fattori importanti che spiegano le eventuali differenze fra le stime osservate nei singoli studi.

una curiosa meta-analisi^*

Un esempio interessante è dato da una meta-analisi (v. appresso), i cui risultati suggeriscono che l'assunzione di supplementi di Vitamina D può ridurre la mortalità complessiva (di circa il 7%).

Nel complesso, dal punto di vista procedurale, lo studio sembra essere corretto; ma già dalla tabella degli studi utilizzati per la meta-analisi, si può notare una prima anomalia: una notevole variabilità per l'età. Infatti, l'età è in molti casi talmente avanzata da rendere irrilevante l'apporto di vitamina D per aumentare l'aspettativa di vita.

Una seconda anomalia la si ritrova negli studi (42-43) della Women's Health Initiative che, rappresentando circa la metà dei partecipanti considerati nella meta-analisi, ha incluso donne più giovani con una bassa probabilità di morire a causa di cadute.

Una terza anomalia sta nel fatto che lo studio non evidenzia le differenze fenotipiche. Infatti, vi è una sostanziale differenza tra il fenotipo bianco e il fenotipo nero (dove quello nero presenta una minor concentrazione in Vitamina D).

Anche se è noto che la Vitamina D aumenta la stabilità posturale e riduce del 22% l'incidenza degli effetti delle cadute nei soggetti anziani e che quindi un soggetto su 15 anziani che ne assumevano non cascava, non sembra logico tradurre tale effetto in un calo del 7% della mortalità totale.

Le conclusioni di questa meta-analisi appaiono piuttosto nebulose. D'altra parte, in qualche modo suggeriscono l'idea che la supplementazione di vitamina D3 MALE NON FA e quindi, vale la pena provarci. Anche perché il costo giornaliero di questa profilassi è di 5 cent di dollaro al giorno. Peccato che in Italia, per la stessa profilassi occorrano 50 centesimi di euro!

^*Vitamin D Supplementation and Total Mortality - A Meta-analysis of Randomized Controlled Trials - Philippe Autier MD, Sara Gandini PhD: Arch Intern Med. 2007; 167: 1730-1737.

nota conclusiva

Gli studi di meta-analisi indubbiamente costituiscono uno strumento interessante per cercare di non disperdere i risultati di studi che per varie ragioni non sono conlcusivi: per esempio, esiguità del campione, durata temporale limitata, condizioni dello studio molto particolari, ecc. In questi casi, la meta-analisi può ridurre le ulteriori spese legate ad un nuovo studio, utilizzando, anche parzialmente, i dati già disponibili in letteratura. Purtoppo, la meta-analisi accanto ai fini sceintifici, può nascondere rilevanti unteressi economici che possono essere allettanti per:

ricercatori: ossessionati dalla credibilità dei loro risultati e dalla mole di denaro e riconoscimenti che ruota intorno al mondo delle pubblicazioni cliniche;
aziende farmaceutiche: che manipolano ad hoc la questione in studio, influenzando il risultato della ricerca.

Escher: waterfall Dunque, è naturale chiedersi se esistono ricerche mediche di cui ci si possa fidare. Ebbene, circa il 90% delle conclusioni negli studi di ricerca medica pubblicati sono segnati da conflitti d'interesse finanziari, che ormai appaiono su quasi tutti gli studi "singoli" e che "spariscono" quando sono combinati tra loro nella meta-analisi. Infatti, recentemente, studiosi canadesi hanno preso in considerazione 29 meta-analisi che comprendevano i risultati di quasi 500 studi clinici su medicinali. Solo 2 delle 29 menzionavano la fonte di finanziamento dei trial (peraltro, abbastanza nascosta all'interno della pubblicazione), ma NESSUNA segnalava l'esistenza di legami fra i ricercatori, che hanno condotto gli studi, e le aziende farmaceutiche.

E' un po' come dire: "...sei completamente libero di fare qualsiasi ricerca tu voglia, purché ottieni queste conclusioni."

Una meta-analisi non ben costruita può rivelarsi come la cascata di Escher, dove nel complesso l'insieme sembra ragionevole, però è paradossale: la ruota che conduce l'acqua in alto per alimentare la cascata è alimentata dalla cascata stessa!
D'altra parte, se si osserva attentamente il disegno, all'interno dei cerchietti colorati (aggiunti per evidenza) si notano delle colonne che sorreggono elementi costruttivi che non possono sorreggere...

estratto da Tesi di Laurea - Alessandro Cantisani - Meta-Analisi: Aspetti Positivi e Aspetti Fuorvianti
Relatore: Marcello Guidotti

1	2	3	4	5	6	7
HOME PAGE

Marcello Guidotti, copyright 2011
questa pagina può essere riprodotta su qualsiasi supporto o rivista purché sia citata la fonte e l'indirizzo di questo sito (ai sensi degli artt. 2575 e 2576 cc. Legislazione sul diritto d'autore). Le fotografie sono tratte da siti web e sono, o possono ritenersi, di pubblico dominio purché utilizzate senza fini di lucro. Le immagini di prodotti presenti nel sito hanno unicamente valenza esemplificativa oltre che, eventualmente, illustrare messaggi fuorvianti e non vi è alcun richiamo diretto o indiretto alla loro qualità e/o efficacia il cui controllo è affidato alle autorità regolamentatorie.