Indagare "spin" su riviste scientifiche

Un recente studio ha studiato “spin” in articoli di ricerca in psichiatria e psicologia. Gli autori dello studio hanno trovato effetti in oltre la metà degli abstract che hanno analizzato. Che impatto potrebbe avere questo sulle decisioni dei medici?

Dato che le notizie e i media competono per le visualizzazioni, a volte possono esagerare titoli e contenuti per attirare il lettore.

Sebbene molti ritengano che le riviste scientifiche siano alcune delle fonti di informazione più affidabili, non sono immuni dal desiderio di essere letti e condivisi.

Un recente studio ha iniziato a valutare la quantità di autori “spin” utilizzati negli abstract di articoli di ricerca pubblicati su riviste di psicologia e psichiatria.

Hanno scelto di esaminare gli abstract perché riassumono l’intero documento e i medici li usano spesso per aiutare a informare le decisioni mediche.

Che cos’è lo spin?

In questo studio, gli autori delineano la loro definizione di spin come segue:

“[T] usa strategie di segnalazione specifiche, da qualsiasi motivo, per evidenziare che il trattamento sperimentale è benefico, nonostante una differenza statisticamente non significativa per il risultato primario, o per distrarre il lettore da risultati statisticamente non significativi.”

Gli autori hanno pubblicato i loro risultati sulla rivista BMJ Evidence Based Medicine. Hanno esaminato i documenti delle sei riviste specializzate in psichiatria e psicologia del 2012-2017.

Le riviste includevano JAMA Psychiatry, American Journal of Psychiatry e British Journal of Psychiatry.

In particolare, i ricercatori si sono concentrati su studi controllati randomizzati con “endpoint primari non significativi”. L’endpoint primario di uno studio è il risultato principale dello studio e “non significativo” in questo contesto significa che, statisticamente, il team non ha trovato prove sufficienti per sostenere la sua teoria.

Spin è disponibile in molte forme, tra cui:

  • riportare selettivamente i risultati, in cui gli autori menzionano solo determinati risultati
  • P-hacking, in cui i ricercatori eseguono una serie di test statistici ma pubblicano solo le cifre dei test che producono risultati significativi
  • uso inappropriato o fuorviante di misure statistiche

Quanto è comune lo spin?

In totale, hanno analizzato gli abstract di 116 articoli. Di questi, il 56% ha mostrato evidenza di effetti. Ciò includeva la rotazione del 2% dei titoli, il 21% delle sezioni dei risultati dell’abstract e il 49% nelle sezioni di conclusione dell’abstract. Nel 15% dei lavori, la rotazione era presente sia nei risultati che nelle sezioni di conclusione degli abstract.

I ricercatori hanno anche studiato se i finanziamenti del settore fossero associati alla rotazione. Forse sorprendentemente, non hanno trovato prove del fatto che avere un sostegno finanziario dall’industria abbia aumentato la probabilità di rotazione.

I risultati sono preoccupanti. Sebbene lo spin nei media in generale sia preoccupante in sé, i medici usano documenti di ricerca per aiutare a guidare le decisioni cliniche. Come scrivono gli autori:

“I ricercatori hanno l’obbligo etico di riferire in modo onesto e chiaro i risultati delle loro ricerche”. Tuttavia, nella sezione astratta, gli autori possono scegliere i dettagli che includono. Gli autori di questo studio hanno dubbi su ciò che questo potrebbe significare per i medici:

“L’aggiunta di spin al riassunto di un articolo può fuorviare i medici che stanno tentando di trarre conclusioni su un trattamento per i pazienti. La maggior parte dei medici legge solo il riassunto dell’articolo la maggior parte delle volte.”

Le implicazioni

Sebbene i ricercatori non abbiano studiato a fondo gli effetti dello spin, gli autori indicano uno studio secondo cui i martelli puntano a casa.

In esso, gli scienziati hanno raccolto abstract dal campo della ricerca sul cancro. Tutti erano studi randomizzati controllati con esito primario statisticamente non significativo. Tutti gli abstract inclusi spin.

I ricercatori hanno creato le seconde versioni di questi abstract in cui hanno rimosso la rotazione. Hanno reclutato 300 oncologi come partecipanti. I ricercatori hanno dato a metà di loro un estratto originale con rotazione, e hanno dato l’altra metà dell’estratto senza rotazione.

In modo preoccupante, i medici che hanno letto gli abstract con spin hanno valutato l’intervento trattato nel documento come più vantaggioso.

Come scrivono gli autori del recente studio: “Coloro che scrivono manoscritti per studi clinici sanno di avere una quantità limitata di tempo e spazio in cui catturare l’attenzione del lettore. È più probabile che vengano pubblicati risultati positivi e molti manoscritti gli autori si sono rivolti a pratiche di segnalazione discutibili al fine di abbellire i loro risultati “.

Un altro studio, pubblicato nel 2016, estende l’ambito di questo problema. Hanno studiato come i revisori dei pari – scienziati esperti che hanno esaminato i documenti prima della pubblicazione – abbiano influenzato la rotazione. Hanno scoperto che nel 15% dei casi, il peer reviewer ha chiesto agli autori di aggiungere effetti.

Il presente studio presenta alcune limitazioni. Ad esempio, questi risultati potrebbero non essere applicabili ad altre riviste o settori di ricerca. Notano anche che l’identificazione dello spin è uno sforzo soggettivo e sebbene abbiano impiegato due estrattori di dati indipendenti, c’è spazio per l’errore.

Le dimensioni esatte del problema della rotazione nella ricerca medica rimangono da vedere, ma gli autori concludono che “[a] utori, redattori di riviste e revisori dei pari dovrebbero continuare a essere vigili per la rotazione per ridurre il rischio di segnalazione parziale dei risultati degli studi. “

Questo post è stato utile per te?