The concept of evidence-based practice refers to the use of best available evidence when taking decisions in clinical practice. As access and use of primary evidence may be problematic for most doctors in most countries of the world, in the early 1990s the Cochrane Collaboration was established with the mission of preparing and regularly updating systematic reviews of best available evidence (Cipriani & Barbui, 2011). Nowadays over 4000 systematic reviews have been produced and are available online.
In this issue of Epidemiology and Psychiatric Sciences three Editorials discuss the extent to which Cochrane reviews have been able to help doctors and policymakers make decisions, and whether the goal of implementing an evidence-based practice is getting closer (Adams, Reference Adams2011; Davoli & Amato, Reference Davoli and Amato2011; Liberati, Reference Liberati2011). The authors of the three Editorials seem to agree that the Cochrane Collaboration represents a successful example of international effort aimed at providing an answer to the growing demand for valid and reliable information on the effects of health care interventions. However, all authors clearly pointed out that there is still some progress to be done, and a number of controversial issues are raised and discussed. In this presentation, we would like to emphasize one of these issues, namely the difficulties in accessing and using Cochrane reviews. Clive Adams admits that Cochrane reviews are long documents that require time and skills to be fully digested. Marina Davoli and Laura Amato describe Cochrane reviews as too lengthy with too many sections, most of which are oriented to adhere to the Cochrane standard of reporting more than to provide user-friendly information. Alessandro Liberati reports that the current format of Cochrane reviews is too burdensome even for interested researchers.
This issue is not trivial, as doctors and policymakers may choose not to access and use Cochrane reviews considering the availability of less time consuming and more attractive forms of information. But these alternative forms of information, as Clive Adams warns, may bear little relationship to high-grade evidence.
A paradoxical scenario seems to emerge: the Cochrane Collaboration, which was established to prepare and disseminate systematic syntheses of best available evidence as a solution to a problem of lack of easy access to primary evidence, seems to suffer exactly from the same problem.
An initial solution, mentioned by the authors of the three Editorials, is the possibility of developing clinical practice recommendations based on explicit assessments of the evidence extracted from systematic reviews. This would overcome the problem of accessing systematic reviews, because doctors and policymakers would directly access and use clinical practice recommendations. One of the most well-developed approaches is the Grading of Recommendations Assessment, Development and Evaluation (GRADE) methodology (Guyatt et al. Reference Guyatt, Oxman, Kunz, Falck-Ytter, Vist, Liberati and Schunemann2008a, Reference Guyatt, Oxman, Kunz, Vist, Falck-Ytter and Schunemannb, Reference Guyatt, Oxman, Vist, Kunz, Falck-Ytter, ALonso-Coello and Schunemannc). This methodology may be employed not only to develop specific treatment recommendations for professionals working in a single mental health service or department but also to develop recommendations for a wide range of interventions and disorders to be adopted at a district or regional level or at a national level (Barbui et al. Reference Barbui, Dua, van Ommeren, Yasamy, Fleischmann, Clark, Thornicroft, Hill and Saxena2010; Barbui & Cipriani, Reference Barbui and Cipriani2011).
Evidence-based recommendations may therefore be based on the results of Cochrane reviews, and may be used to establish a link between the production of evidence and its adoption in clinical practice. What is still unclear is how evidence-based recommendations should be implemented to maximize benefit at sustainable costs. This is particularly relevant not only for those involved in producing and delivering Cochrane reviews and evidence-based recommendations, including international organizations such as the Cochrane Collaboration, national institutes such as the UK National Institute for Health and Clinical Excellence and the Italian Sistema Nazionale Linee-Guida, but also for those with responsibilities in delivering high-quality mental health care, including national and local managers of mental health-care systems, scientific organizations or even single health-care professionals.
It is worth noting that in the field of mental health care the issue of whether recommendations may have any impact on doctor's performance and patient's outcome has recently been investigated in a systematic review that included only 18 studies, nine of which were randomized trials (Weinmann et al. Reference Weinmann, Koesters and Becker2007). Specific psychiatric disorders were the focus of the implementation strategy in all 18 studies, and implementation methods ranged from simple interventions, such as dissemination of educational material, to more complex and multifaceted interventions, including tutorial and consultation sessions, use of treatment algorithms, reminder systems, audit and feedback and use of psychological theories to overcome obstacles. The analyses of these 18 studies revealed that multifaceted interventions were more likely to have an impact on doctor's performance and patient's outcome, albeit effect sizes were generally modest. In total, only four studies showed a significant effect on patient outcomes.
Audit of clinical activities and feedback to doctors may be a relevant component of any implementation strategy (Amaddeo & Tansella, Reference Amaddeo and Tansella2009; Plovnick, Reference Plovnick2009). Knaup et al., who systematically reviewed controlled studies that evaluated audit and feedback strategies, showed a positive effect on improving mental health outcomes, at least in the short term (Knaup et al. Reference Knaup, Koesters, Schoefer, Becker and Puschner2009). These findings are in line with those of a landmark systematic review of implementation studies that highlighted the paucity of data to support decisions about which guideline implementation strategies are likely to be effective, and the need to carefully consider the limited resources that health-care systems usually have for these activities (Grimshaw et al. Reference Grimshaw, Thomas, MacLennan, Fraser, Ramsay, Vale, Whitty, Eccles, Matowe, Shirran, Wensing, Dijkstra and Donaldson2004).
Current knowledge on how implementation programmes should be developed is still very scant. However, lack of robust data on the benefit of different implementation strategies should not justify lack of implementation strategies in mental health care. The flow connecting evidence to practice deserves careful consideration, as the aggregation of evidence in Cochrane reviews and evidence-based recommendations makes little sense if it is not translated into action (Fig. 1). Mental health systems that set as a policy priority a commitment to evidence-based practice, should try and develop programmes to transfer evidence-based treatment recommendations into everyday practice on a continuous basis (Tansella & Thornicroft, Reference Tansella and Thornicroft2009). Systems that lack such implementation plans cannot claim to be based on evidence, because the link between the production of evidence and its use in practice would inevitably be very weak and too implicit.
Fig. 1. Conceptual model describing the pathway from evidence generation to evidence synthesis, guideline development and evidence-based practice.
Il concetto di pratica clinica basata sulle prove di efficacia si riferisce all'utilizzo, all'interno del processo decisionale terapeutico, delle migliori prove di efficacia o evidenze scientifiche. Le evidenze scientifiche non sono tuttavia facilmente accessibili e fruibili, e per questo negli anni 90 l'interesse della comunità scientifica per aggregare in modo sistematico e rendere più utilizzabili le migliori evidenze scientifiche ha determinato la nascita della Cochrane Collaboration, un network internazionale di ricercatori che si è dato l'obiettivo di produrre, e mantenere aggiornate, revisioni sistematiche delle migliori conoscenze scientifiche su argomenti di interesse sanitario (Cipriani & Barbui, Reference Cipriani and Barbui2011). Ad oggi, oltre 4000 revisioni sistematiche sono state prodotte e sono accessibili online.
In questo numero di Epidemiology and Psychiatric Sciences tre Editoriali affrontano il tema dell'impatto delle revisioni Cochrane sulla pratica clinica e sulle politiche sanitarie, con l'intento di comprendere se l'obiettivo di realizzare una pratica clinica realmente basata sulle prove di efficacia si stia concretizzando (Adams, Reference Adams2011; Davoli & Amato, Reference Davoli and Amato2011; Liberati, Reference Liberati2011). Gli autori dei tre Editoriali concordano nel ritenere che la Cochrane Collaboration rappresenti un esempio positivo di come sia possibile attivare uno sforzo internazionale e spontaneo per cercare di dare risposta alla domanda crescente di informazioni valide e affidabili sugli effetti degli interventi in ambito sanitario. Allo stesso tempo, gli Editoriali riconoscono la necessità di compiere ulteriori passi in avanti in questo processo, e identificano una serie di aspetti controversi nelle attività della Cochrane Collaboration. Obiettivo di questa Presentazione è di focalizzare uno di questi aspetti, centrale, che riguarda la difficoltà pratica che si incontra nell'utilizzare le revisioni Cochrane. Clive Adams ammette che le revisioni Cochrane sono documenti che richiedono tempo e una certa dimestichezza per essere compresi a fondo. Marina Davoli e Laura Amato descrivono le revisioni Cochrane come troppo lunghe, con troppe sezioni che sembrano rispondere più al bisogno degli autori di aderire allo standard della Cochrane Collaboration che a quello di produrre informazioni facilmente utilizzabili. Alessandro Liberati afferma che il formato attuale delle revisioni Cochrane è praticamente inaccessibile anche per i ricercatori più interessati.
Questo aspetto non è di poca rilevanza, dal momento che gli operatori in ambito sanitario possono scegliere di utilizzare altre fonti scientifiche, accessibili in tempi più rapidi e certamente più attraenti delle revisioni Cochrane. Il punto è che queste fonti alternative di informazione, come giustamente sottolinea Clive Adams, potrebbero non essere basate sulle migliori prove di efficacia.
Si viene in questo modo a delineare uno scenario paradossale: le revisioni Cochrane, pensate originariamente per rispondere ad un bisogno di maggiore facilità nell'accedere, capire e utilizzare le evidenze scientifiche, sembrano soffrire esattamente dello stesso problema che avrebbero dovuto risolvere.
Gli autori dei tre Editoriali suggeriscono tuttavia un percorso che potrebbe rappresentare una soluzione iniziale. E' possibile costruire semplici raccomandazioni cliniche basate sui risultati delle revisioni Cochrane. Questo supererebbe il problema di dover accedere alle revisioni Cochrane proprio perché gli operatori sanitari potrebbero utilizzare direttamente le raccomandazioni costruite sulla base delle evidenze. Uno degli approcci più sviluppati per costruire tali raccomandazioni è denominato GRADE (acronimo che sta per Grading of Recommendations Assessment, Development and Evaluation) (Guyatt et al. Reference Guyatt, Oxman, Kunz, Falck-Ytter, Vist, Liberati and Schunemann2008a, Reference Guyatt, Oxman, Kunz, Vist, Falck-Ytter and Schunemannb, Reference Guyatt, Oxman, Vist, Kunz, Falck-Ytter, ALonso-Coello and Schunemannc). Questa metodologia può essere utilizzata per sviluppare raccomandazioni per gli operatori di un dipartimento di salute mentale, ma potrebbe essere anche impiegata per sviluppare raccomandazioni per un'ampia gamma di interventi o di patologie, da adottare ad un livello locale, regionale o anche nazionale (Barbui et al. Reference Barbui, Dua, van Ommeren, Yasamy, Fleischmann, Clark, Thornicroft, Hill and Saxena2010; Barbui & Cipriani, Reference Barbui and Cipriani2011).
Raccomandazioni cliniche basate sui risultati delle revisioni Cochrane potrebbero quindi essere utilizzate come collegamento tra la produzione di evidenze e il loro utilizzo nella pratica clinica quotidiana. Ciò che tuttavia rimane non chiaro è come questo passaggio dovrebbe avvenire, ossia come le raccomandazioni cliniche basate sulle evidenze dovrebbero essere tradotte e trasferite in pratica. Questo aspetto è cruciale per chi produce revisioni Cochrane e per chi produce raccomandazioni basate sulle evidenze, come la Cochrane Collaboration, il National Institute for Health and Clinical Excellence nel Regno Unito, il Sistema Nazionale Linee-Guida in Italia, ma è anche cruciale per chi ha responsabilità nell'erogare assistenza psichiatrica di qualità, e quindi è cruciale per tutti gli operatori della salute mentale.
A questo proposito vale la pena sottolineare che la questione di come le raccomandazioni cliniche basate sulle evidenze dovrebbero essere tradotte e trasferite in pratica è stata recentemente affrontata in una revisione sistematica che ha incluso 18 studi che hanno valutato l'impatto di svariate tecniche, tra cui la disseminazione di materiale educativo, l'utilizzo di algoritmi terapeutici, la realizzazione di strategie di audit e feedback, e l'utilizzo di tecniche psicologiche per gestire resistenze e barriere (Weinmann et al. Reference Weinmann, Koesters and Becker2007). L'analisi di questi 18 studi ha rivelato che le strategie composite di implementazione hanno maggiore probabilità di successo rispetto alle strategie a componente singola, anche se l'entità complessiva dell'effetto è modesta. Una componente che potrebbe essere decisiva nel trasferimento delle conoscenze alla pratica clinica potrebbe essere rappresentata dalle tecniche di audit e feedback, ossia dalla realizzazione di sistemi di monitoraggio della performance degli operatori e degli esiti dei pazienti, e di restituzione dei risultati del monitoraggio agli operatori stessi (Amaddeo & Tansella, Reference Amaddeo and Tansella2009; Plovnick, Reference Plovnick2009). Una rassegna recente della letteratura condotta da Knaup e colleghi, che ha analizzato gli studi controllati che valutavano l'efficacia di tecniche di audit e feedback applicate alla salute mentale, ha suggerito l'efficacia di tali tecniche, per lo meno nel breve periodo, nel modificare i comportamenti degli operatori e, di conseguenza, gli esiti clinici degli interventi terapeutici (Knaup et al. Reference Knaup, Koesters, Schoefer, Becker and Puschner2009). Lo stesso tipo di risultati è stato raggiunto da una analisi di studi che si riferivano ad altri ambiti della medicina (Grimshaw et al. Reference Grimshaw, Thomas, MacLennan, Fraser, Ramsay, Vale, Whitty, Eccles, Matowe, Shirran, Wensing, Dijkstra and Donaldson2004).
Questi dati confermano che la questione di come le raccomandazioni cliniche basate sulle evidenze dovrebbero essere tradotte e trasferite in pratica è tutt'altro che chiarita. La mancanza di dati non dovrebbe tuttavia essere utilizzata come scusante per non realizzare programmi di implementazione in ambito di salute mentale. Il legame che connette le evidenze scientifiche con la pratica clinica necessita infatti di essere rinforzato (Fig. 1), tenendo conto che la produzione di revisioni Cochrane e di raccomandazioni basate sulle evidenze ha poco significato se non viene trasferita in pratica. I sistemi di salute mentale che dichiarano di fare riferimento a pratiche basate sulle evidenze dovrebbero quindi realizzare programmi di continuo trasferimento delle conoscenze dal mondo della ricerca a quello della pratica clinica quotidiana (Tansella & Thornicroft, Reference Tansella and Thornicroft2009).
Declaration of Interest
None.
