Características, calidad y volumen de los primeros 5 meses de la infodemia de síntesis de evidencia COVID-19

Objetivo La comunidad académica y científica ha reaccionado al ritmo para recopilar evidencia para ayudar e informar sobre COVID-19. Han surgido inquietudes sobre la calidad de esta evidencia. El objetivo de esta revisión fue mapear la naturaleza, el alcance y la calidad de las síntesis de evidencia sobre COVID-19 y explorar la relación entre la calidad de la revisión y el grado de interés de los investigadores, las políticas y los medios de comunicación.

Diseño y entorno Una metainvestigación: revisión sistemática de revisiones.

Fuentes de información PubMed, Epistemonikos COVID-19 Evidence, Cochrane Library of Systematic Reviews, Cochrane COVID-19 Study Register, EMBASE, CINAHL, Web of Science Core Collection y la base de datos WHO COVID-19, búsquedas entre el 10 de junio de 2020 y el 15 de junio 2020.

Criterios de elegibilidad Cualquier artículo revisado por pares informado como una revisión sistemática, revisión rápida, descripción general, metanálisis o síntesis de evidencia cualitativa en el título o resumen que aborde una pregunta de investigación relacionada con COVID-19. Se excluyeron los artículos descritos como metanálisis pero no realizados como parte de una revisión sistemática o rápida.

Selección de estudios y extracción de datos Dos revisores independientes realizaron el cribado del texto completo y del resumen. Se extrajo información descriptiva sobre el tipo de revisión, propósito, población, tamaño, citación y métricas de atención, junto con si la revisión cumplía con la definición de revisión sistemática de acuerdo con seis criterios metodológicos clave. Para aquellos que cumplieron con todos los criterios, se extrajeron datos adicionales sobre métodos y métricas de publicación.

Riesgo de sesgo Para los artículos que cumplen los seis criterios necesarios para cumplir la definición de revisión sistemática, se utilizó AMSTAR-2 ((Una herramienta de medición para evaluar revisiones sistemáticas, versión 2.0) para evaluar la calidad de los métodos informados.

Resultados Se seleccionaron 2334 artículos, lo que resultó en la inclusión de 280 revisiones: 232 revisiones sistemáticas, 46 revisiones rápidas y 2 resúmenes. Menos de la mitad informó haber realizado una evaluación crítica y un tercio no tenía una estrategia de búsqueda reproducible. Hubo una superposición considerable en los temas, con hallazgos discordantes. Ochenta y ocho de las 280 revisiones cumplieron los seis criterios de revisión sistemática. De estos, solo 3 fueron calificados como de calidad moderada o alta en AMSTAR-2, y la mayoría tenía fallas críticas: solo un tercio informó haber registrado un protocolo, y menos de uno de cada cinco búsquedas en bases de datos denominadas COVID-19. La realización y la publicación de la revisión fueron rápidas; se informó que 52 de las 88 revisiones sistemáticas se realizaron dentro de las 3 semanas y la mitad se publicaron dentro de las 3 semanas posteriores a la presentación. El interés de los investigadores y de los medios, medido por altmetrics y citas, fue alto y no se correlacionó con la calidad.

Discusión Esta meta-investigación de las síntesis de evidencia COVID-19 publicadas anteriormente encontró que las revisiones de baja calidad se publican al ritmo, a menudo con plazos de publicación cortos. A pesar de ser de baja calidad y muchas carentes de métodos sólidos, las revisiones recibieron una atención sustancial en las plataformas académicas y públicas, y la atención no estuvo relacionada con la calidad de los métodos de revisión.

Interpretación Las fallas en los métodos de revisión sistemática limitan la validez de una revisión y la generalización de sus hallazgos. Sin embargo, al ser informados como "revisiones sistemáticas", muchos lectores pueden considerarlos como evidencia de alta calidad, independientemente de los métodos reales que se apliquen. El desafío, especialmente en tiempos como el de esta pandemia, es proporcionar indicios de confiabilidad en las pruebas que están disponibles en "tiempo real".

Cuadro resumen

¿Qué se sabe ya sobre este tema?

Las revisiones sistemáticas mal realizadas pueden dar lugar a representaciones inexactas de la evidencia, estimaciones inexactas de la efectividad del tratamiento, conclusiones engañosas y una aplicabilidad reducida.

¿Cuáles son los nuevos hallazgos?

La mayoría de las síntesis de evidencia de COVID-19 descritas como revisión sistemática o rápida fueron de baja calidad y se perdieron los pilares de las mejores prácticas. Menos de la mitad informó haber evaluado críticamente sus estudios incluidos y un tercio no tenía una estrategia de búsqueda reproducible. La revisión y la publicación fueron rápidas. El interés, medido por altmetrics y citas, fue alto y no se correlacionó con la calidad.

¿Cómo podría afectar la práctica clínica en el futuro previsible?

Al ser informados como "revisiones sistemáticas", muchos lectores pueden considerar las síntesis de evidencia como evidencia de alta calidad, independientemente de los métodos reales que se hayan adoptado. El desafío, especialmente en tiempos como el de esta pandemia, es proporcionar indicios de confiabilidad en las pruebas que están disponibles en "tiempo real". Los investigadores, los revisores y los editores de revistas deben asegurarse de que se hayan utilizado métodos sólidos para la investigación denominada revisiones sistemáticas.

El trabajo

Abbott R, Bethel A, Rogers M, et al Characteristics, quality and volume of the first 5 months of the COVID-19 evidence synthesis infodemic: a meta-research study BMJ Evidence-Based Medicine Published Online First: 03 June 2021. doi: 10.1136/bmjebm-2021-111710

En https://bit.ly/3w3mYtU