¿Qué consecuencias tendría bajar el umbral de significación estadística a 0,005?

Una revisión de los ensayos clínicos publicados en tres revistas líderes utilizando un criterio más estricto de significación estadística, propuesto como estrategia para identificar los resultados verdaderamente relevantes.  

JAMA, 6 de noviembre de 2018

Antecedentes: recientemente se propuso reducir el umbral de significación estadística en la investigación médica de un valor de P de .05 a .005, a fin de reducir la interpretación errónea de los resultados del estudio. Los valores de P inferiores a .05 pero mayores a .005 se reclasificarían como "sugerentes". No está claro qué efecto tendría esta propuesta en la literatura médica. Evaluamos los puntos finales primarios en los ensayos clínicos aleatorios (ECA) publicados en 3 revistas médicas generales con factores de alto impacto para determinar cómo el nuevo umbral podría afectar la interpretación de los ECA publicados anteriormente.

Metodos: buscamos en PubMed desde el 1 de enero de 2017 hasta el 31 de diciembre de 2017, los ECA de fase 3 publicados en JAMA, Lancet y New England Journal of Medicine (NEJM). Se excluyeron los ensayos de un solo grupo, los análisis agrupados, los ECA sin valores de P y los ECA que utilizaron análisis bayesianos o de no inferioridad. Dos autores examinaron todos los ensayos. Extrajimos los datos para los puntos finales primarios porque los ECA son los más a menudo impulsados por estos puntos finales. Se extrajeron los siguientes datos de cada ensayo: valores de p para los puntos finales primarios (excluyendo los subgrupos), título del estudio, nombre de la revista, fuente de financiamiento, tamaño de la muestra, tipo de intervención, si el punto final fue la mortalidad, si el ensayo fue multicéntrico y si el ensayo era multinacional. Los datos fueron extraídos a ciegas y por duplicado. Las discrepancias se resolvieron por consenso.

Resultados: de los 290 artículos recuperados, 203 fueron incluidos. Los 87 excluidos fueron en su mayoría ECAs de fase 1 o 2 (n = 26), análisis de no inferioridad o bayesiano (n = 26), o análisis agrupados (n = 11) o no informaron los valores de P (n = 10). Se identificaron 272 puntos finales primarios de 203 ensayos: 174 puntos finales tuvieron un valor de P menor que .05 y 98 tuvieron un valor de P mayor que .05. En general, 70.7% (123 de 174) de los puntos finales primarios estadísticamente significativos fueron menores que .005, mientras que 29.3% (51 de 174) tenían entre .005 y .05 y serían reclasificados como sugerentes. De estos 272 valores de P totales, 53.5% (76 de 142) en NEJM, 47.7% (21 de 44) en Lancet, y 30.2% (26 de 86) en JAMA fueron menos de .005.

A continuación, analizamos los 203 ECAs para determinar qué características del ensayo se asociaron con el informe de al menos 1 valor de P inferior a .005. Antes de ajustar por las covariables, la financiación de la industria, las intervenciones de medicamentos y "otras" (por ejemplo, no farmacológicas), y los ensayos publicados en NEJM y Lancet se asociaron con puntos finales primarios que cumplían con el nuevo umbral de significación de P. El tamaño de la muestra, los ensayos multicéntricos, los ensayos multinacionales y los puntos finales de mortalidad no se relacionaron con el mantenimiento de la significación estadística. Después de ajustar por las covariables, solo los ensayos con financiamiento de la industria (n = 86) se asociaban a más desenlaces primarios que mantendrían la significación estadística (59 de 86 artículos [68.6%] con financiamiento de la industria, frente a 38 de 115 [33.0%] sin el financiamiento de la industria; odds ratio ajustado, 7.87; 95% CI, 3.14-19.71).

Discusión: de todos los desenlaces primarios estadísticamente significativos de los ECA publicados en 2017 en 3 revistas médicas generales con factores de alto impacto, el 70.7% mantendría su significación estadística con un valor de p umbral inferior a .005. Un umbral de significancia de .005 puede abordar las deficiencias de los valores de P, como resultados falsos positivos, la búsqueda de P (cuando los investigadores analizan los datos de múltiples maneras hasta que se encuentra un efecto significativo) y los ECAs de potencia insuficiente. Además, un umbral de .005 puede fomentar mayor énfasis en el tamaño de los efectos, en lugar de los valores de P. Se justifica una comparación entre los estudios intervencionistas y observacionales para evaluar el tipo de estudio más afectado por el cambio de umbral de significación propuesto. Este estudio incluyó solo 3 revistas médicas de alto factor de impacto durante un período de 1 año; por lo tanto, los resultados pueden no ser generalizables.

El artículo original:

Wayant C, Scott J, Vassar M. Evaluation of Lowering the P Value Threshold for Statistical Significance From .05 to .005 in Previously Published Randomized Clinical Trials in Major Medical Journals. JAMA. 2018;320(17):1813–1815. doi:10.1001/jama.2018.12288

Disponible en: http://bit.ly/2RO9m1l

Notas relacionadas:

Sobre la propuesta de bajar los umbrales de P a 0.005

Solicitudes inapropiadas de los investigadores a los estadísticos