Nature, 20 de marzo de 2019
¿Cuándo fue la última vez que escuchó a un orador del seminario afirmar que no había "ninguna diferencia" entre dos grupos porque la diferencia era "estadísticamente no significativa"?
Si su experiencia coincide con la nuestra, es muy probable que esto haya ocurrido en la última charla a la que asistió. Esperamos que al menos alguien en la audiencia quede perplejo si, como ocurre con frecuencia, un gráfico o una tabla demostró que en realidad había una diferencia.
¿De qué manera las estadísticas a menudo llevan a los científicos a negar las diferencias que los que no tienen conocimientos de estadística pueden ver claramente?
Durante varias generaciones, se ha advertido a los investigadores que un resultado estadísticamente no significativo no "prueba" la hipótesis nula (la hipótesis de que no hay diferencia entre los grupos o ningún efecto de un tratamiento en algún resultado medido) 1. Los resultados estadísticamente significativos tampoco "prueban" alguna otra hipótesis. Estos conceptos erróneos han distorsionado la literatura con afirmaciones exageradas y, lo que es menos famoso, han llevado a reclamaciones de conflictos entre estudios donde no existe ninguno.
Tenemos algunas propuestas para evitar que los científicos sean víctimas de estos conceptos erróneos.
Problema generalizado
Seamos claros sobre lo que debe detenerse: nunca debemos concluir que no hay "ninguna diferencia" o "ninguna asociación" simplemente porque un valor de P es mayor que un umbral como 0.05 o, de manera equivalente, porque un intervalo de confianza incluye cero. Tampoco debemos concluir que dos estudios entran en conflicto porque uno tuvo un resultado estadísticamente significativo y el otro no. Estos errores desperdician esfuerzos de investigación y desinforman decisiones políticas.
Por ejemplo, considere una serie de análisis de los efectos no deseados de los medicamentos antiinflamatorios2. Debido a que sus resultados fueron estadísticamente no significativos, un grupo de investigadores concluyó que la exposición a los fármacos "no estaba asociada" con la fibrilación auricular de inicio reciente (la alteración más común del ritmo cardíaco) y que los resultados contrastaban con los de una Estudio anterior con un resultado estadísticamente significativo.
Ahora, veamos los datos reales. Los investigadores que describieron sus resultados estadísticamente no significativos encontraron una relación de riesgo de 1.2 (es decir, un riesgo 20% mayor en pacientes expuestos en comparación con los no expuestos). También encontraron un intervalo de confianza del 95% que abarcó todo, desde una disminución insignificante del riesgo del 3% hasta un aumento considerable del riesgo del 48% (P = 0.091; nuestro cálculo). Los investigadores del estudio anterior, estadísticamente significativo, encontraron exactamente la misma relación de riesgo de 1.2. Ese estudio fue simplemente más preciso, con un intervalo que va desde un 9% a un 33% más de riesgo (P = 0,0003; nuestro cálculo).
Es absurdo concluir que los resultados estadísticamente no significativos no mostraron "asociación", cuando la estimación del intervalo incluyó graves aumentos de riesgo; es igualmente absurdo afirmar que estos resultados estaban en contraste con los resultados anteriores que muestran un efecto observado idéntico. Sin embargo, estas prácticas comunes muestran cómo la confianza en los umbrales de significación estadística nos puede engañar.
Estos y otros errores similares están muy extendidos. Las encuestas de cientos de artículos han encontrado que los resultados estadísticamente no significativos se interpretan como que indican "sin diferencia" o "sin efecto" en alrededor del 50%.
En 2016, la American Statistical Association publicó una declaración en The American Statistician advirtiendo contra el uso indebido de la significación estadística y los valores de P. La declaración también incluyó muchos comentarios sobre el tema. Este mes, un número especial en la misma revista intenta impulsar estas reformas. Presenta más de 40 artículos sobre "Inferencia estadística en el siglo XXI: un mundo más allá de P <0.05". Los editores introducen la colección con la precaución de "no diga 'estadísticamente significativo'" 3.
Otro artículo con docenas de firmantes también pide a los autores y editores de revistas que rechacen esos términos.
Estamos de acuerdo y pedimos que se abandone todo el concepto de significación estadística.
el comentario completo
Valentin Amrhein, Sander Greenland & Blake McShane Scientists rise up against statistical significance. Nature 20 March 2019, 567: 305-307