Cuando los resultados del azar resultan improbables…

Los grupos de pacientes comparados en algunos ensayos clínicos aleatorizados parecen  demasiado similares o demasiado diferentes como para haber sido asignados al azar. El autor explora la frecuencia de este fenómeno en ocho revistas médicas.

Anaesthesia, 4 de junio de 2017

Resumen

Algunos ensayos controlados aleatorizados (ECAs) se han retractado después de su publicación, al descubrirse la fabricación de datos o una aprobación ética inadecuada. Los datos falseados incluyen variables basales, como edad, talla o peso. Con el uso de pruebas estadísticas se puede determinar la probabilidad de la distribución de las medias, dada su desviación estándar y el número de participantes en cada grupo. Algunos ECAs se han retractado después de que las distribuciones de datos informadas se han calculado como improbables.

La mayoría de los ensayos retractados han sido escritos por anestesistas y publicados por revistas especializadas en anestesia. Este trabajo explora si la distribución de las características basales de los pacientes en los ensayos era consistente con la distribución esperada, para determinar si los ensayos que se retractaron después de la publicación tenían distribuciones diferentes a la de los ensayos no retractados. Se quería determinar además si las distribuciones de datos en ensayos publicados en revistas especializadas en anestesia han sido diferentes a las distribuciones en revistas médicas no especializadas.

Se analizó la distribución de 72.261 medias de 29.789 variables en 5087 ECAs publicados en ocho revistas entre enero de 2000 y diciembre de 2015: Anaesthesia (399); Anesthesia and Analgesia (1288); Anesthesiology (541); British Journal of Anaesthesia (618); Canadian Journal of Anesthesia (384); European Journal of Anaesthesiology (404); Journal of the American Medical Association (518) and New England Journal of Medicine (935). Se eligieron estas revistas porque se tuvo acceso electrónico al texto completo.

Los valores de p en las medias de los valores basales estaban distorsionados por un exceso de medias basales similares y por un exceso de medias diferentes: 763/5015 (15.2%) de los ensayos que no habían sido retirados de la publicación tuvieron valores de p que estaban dentro de 0.05 de 0 o de 1 (el valor esperado es 10 %), es decir, se halló un exceso de 5,2%, p = 1,2 x 10^-7. Por otra parte, los valores de p de 31/72 (43%) de los ensayos que se habían retractado después de la publicación estaban dentro de 0,05 de 0 o 1, una tasa diferente a la de los ensayos no retractados, p = 1,03 × 10^-10. La diferencia entre las distribuciones de estos dos subgrupos se confirmó mediante la comparación de sus distribuciones globales, p = 5,3 × 10^-15.

Cada revista mostró la misma distribución anormal de las medias basales. No hubo diferencias en las distribuciones de los valores basales para 1453 ensayos en revistas no anestésicas y 3634 ensayos en revistas de anestesia, p = 0,30. La tasa de retractaciones de JAMA y NEJM, 6/1453 o 1 en 242, fue un cuarto de la tasa de las seis revistas de anestesia, 66/3634 o 1 en 55, el riesgo relativo (IC99%)fue de  0,23 (0,08-0,68) , P = 0,00022. Un umbral de probabilidad de 1 de cada 10.000 identificó 8/72 (11%) ensayos retractados (7 de Fujii et al.) y 82/5015 (1,6%) de los ensayos no retractados. Algunos valores de p eran tan extremos que los datos de la línea base no podían ser correctos: por ejemplo, para 43/5015 ensayos no retractados la probabilidad era menos de 1 en 10¹⁵ (equivalente a una gota de agua en 20.000 piscinas de tamaño olímpico). Un umbral de probabilidad de 1 en 100 para dos o más ensayos del mismo autor identificó a tres autores de ensayos retractados (Boldt, Fujii y Reuben) y 21 autores primeros o correspondientes de 65 ensayos no retractados.

El fraude, el error no intencional, la correlación, la asignación estratificada y la metodología inadecuada podrían haber contribuido al exceso de ensayos controlados aleatorizados cuyas medias de características basales de los pacientes son demasiado  similares o no similares, un patrón común a todas las revistas evaluadas. Es probable que este trabajo conduzca a la identificación, corrección y retractación de ECAs, hasta ahora no retractados.

El artículo original:

Carlisle, J. B. (2017), Data fabrication and other reasons for non-random sampling in 5087 randomised, controlled trials in anaesthetic and general medical journals. Anaesthesia. doi:10.1111/anae.13938

Disponible en: http://bit.ly/2r28JIi