Pensamientos positivos sobre estudios negativos:  el sesgo de publicación

Se puede aprender mucho de los estudios negativos, pero dichos estudios se publican con menos frecuencia. Por ejemplo, aproximadamente la mitad de los estudios clínicos realizados siguen sin publicarse y es más probable que los estudios negativos no estén publicados en comparación con aquellos que proporcionan evidencia suficiente para respaldar la hipótesis de la investigación.

¿Qué son los estudios negativos y por qué no se publican?

Muchas preguntas de investigación pueden responderse estableciendo formalmente una hipótesis alternativa (lo que pretendemos verificar) frente a una hipótesis nula (el status quo) y evaluando la evidencia frente a la hipótesis nula. La lógica de este marco es que lo que estamos probando se consideraría una realidad viable sólo si existe evidencia sólida en contra del status quo (la hipótesis nula) y a favor de esta alternativa. Los datos recopilados serán consistentes con la hipótesis nula o no. Si los datos son consistentes con la hipótesis nula, se dice que el estudio “no logró rechazar la hipótesis nula”, es decir, el status quo permanece; si los datos no son consistentes con la hipótesis nula pero apoyan la alternativa, entonces se dice que el estudio “rechazó la hipótesis nula” a favor de la alternativa, es decir, el status quo se rechaza a favor de la alternativa hipotética. El primero se denomina estudio “negativo” y el segundo, estudio “positivo”. Esta presentación binaria está sujeta a incertidumbre, a menudo cuantificada por la probabilidad de error de tipo I (rechazar en forma errada la hipótesis nula, cuando es verdadera) y error de tipo II (no rechazar la hipótesis nula, cuando la hipótesis alternativa es verdadera) de la pruebas empleadas.

Proponemos que las razones principales por las que los estudios negativos permanecen sin publicar son dos. En primer lugar, los editores y revisores de revistas pueden favorecer los estudios positivos porque parecen presentar nuevos conocimientos al desafiar el status quo y, por lo tanto, son potencialmente de mayor interés para los lectores y, por lo tanto, pueden ser citados con más frecuencia. En segundo lugar, y probablemente lo más importante, los investigadores y sus patrocinadores pueden sentir que su tiempo y esfuerzo no se emplean bien en redactar y enviar artículos para publicación que tienen más probabilidades de ser rechazados o permanecer relativamente sin citar en comparación con otros trabajos.

¿Por qué publicar estudios negativos?

La no publicación de estudios negativos da como resultado un registro de lo publicado que es incompleto, unilateral y engañoso. Una consecuencia de este sesgo de publicación es que puede requerir de manera inapropiada más estudios, lo que pone a los participantes de estos estudios en riesgo innecesario y también causa una carga evitable para los investigadores y las instituciones. Esto no es ético y podría socavar la confianza de quienes participan en la investigación clínica, una confianza que es vital para su continuación y crecimiento. La literatura publicada engañosa también significa que las pautas de tratamiento y, por lo tanto, la práctica clínica diaria pueden ser erróneas. Las personas pueden recibir tratamientos innecesarios y, como consecuencia, sufrir resultados negativos.

Por tanto, los resultados de los estudios negativos son una pieza esencial de la totalidad de la evidencia científica. Considere cuatro escenarios bajo los cuales puede surgir un estudio negativo:

(a) el estudio estuvo bien diseñado, tuvo el poder estadístico adecuado, se completó fielmente y se analizó correctamente

(b) el estudio estuvo bien diseñado, tuvo el poder estadístico adecuado en la fase de diseño y se analizó correctamente, pero no alcanzó el tamaño de muestra planificado y, por lo tanto, no tuvo suficiente poder estadístico para detectar el efecto anticipado.

(c) el estudio estuvo bien diseñado pero no tuvo suficiente potencia en la fase de diseño

(d) el estudio no estuvo bien diseñado ni tuvo el poder estadístico adecuado.

Con la posible excepción del caso (d), es valioso tener los resultados de todos los escenarios anteriores disponibles para la comunidad científica. En el escenario (a), un resultado negativo podría significar que el efecto real es menor de lo que el investigador había pensado que era clínicamente significativo y había impulsado el estudio para detectarlo, o, si el estudio se planificó como una replicación, que los resultados anteriores no fueron replicados. Alternativamente, podría significar que el verdadero efecto es del tamaño anticipado por los investigadores, pero se produjo el error de tipo II. Esta información, junto con información de otros estudios de la misma relación, se puede combinar en un metanálisis para proporcionar una estimación conjunta del efecto a partir de la evidencia científica disponible. La información también podría usarse para planificar estudios futuros sobre el efecto de interés o ayudar a los investigadores a tomar decisiones bien informadas sobre las direcciones de su propia investigación. En tales casos, es esencial que los investigadores realicen una evaluación mecanicista y de procesos para aprender más sobre las razones de los hallazgos negativos.

El escenario (b) es similar al (a), excepto que ahora la posibilidad de error tipo II es mayor de lo que pretendían los investigadores, ya que el estudio no alcanzó el tamaño de muestra planificado. También es posible que el efecto real sea menor de lo que esperaban los investigadores o, en caso de una replicación, que los resultados informados anteriormente no se replicaran, pero debido a que el estudio no tuvo suficiente poder estadístico, el intervalo de confianza alrededor de la estimación del efecto es mayor de lo planeado y la interpretación de los resultados es más difícil.

El escenario (c) describe estudios que podrían descubrir sólo efectos grandes en situaciones donde los efectos más pequeños son de importancia clínica. Informar tales estudios es menos informativo que los estudios en los escenarios (a) y (b) porque, además del posible error tipo II, sólo nos dice que el efecto no es tan grande como esperaban los investigadores, pero eso no implica necesariamente la ausencia de un efecto clínicamente significativo. Informar el estudio indica a la comunidad de investigación que se llevó a cabo, y el efecto de interés estimado, con su respectivo intervalo de confianza, se puede utilizar para informar los cálculos del tamaño de la muestra para futuras investigaciones, de manera similar a las estimaciones que se derivan de estudios piloto. Los escenarios (a), (b) y (c) podrían contribuir a metanálisis que podrían permitir responder adecuadamente a las preguntas de investigación incluso cuando ninguno de los estudios por sí solo fuera capaz de hacerlo. El escenario (d) describe estudios que probablemente no aportan ningún valor, a menos que los informes critiquen en detalle todos los aspectos del diseño y la realización del estudio, lo que podría ayudar a futuros investigadores a evitar los mismos errores potenciales de diseño y ejecución.

[...]

El artículo original:

Petkova E, Ciarleglio A, Casey P, et al. Positive thinking about negative studies. The British Journal of Psychiatry. Published online 2024:1-3. doi:10.1192/bjp.2023.155 

Disponible en: https://n9.cl/ouuf2