Repíteme ese estudio, Sam

Una gran parte de los estudios científicos no llegan a confirmarse, ya sea por imposibilidad o por falta de voluntad. Aunque el que un estudio no pueda reproducirse no significa que sea falso o un fraude, la ciencia debe revisar y aprovechar sus cimientos. Está en marcha el Proyecto Reproducibilidad.

Esta entrada es una colaboración con la sección ´Aquí hay ciencia´en Tercer Milenio, suplemento de ciencia del Heraldo de Aragón, donde fue publicada originalmente.

Hasta la mitad de los científicos reconocen no poder repetir alguno de sus experimentos

Observen esta cadena trófica de pensamiento, bella de tan simple y lineal: un estudio científico dice que, un estudio científico asegura que, la ciencia dice que, lo dice la ciencia, es así.

¿Ven algún problema? Aquí van dos: uno es que, que se sepa, nadie hasta ahora ha oído hablar a la ciencia. Otro es el habitual, supersónico y a veces fatídico viaje entre sus dos extremos: ¿Que un estudio lo dice? Pues es así. Sin embargo, si la ciencia hablase, tendría que hacerlo a través de la repetición. Y aquí va el tercer gran problema: ¿cuántos estudios se intentan repetir? ¿En cuántos se consigue?

Una iniciativa está empezando a poner números al asunto. Se llama Proyecto Reproducibilidad, y a juzgar por sus primeros resultados parece que tenemos un problema con algunos de los cimientos.

Sus primeras conclusiones salieron en el año 2015. Por aquel entonces trataron de reproducir cien trabajos que consideraron relevantes en el campo de la psicología. ¿Cuántos creen que consiguieron repetir? ¿Noventa, ochenta, sesenta?

39.

Denle la vuelta para conseguir el titular: “Más de la mitad de los estudios en psicología son falsos”.

“Pero la psicología es una ciencia blanda”, dijeron algunos. Desde luego no es una roca física, gravitacional y newtoniana, pero: ¿más de la mitad? Ahora han empezado a salir los resultados de otra parte del proyecto, la de los estudios sobre el cáncer. Se han propuesto (mediante financiación de una fundación privada) reproducir 29 trabajos importantes. De momento han terminado cinco: de ellos solo dos se confirmaron, y solo de forma parcial. En 2012, la compañía biotecnológica Amgen dijo que había tratado de reproducir 53 de los trabajos más relevantes sobre el cáncer, pero solo lo había conseguido con seis, sin decir cuáles eran. ¿Es el mundo científico un fraude de falsedades? Hombre, no. Desde luego no necesariamente.

Que un estudio no pueda reproducirse no significa que sea un fraude. De hecho no significa que sea necesariamente falso. Por ejemplo, pequeñas desviaciones en las condiciones pueden cambiar los resultados. La temperatura de un laboratorio puede ser distinta a la del otro y condicionar una reacción. (La biología es delicada a veces.) El material usado puede ser levemente diferente. (La biología es delicada casi siempre.) La forma de hacer el experimento puede ser no ser equivalente (si la biología es delicada, los científicos deberían informar mejor sobre cómo han llegado a donde han llegado). Incluso puede haber resultado de una feliz, azarosa y circunscrita, no repetida, tentadoramente publicable pero no necesariamente falsa casualidad.

Pero que no sea un fraude no significa que no sea un problema grave. De hecho, en una encuesta hasta un 50% de los científicos reconocieron no haber podido reproducir algunos de sus experimentos. ¿Hasta qué punto no hay proyectos erigidos sobre hombros de barro, huyendo hacia adelante? ¿No convendría apuntalar los cimientos?

Sí, pero qué poco glamour. Simplemente confirmar lo que otros ya han ideado y supuestamente demostrado. No hay carrera científica que se jacte y sostenga ahí. Aunque quizás debería. Y no solo para apuntalar, sino también para aprovechar y no meramente acumular. Por ejemplo: las revistas científicas están llenas de estudios sobre nuevos marcadores tumorales, moléculas que permiten detectar un cáncer, estimar un riesgo, mejorar los tratamientos. Para que esos marcadores lleguen a ser útiles necesitan ser confirmados en muchos trabajos, en sitios diversos. Necesitan una repetición a gran escala. Pero salvo que sea un trabajo enorme y carísimo (de los que solo suelen costear las empresas farmacéuticas y cuando ya tienen bastantes garantías), los estudios que los podrían ir acercando al hospital se publican en revistas modestas y científicamente secundarias. Esas cuyas portadas no están en las paredes de los mejores laboratorios.

Esa sería una improbable pero bonita iniciativa de vida. Una revista de resultados reproducibles e irreproducibles cuya importancia dignificara a cada autor. Hay una, pero es humorística. Y hay otras con una idea parecida, sobre resultados originales pero negativos, que permiten descartar hipótesis y así ahorrarse tiempo, gastos y tropezar con la misma piedra. Pero de momento tampoco son de las que ondean por los despachos.

Algunos, como el filósofo Thomas Kuhn, han llamado a ese tipo de ciencia, “ciencia normal”. Y desde la propia revista Nature la reivindican ahora (aunque generalmente no la publiquen): “Es fácil desestimarla por poco interesante. Pero solo haciendo ciencia normal -y haciéndola bien- podemos reconocen cuándo son necesarias las revoluciones”.

Mientras tanto, quédese con que los resultados de un estudio son más probables que una revelación, aunque espere quizás a que se confirmen.

La ciencia no habla, pero conviene fiarse cuando insiste.

Publicado por Jesús Méndez

Escritor y periodista científico. MD, PhD

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *