En un nuevo artículo en Perspectives on Psychological Science (PDF de acceso abierto), John P. A. Ioannidis, del Centro de Investigación de Prevención de Stanford explica «Por qué la ciencia no es necesariamente autocorrectora». Su centro de atención principal recae en los defectos de la investigación psicológica, pero los principios que analiza son de aplicación a todos los campos científicos:
La capacidad de autocorrección se considera como un auténtico sello de la ciencia. Sin embargo, la autocorrección no siempre sucede con la evidencia científica por defecto. La trayectoria de la credibilidad científica puede fluctuar con el tiempo, tanto para campos científicos concretos como para la ciencia en general. La historia sugiere que desafortunadamente son posibles grandes cataclismos en la credibilidad científica, y que el argumento de que «es evidente que se hace progreso» es débil. (Énfasis añadido.)
La autocorrección es un ideal que no siempre se alcanza en el mundo de la ciencia, y ello por numerosas razones. Consideremos, por ejemplo, la suerte que padece un artículo de investigación típico. En primer lugar, las conclusiones del artículo pueden ser correctas o incorrectas. Segundo, hay tres formas en que se puede recibir el artículo, lo que lleva a seis posibles resultados:
- Si es correcto, el trabajo podría ser reproducido y confirmado. Este es el ideal.
- Si es correcto, el intento de repetición podría incorrectamente presentarlo como incorrecto («no reproducción falsa»).
- Si es correcto, pudiera no ser repetido en absoluto, llevando a un «descubrimiento genuino no confirmado».
- Si es incorrecto, un intento de repetición pudiera exponer que es incorrecto. Este es otro ideal.
- Si es incorrecto, un intento de repetición pudiera no exponerlo como incorrecto, y llevar a una «falacia perpetuada».
- Si es incorrecto, pudiera no ser reproducido en absoluto, llevando a una «falacia no impugnada».
Los únicos resultados deseables son el n.º 1 y el n.º 4, mientras que el n.º 3 es tolerable. Los demás resultados colisionan con el ideal de la autocorrección. Pero, ¿con cuánta frecuencia se dan? Ioannidis expone que la inmensa mayoría de artículos nunca son objeto de repetición, lo que significa que algunos descubrimientos nunca son confirmados de manera independiente, y que algunas investigaciones «erróneas» nunca son contrastadas, con lo que se perpetúan falacias.
En ausencia de esfuerzos de repetición, uno se queda con descubrimientos no confirmados (genuinos) y con falacias no impugnadas. En diversos campos de investigación, incluyendo muchas áreas de la ciencia psicológica, las falacias perpetuadas y no impugnadas pueden constituir la mayor parte de la evidencia que circula.
En cualquier instante, razona él, la credibilidad de la investigación está fluctuando. Sería ingenuo suponer una tendencia hacia la autocorrección con el paso del tiempo. Además, la credibilidad puede variar entre campos de la ciencia.
Incluso si creemos que una ciencia llevada a cabo de forma adecuada tenderá asintóticamentee hacia una credibilidad perfecta, no hay garantía alguna de que la credibilidad científica mejora continuamente y que no hay períodos vacíosdurante los que la credibilidad científica cae o se hunde (ligera o espectacularmente). La credibilidad de nuevos resultados y la evidencia total están en un flujo continuo. Puede mejorar o empeorar. ...
Además, incluso cuando observamos una mejora general, es probable que haya una heterogeneidad sustancial a través de los campos de la ciencia: la credibilidad puede aumentar en algunos campos, pero puede bajar en otros. Si unos campos con una baja credibilidad se vuelven prolíficos en su productividad y se hacen predominantes (p. ej., atraen muchos investigadores, financiación y atención editorial y pública), entonces pueden rebajar la credibilidad general del contenido global científico, incluso si se realizan progresos importantes en muchos otros campos.
Ioannidis proporciona ejemplos de la historia, como la frenología y la eugenesia, que muestran que «son posibles grandes caídas en credibilidad en amplios campos o incluso a través del continuo científico».
¿Cómo le va a la ciencia actual? Obviamente, vemos grandes logros en tecnología, en la capacidad de las mediciones y en la cantidad e incluso a veces en la calidad de los datos. Sin embargo, el estado de la evidencia necesita una evaluación cuidadosa. Podría ser que la credibilidad de algunas disciplinas está aumentando, mientras que algunas otras puedan estar enfrentándose a tiempos difíciles con una credibilidad disminuida. No es posible excluir siquiera la posibilidad de que puedan suceder o estén dándose caídas enormes en la credibilidad.
El incendio de la Biblioteca de Alejandría demuestra que también es posible la destrucción masiva de datos. Damos falsamente un suspiro de alivio de que ya no quemamos grandes bibliotecas. Pero consideremos esto: «¿Es posible que estemos haciendo frente a una situación en la que haya una destrucción masiva de datos?», pregunta él. «A primera vista, esto parece extraño, por cuanto la ciencia actual es aparentemente tan tolerante». ¿Quién podría realmente creer que en nuestros días «una Biblioteca de Alejandría realmente desaparece cada pocos minutos»?
Actualmente, hay petabytes de información científica que se producen a diario y millones de artículos que se publican anualmente. En la mayoría de los campos de la ciencia, la inmensa mayoría de los datos recolectados, protocolos y análisis no están disponibles y/o desaparecen poco después o incluso antes de la publicación. Si alguien trata de identificar los datos brutos y los protocolos reales de artículos publicados hace sólo 20 años, es probable que quede bien poco actualmente disponible. Incluso en el caso de artículos publicados esta semana, encontrar datos brutos, protocolos y códigos de análisis sería más bien la excepción que la regla. La gran mayoría de los artículos que se publican actualmente sonmayormente anuncios sinópticos de la investigación realmente hecha. Uno no puede incluso tratar de reproducir los resultados sobre la base de lo que está disponible en el artículo publicado.
Ahora que ya nos sentimos suficientemente alarmados, Ioannidis eleva el listón:
Además, ¿será posible que estemos actualmente ante una situación en la que hay una masiva producción de información errónea o de distorsión de información? Por ejemplo, ¿podría ser que el advenimiento de campos de investigación en los que el principal motivo y el mayor esfuerzo es conseguir nuevos descubrimientos y captar significancia estadística a toda cosa haya erosionado la credibilidad de la ciencia y que la credibilidad esté disminuyendo con el tiempo?
Estas son, desde luego, preocupaciones fundamentales, pero para basarlas más allá de una posibilidad de «¿y si ...?» o de un mero grito de alarma de que el cielo se cae, Ioannidis necesita proporcionar pruebas de que está realmente sucediendo. Y comienza con algunos estudios previos:
Datos empíricos procedentes de campos diversos sugieren que cuando se llevan a cabo esfuerzos para repetir o reproducir investigaciones publicadas, la repetibilidad y la reproducibilidad son deprimentes (Begley & Ellis, 2012; Donoho, Maleki, Rahman, Shahram, & Stodden, 2009; Hothorn & Leisch, 2011; Ioannidis et al., 2009; Prinz, Schlange, & Asadullah, 2011). No es sorprendente que incluso los fondos de riesgo no se animan mucho a invertir en resultados científicos publicados (Osherovich, 2011).
Ioannidis guía al lector por una excursión mental a un planeta imaginario al que llama F345, donde la ciencia la llevan a cabo investigadores jóvenes que estudian enormes bases de datos, buscando ejemplos de alta significación siguiendo una norma arbitraria. Les enseñan en una edad temprana que lo que importa es «hacer nuevos descubrimientos y encontrar resultados estadísticamente significativos a toda costa». Siempre que encuentran algún resultado estadístico «suficientemente extraordinario», lo muestran al investigador en jefe, que permite que sólo los casos más extravagantes sigan adelante —porque esto es todo lo que quieren las revistas, las instituciones financieras y los rectores universitarios. ¿Reproducción de los estudios? Un aburrimiento. «Los investigadores ascienden si presentan resultados más extremados y extravagantes y con ello publican resultados extravagantes, lo cual les consigue más financiación incluso si casi todos ellos son incorrectos.» Los ciudadanos de F345 son bombardeados por los medios de comunicación de masas a diario con anuncios de nuevos descubrimientos, «aunque en F345 no se ha realizado ningún descubrimiento sólido desde hace muchos años».
Una situación tan «horrorosa» puede sucedir cuando la ciencia pierde de vista su propósito: la búsqueda de la verdad acerca del mundo. La búsqueda de la verdad exige libertad de palabra, reflexión crítica e instituciones democráticas. Además, el precio de la buena ciencia, lo mismo que de la libertad, es la de una constante vigilancia:
No quiero ni pensar que la Tierra en 2012 d.C. sea una réplica de F345 en el año 3045268. Sin embargo, hay algunos factores en los que nuestros actuales modos de consecución, comunicación y reproducción (o de no reproducción) de resultados científicos podría parecerse a esta horrenda pesadilla. Más importante, podemos evolucionar fácilmente haciael paradigma del F345 excepto si salvaguardamos continuamente los principios científicos. La salvaguarda de los principios científicos no es algo que pueda hacerse de una vez por todas. Es un reto que tiene que ser afrontado con éxito a diario tanto por los científicos individualmente como por todo el establecimiento científico. Bien puede ser que la ciencia sea la más noble conquista de la civilización humana, pero esta conquista no es irreversible.
¿Pero acaso el claro progreso en teléfonos móviles, aviones a reacción y una esperanza de vida más prolongada no son indicaciones de la buena salud de la ciencia? «Está claro que se realiza algún progreso», asiente él, de modo que la situación no puede ser tan mala, podría aducir un crítico. «Este argumento es muy débil», replica él. Para empezar, esto no significa que la ciencia no debería estar haciéndolo mucho mejor. «Supongo que algunos principales sacerdotes de los egipcios podrían también haber afirmado que su ciencia era perfecta y óptima porque habían descubierto el fuego y la rueda — ¿qué más se podía esperar?» Por otra parte, incluso si algunos resultados correctos «funcionan» de alguna manera práctica, los resultados incorrectos podrían proliferar más rápidamente que los correctos. Finalmente, dice él, podemos atribuir el progreso a un factor equivocado. Por ejemplo, una esperanza de vida más larga en países en desarrollo podrían deberse más a las iniciativas de conseguir agua limpia y de prácticas de higiene que a la medicina.
Al llegar a este punto, Ioannidis considera datos empíricos reales procedentes de la investigación psicológica que muestra que la mayor parte de la misma nunca se reproduce. La repetición, de hecho, es «sumamente infrecuente», lo que significa que se tiende a perpetuar verdades no confirmadas o mitos no confirmados. Las falacias perpetuas pueden ser lo más común: «Los esfuerzos de repetición, aunque infrecuentes, son realizados primordialmente por los mismos investigadores que proponen los descubrimientos originales». El sesgo de confirmación puede ser la regla. Ioannidis da una lista de una docena de impedimentos para una repetición válida, incluyendo fallos en la comunicación, sesgo de publicación y «correlaciones ilusorias» —aparentes relaciones que puedan cumplir una norma estadística de significación pero que en realidad son falsas. En todo caso, «los pretendidos descubrimientos que no tienen intentos publicados de reproducción parecen formar la inmensa mayor parte de la ciencia de la psicología».
Para que nadie crea que su crítica aborda sólo el campo de la psicología, prosigue diciendo: «Existe la posibilidad de caídas considerables de credibilidad en amplios campos o incluso transversalmente en el continuo científico. Puede haber caídas considerables de credibilidad debido a destrucción masiva de datos o producción masiva de evidencia incorrecta». ¿Quién sabe cuántos datos importantes se ocultan en los cajones de los escritorios de los investigadores, pasados por alto en su precipitación por publicar lo que consideran más interesante?
Para finalizar con una nota más positiva, Ioannidis da un consejo para mejorar la credibilidad científica. En su conclusión «Incentivos para la reproducción y corrección de resultados erróneos» da una lista de pasos prácticos, como desafiar la atención que se impone sobre investigaciones de «alto impacto», mejorar la métrica para la reproducción, y separar las tareas de investigación exploradora y de confirmación. Pero bien por encima de estos consejos hay un principio general sin el que ninguna ciencia puede esperar tener éxito:
... la ciencia es acerca de aproximarse tanto a la verdad como sea posible y no acerca de conseguir resultados espectaculares, pero equivocados. Algunos de los pasos propuestos pueden incluso perjudicar la credibilidad de la ciencia a no ser que la búsqueda de la verdad tenga la mayor prioridad. ...
Sin embargo, en última instancia, con independencia de qué cambios se lleven a cabo, la credibilidad científica puede no llegar a mejorar a no ser que la búsqueda de la verdad permanezca como nuestro principal objetivo en nuestra tarea como científicos. Esta es una misión nobilísima que tiene que ser una y otra vez reafirmada.
Redacción: Evolution News & Views © 2013 - www.evolutionnews.org
Traducción y adaptación: Santiago Escuain, publicado en sedin-notas.blogspot.com.es
© SEDIN 2013 - www.sedin.org
Publicado en www.culturadelcristiano.com con permiso de SEDIN
No hay comentarios:
Publicar un comentario