• Sesión 02 | 20 de abril de 2021 • Tema: Reproducibilidad de la investigación y publicación científica • Ponente: Olavo Amaral • Grabación: https://youtu.be/xgWEgbdAsfU Más informaciones → https://bit.ly/buenaspracticaslilacs2021

2. Olavo B. Amaral
Abril 2021
Reproducibilidad de la
investigación y publicación
científica

3. • Estamos acostumbrados a escuchar que los artículos
científicos son la fuente de evidencia más confiable a la que
tenemos acceso.
• Dicho esto, tenemos sorprendentemente poca evidencia
empírica para esta afirmación.
Un paradigma establecido

4. Algunos números...

5. Algunos números...

6. Algunos números...

7. Algunos números...

8. Algunos números...

9. • 17 estudios publicados:
o 5 en su mayoría replicados
o 6 parcialmente replicados
o 4 no replicados
o 2 no interpretable
Algunos números...

10. Una conclusión empírica...
En las pocas áreas de la ciencia biomédica estudiadas, no
podemos suponer que la mayoría de los hallazgos publicados
sean ciertos.

11. La falacia de la manzana podrida
Las retractaciones por mala conducta se han vuelto más
comunes, pero su frecuencia no comienza a explicar el
problema.

12. La falacia de la estandarización
Un enfoque opuesto es tratar de explicar la irreproducibilidad
mediante cuestiones puramente metodológicas que no se
pueden controlar en todos los laboratorios.
(que dijo ...)

13. El infierno está en la zona gris
La forma más útil de abordar
la irreproducibilidad es
observar la zona gris entre las
dificultades metodológicas y
la mala conducta.

14. Azar y sesgo
Con estándares estadísticos flojos, la suma de nuestros sesgos
puede convertir fácilmente el azar en una "verdad" científica.

15. Nuestro sesgo más obvio es hacia los resultados "positivos".
Azar y sesgo

16. El sesgo de publicación
El cajón de archivos por sí solo distorsiona por completo el
registro científico.

17. Sesgo de publicación y
presentación de informes

18. Sesgo analítico
Cuanto más grandes sean los datos y la flexibilidad para
analizarlos, más susceptibles somos al sesgo.

19. La tragedia de p <0.05
La definición de "importancia" utilizada por la mayoría de los
científicos de la salud significa que, con suficientes datos y formas
de analizarlos, se puede probar básicamente cualquier cosa.

20. Con suficientes experimentos, se obtendrán resultados
"significativos" en 1 de cada 20 experimentos por definición, incluso
si nada es cierto.

21. Al analizar el mismo experimento de 20 formas diferentes,
tampoco suele ser difícil encontrar un resultado "significativo".

22. Un defecto básico
Replication
Citations
Impact
Changed plans
Data exploration
Analysis options
Obstacles
Negative results
Failed experiments
Criticism
Al leer un artículo científico, desconocemos las hipótesis
originales, el número de comparaciones y el número de
opciones de análisis.

23. Como un perfil de Tinder
Esto no es tan diferente de otras síntesis "no científicas" de la
realidad.
Replication
Citations
Impact
Changed plans
Data exploration
Analysis options
Obstacles
Negative results
Failed experiments
Criticism

24. Desenmascarando el "impacto"
• La revisión tradicional por pares combina la evaluación de
métodos y resultados (y de datos e historias).
• Las historias hermosas con abundantes datos inestables
tienden a triunfar sobre los experimentos sólidos y bien
realizados.
Volume
Novelty/Impact
- Number of
experiments,
methods, etc.
- Coherence of results
- Novelty of theory
- Potential impact
Rigor/Reproducibility
- Experimental design
- Protocol registration
- Data availability
- Statistical rigor

25. Condenado a fracasar
La irreproducibilidad es el resultado natural en un sistema
donde el impacto y la novedad cuentan, pero la verdad no.

26. ¿Cómo cambiar este escenario?
• Debemos aceptar que el sistema actual no funciona.
• Hay pocas razones para temer experimentar con soluciones
nuevas y antiguas para hacer que la investigación sea más
reproducible.

27. Informes sistemáticos
Las pautas para la presentación de informes existen desde hace
bastante tiempo y han mejorado las cosas en algunas áreas.

28. Dicho esto, la aceptación no está garantizada y podría requerir una
acción más directa por parte de los editores y revisores.
Informes sistemáticos

29. Intercambio de datos y códigos
• Exigir transparencia en los datos, el código y los materiales es un
paso muy básico.
• No hay razón para aceptar trabajos en los que los datos no se
compartan sin justificación.

30. Intercambio de datos y códigos
Dicho esto, los datos son de poca utilidad cuando no están
estructurados, y las mejores formas de compartir datos variarán
según el campo científico.
vs.

31. Registro de protocolo
Los métodos deben indicarse antes de que se lleven a cabo los
estudios y no después.

32. 3. Registro de protocolos

33. Informes registrados
Esto también crea la oportunidad de que la revisión por pares se
lleve a cabo en el momento adecuado para un cambio.

34. Apoyando nuevas soluciones
Los preprints llegaron para quedarse: deberíamos alegrarnos y
apoyar su uso (y no solo en una pandemia).

35. Los datos sugieren que las diferencias entre la preimpresión
promedio y el artículo de revista promedio son muy pequeñas.

36. No hay necesidad de temer al cambio
A diferencia de la democracia, en realidad no hemos probado
nada diferente durante el último siglo en términos de
publicación.

37. Las barreras son culturales, no científicas
La publicación de revistas tradicionales se ha vuelto más
importante para la ciencia como una forma de marca que de
control de calidad real.

38. Si aún lo dudas...
… Ofrecer revisión por pares de forma gratuita fuera de una
revista y ver qué sucede.

39. Conclusiones
• La publicación de revistas en su forma actual no garantiza la
reproducibilidad de la investigación.
• En muchos casos, podría actuar activamente en su contra.
• Necesitamos desarrollar con urgencia soluciones para
mejorar la reproducibilidad dentro del ecosistema de
revistas.
• Si esto no sucede, la ciencia eventualmente estará mejor si
se separa de ella.
• Las barreras al cambio son culturales, más que financieras o
tecnológicas.

40. TOP Guidelines

41. http://topfactor.org

42. https://serrapilheira.org/wp-
content/uploads/2019/11/serrapilheira-guia-ciencia-aberta-e-
reprodutivel.pdf

43. @nobudgetscience
@nobudgetscience
http://no-budget-science.github.io/
https://reproducibilitea.org/journal-
clubs/#Brasil
olavo@bioqmed.ufrj.br
http://reprodutibilidade.bio.br/
@reprodutibilidade.bio.br
reprodutibilidade.br@gmail.com
http://osf.io/6av7k/
@BrRepInitiative
No-Budget Science
Iniciativa Brasileira de
Reprodutibilidade