Este documento presenta un resumen de una presentación sobre una visión sistémica de la evaluación por pares en ciencia. El objetivo de la investigación es describir el sistema de evaluación por pares para poder formular hipótesis sobre su funcionamiento. El método propuesto utiliza fuentes bibliográficas y entrevistas con expertos para desarrollar modelos de los componentes, el entorno y la estructura del sistema de acuerdo con el enfoque sistémico de Bunge. Los resultados preliminares incluyen un modelo del sistema de evaluación por pares y elementos involuc

1. Visão Sistêmica da Avaliação Por Pares em Ciência Jornadas de Investigación Brasil-España, Casa do Brasil, Madrid, 2015
Jornadas de Investigación Brasil-España
en la Casa do Brasil
Visión Sistémica de la Evaluación Por Pares en Ciencia
Vinícius M. Kern
Universidade Federal de Santa Catarina (UFSC, Brasil)
Programa de Pós-Graduação em Ciência da Informação (PGCIN)
Grupo de Pesquisa em Informação, Tecnologia e Sociedade (@DGP/CNPq)
Becario Capes en pasantía de postdoctorado en el CSIC/Instituto de Filosofia, Madrid, 3/2015-2/2016 (Sup.: Elea Giménez)
FAQ o “Preguntas que espero contestar en esta presentación”:
1. ¿Qué me importa (esta investigación)? [INTRODUCCIÓN]
2. “Sistémica de los pares”... ¿Eso se come, se bebe o se pone en el pelo? [FUNDAMENTOS]
3. ¿Y que vas a hacer? [OBJETIVO]
4. No funciona. ¿Cómo lo harás? [MÉTODO]
5. ¿Sirve para algo? [RESULTADOS Y DISCUSIÓN]
6. ¿Quienes querrán pagar por eso? (¿Vas a hacerte rico?) [“POST VENTA” o IMPACTO]
Jornadas de Investigación Brasil-España Colegio Mayor Casa do Brasil Diciembre, 2015

2. Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 2
Importa cuanto a 2 cosas
El tema específico
La evaluación por pares tiene
mucha importancia socioeconómica y
muchos defectos.
Esta investigación podría ayudar a
mejorarla [a ver cómo]
¿Que me importa (esta investigación)?
El modo de hacerse ciencia
La ciencia tradicional es analítica: reduce,
descompone... y no resuelve problemas
de verdad (complejos)
Esta investigación usa una reducción al
sistema, distinta de la ciencia tradicional
(al átomo) y de la anticiencia ('al todo')
[a ver cómo]

3. Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 3
Cuanto al modo de hacerse ciencia (perdona la simplificación)
Ciencia analítica (reduccionismo)
Cada ciencia estudia un tipo de átomo
y además sus componentes, pero no supraentidades:
espécie (y espécime - biología),
aglomerado celeste (y cuerpo - astronomía),
compuesto químico (y elemento - química),
sociedad (y individuo - sociología).
Explicar es demostrar correlación e inferir
causa-efecto (sin confundir correlación y causación).
Holismo (anticiencia) (Bunge: es “reducción al todo”)
¿Que me importa (esta investigación)?
Sistemismo de Bunge
Redución al sistema:
C Composición: que cosas (átomos) tiene.
E Entorno: qué lo afecta o es por él afectado.
S Estructura: que ligaciones hay entre
componentes y entre estos y el entorno.
M Mecanismo: cuáles procesos lo hacen un
sistema.
Es el modelo CESM (de la sigla en inglés).
Explicar es revelar mecanismos (eso
requiere antes describir C-E-S).

4. Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 4
Tema específico: Evaluación por pares
Evaluación, hecha por otros científicos (pares), de proyectos de investigación para recibir financiación o de
artículos sometidos a publicación. La decisión es del gestor de la financiación o del editor del periódico.
Mucho dinero1
, principalmente público
Mundo: ~US$ 1.000.000.000.000 en 2010
Brasil: ~US$ 19.400.000.000, 11o en el mundo (2011)
Mundo: ≈ gasto militar2. Brasil: 60% gasto militar. China: 150%
Es necesario rendir cuentas
Evaluación por pares: Sorprendentemente obscura y problemática (errores, fraudes,
intereses ocultos, falta de transparencia, falta de responsabilizar a los participantes desonestos...)
1 https://en.wikipedia.org/wiki/List_of_countries_by_research_and_development_spending
2 https://en.wikipedia.org/wiki/List_of_countries_by_military_expenditures
¿Que me importa (esta investigación)?
Es como se decide:
$ para investigar y
verdad científica.
Implica: qué se consolida como...
… conocimiento, tecnología,
innovación

5. Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 5
“Abordaje sistémico”
Hay muchos. Empezó con Bertalanffy1.
Expresión maldita:
"[C]uando cientistas sociales contemporáneos rigurosos
oyen la palabra 'sistema', quedan dispuestos a sacar sus
armas intelectuales" 2
Abordaje sistémico bungeano2:
Analisa la composición del sistema y sus
ligaciones para comprender el todo.
Postula que todo es sistema (o componente).
Define um modelo de sistema (CESM).
Da reglas metodológicas generales...
Poner cosas em contexto/sistema (no decomponer).
Describir composición-entorno-estructura C-E-S .
Conjeturar (hipotesis de) mecanismos.
Verificar mecanismos experimentalmente.
... Pero no dice cómo describir C-E-S.
¿Eso se come, se bebe o se pone en el pelo?
“Revisión/evaluación por pares”
Principal método de evaluación y control de
calidad en ciencia.
El gestor del fondo de financiación o editor
de la revista solicita opinión de expertos
(científicos pares del autor).
La decisión de dar $ o publicar es del gestor
o del editor.
Muchas variaciones: anonimato o no de autor y
revisor; uno o + ciclos; selección de revisores...
Muchos problemas: interese económicos, revisor
parcial, autor defraudador, editor/gestor incompetente...
No se sabe qué es la evaluación por pares.
1
Bertalanffy, L. (1968). General system theory: Foundations, development, applications. New York: Braziller.
2 Bunge, M. (2003). Emergence and convergence: qualitative novelty and the unity of knowledge. University of Toronto Press.

6. Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 6
“Abordaje sistémico de Bunge”
Ejemplos de sistemas:
Átomo:
C: Partículas y campos asociados
E: Cosas (partículas/campos) que interactúan con el
átomo
S: Campos que mantienen el átomo unido y sus
interacciones con el entorno
M: Procesos de emisión y absorción de luz, combinación
etc.
Empresa:
C: Empleados y gerencia
E: Mercado y gobierno
S: Relaciones de trabajo internas, relaciones entre
componentes y entorno
M: Actividades que resultan en los productos de la
empresa
Comunidad linguística:
C: Personas que hablan la misma lengua
E: Cultura(s) en que la lengua es usada
S: Colección de relaciones de comunicación lingüística
M: Producción, transmisión y recepción de símbolos
¿Eso se come, se bebe o se pone en el pelo?
y más sistemismo de Bunge
Como se formulan hipótesis de mecanismos:
Diagramas de Boudon-Coleman:
Cada diagrama representa un proceso que se
da en 2 niveles de sistema.
Cada transición de estado es una hipótesis de
causa-efecto a investigar empiricamente.
Ejemplo: Retraso agrícola francés en Siglo XVII
(Tocqueville as drawn by Bunge)
Centralización política Empobrecimiento y alienación
Ausencia del noble Estancamiento cultural,
proprietario debilidad de vínculos sociales

7. Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 7
Objetivo de la investigación
Cuanto a que la revisión por pares
es tan variada y problemática que
no se sabe qué es
Describir la parte detectable del sistema
(C-E-S) de evaluación por pares, para
después poder formular hipótesis
de funcionamiento
¿Y que vas a hacer?
Cuanto a que Bunge da reglas
metodológicas generales pero no
explica cómo crear modelos de
sistemismas
Desarrollar um proceso o método para
crear modelos C-E-S de sistemas
(o sea, describir la parte detectable)

8. Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 8
Descripción C-E-S de la
evaluación por pares
Fuentes bibliográficas:
Nature Peer Review Debate (2006),
colección de 22 blog posts.
Expertos:
Entrevistados en los papeles:
autor, revisor, editor
Hay resultados preliminares...
[más adelante]
(Abordaje sistémico) no funciona. ¿Cómo lo harás?
Método para crear modelos C-E-S
Basado en 2 tipos de fuentes
Literatura científica – conceptos consolidados
Expertos – conocimiento aprofundado y a
veces no disponible en texto
De la literatura, señalamos términos en los
textos y abstraimos elementos del sistema
Resultan modelos rastreables pero
incompletos. Los peritos los critican y
completan.

9. Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 9
Quizás.
Modelos C-E-S-(M) son representaciones ontológicas (la esencia del ser).
En sistemas de información hay una "brecha proverbial"1 de comunicación entre expertos
en TIC y en negócios (CESM podría ayudar).
En repositorios institucionales de acceso abierto, modelamos el sistema y
mostramos (utilizando un estudio existente con conclusión tímida) que la adopción de un
estándar establecido (Dublin Core) es fatal (algo contraintuitivo).
En Plataforma Lattes (4.500.000 CV brasileños) queremos demostrar que la quiebra de
reglas disciplinarias fue esencial al éxito del sistema (admitir redundancia, llamar externos
a decidir el futuro, no estandarizar palabras-clave).
1 Kilov, H., & Sack, I. (2009). Mechanisms for communication between business and IT experts. Computer Standards & Interfaces, 31(1),
98-109.
¿Sirve para algo?

10. Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 10
Resultados: Modelo preliminar del sistema de evaluación por pares y elementos involucrados en
algunos mecanismos discutidos corrientemente en la literatura: open review, recompensa al revisor y
distorción por subjetividad e ideología. La formulación de hipótesis de mecanismos viene de ahí.
¿Sirve para algo?

11. Visión Sistémica de la Evaluación Por Pares en Ciencia Jornadas de Investigación Brasil-España, Casa do Brasil Madrid, 2015 11
Nah... Rico, no. Con suerte, publico.
Pero hay futuro: alumnos y potenciales socios interesados.
• Una tesis de maestría defendida en el tema1 (sistemismo) y outra por empezar.
• Experiencias en proyectos de grandes plataformas de Instituto Stela
(desarrollador de Plataforma Lattes 1999-2004)
• Contactos com bungeanos en Sudamérica, especialmente Argentina
Para mi investigación y grupo:
• Consolidación de uma base teórica
• Por lo menos 2 artículos en revistas de alto impacto en el
2016 deben dar visibilidad a la investigación
1 Silva, L. M. (2014). Repositório institucional como sistema técnico-social. Florianópolis-SC, Brasil: UFSC. (Disertación de maestría, Universidade
Federal de Santa Catarina).
¿Quienes querrán pagar por eso?
(¿Vas a hacerte rico?)

12. Visão Sistêmica da Avaliação Por Pares em Ciência Jornadas de Investigación Brasil-España, Casa do Brasil, Madrid, 2015
¡Gracias!
www.kern.prof.ufsc.br
UFSC (Brasil) – Programa de Pós-Graduação em Ciência da Informação
CSIC/CCHS/IF (España) – Grupo de Investigación sobre el Libro Académico