Se presentan los principales hallazgos de la evaluación de SciELO-Chile, realizada el 2012. Se presenta el contexto histórico en que surge SciELO-Chile, la metodología de evaluación, y los resultados. Se dimensiona la calidad de la colección SciELO-Chile y su visibilidad internacional. Se caracteriza temáticamente el esfuerzo investigador realizado por los científicos chilenos y se relaciona con la especialización temática de la colección SciELO-Chile. Se mide el impacto y se caracteriza el grado de internacionalización de las revistas que integran la colección de Chile. La presentación se complementan con un destaque del rol de SciELO sobre otros proyectos regionales de edición a texto completo, un recorrido por las conclusiones de la evaluación realizada y desafíos futuros que enfrenta la Red-SciELO y SciELO-Chile. Se mide el impacto de la colección SciELO-Chile, en diferentes ejes como son: la implementación de la edición electrónica, el desarrollo del acceso abierto, la calidad de las revistas indizadas, el uso efectivo de la colección, la satisfacción de los usuarios, y la eficiencia de los componentes que integran la metodología SciELO. Apresentam-se os principais resultados da avaliação da SciELO-Chile, realizada em 2012. Apresenta-se o contexto histórico em que surge a SciELO-Chile, a metodologia de avaliação, e os resultados. Dimensiona-se a qualidade da coleção SciELO-Chile e sua visibilidade internacional. Caracteriza-se tematicamente o esforço investigador realizado pelos científicos chilenos e relaciona-se com a especialização temática da coleção SciELO-Chile. É medido o impacto e caracteriza-se o grau de internacionalização das revistas que integram a coleção do Chile. A apresentação é complementada com um destaque do papel de SciELO sobre outros projetos regionais de edição a texto completo, um recorrido pelas conclusões da avaliação realizada e desafios futuros que enfrenta a Rede-SciELO e SciELO-Chile. É medido o impacto de a coleção SciELO-Chile, em diferentes eixos como são: a implementação da edição eletrônica, o desenvolvimento do acesso aberto, a qualidade das revistas indexadas, o uso efetivo da coleção, a satisfação dos usuários, e a eficiência dos componentes que integram a metodologia SciELO.

1. Avaliação SciELO-Chile
Patricia Muñoz-Palma
Programa de Información Científica – CONICYT – Chile
Atilio Bustos-González, SCImago Lab – España
Pontificia Universidad Católica de Valparaíso – Chile

2. Plan de la presentación
•
•
•
•
•
Contexto histórico
Metodología del estudio
Principales resultados
Algunas conclusiones
Desafíos

3. Contexto histórico
• Chile fue el primer país que acompañó a Brasil en la
instalación de SciELO en el mundo.
• La gran socia de Abel Packer fue Anna María Prat.
• SciELO inició sus operaciones en Chile en 1998, siendo
CONICYT el organismo nacional encargado implementar la
metodología, construir la colección, y operar los servicios
(Prat, 2000).
• En la experiencia chilena es muy difícil diferenciar los aportes
de CONICYT de los de SciELO.
Fuente: Prat, Anna María. (2000). Programa Biblioteca Científica Electrónica en Línea,
SciELO-Chile: una nueva forma de acceder a la literatura científica nacional. Biological
Research, 33(2). En <http://www.scielo.cl/scielo.php? script=sci_arttext&pid=S071697602000000200003&lng=es&nrm=iso>

4. CONICYT- CHILE

5. Programa de Información Científica-CONICYT
Su propósito es fortalecer y asegurar el acceso a la información
científica nacional e internacional para fines de investigación,
educación e innovación.
Objetivos:
1
POTENCIAR LA VISIBILIDAD DE LA PRODUCCIÓN CIENTÍFICA
NACIONAL JUNTO CON MEDIR CALIDAD Y SU IMPACTO.
2
DIVERSIFICAR LOS MECANISMOS DE ACCESO A LA
INFORMACIÓN CIENTÍFICA COMO COMPONENETE DE LAS
ACTIVIDADES DE I&D.
3
DISEÑO DE INSTRUMENTOS QUE PERMITAN REUTILIZAR Y
GESTIONAR LA INFORMACIÓN CIENTÍFICA Y LOS DATOS DE
INVESTIGACIÓN.

6. Acceso y Visibilidad
SciELO: Artículos
científicos nacionales
Consorcio CINCEL: Artículos
científicos internacionales
RI
SciELO
CINCEL
Sistema Nacional
de Información
Científica
Red
Ciencia
Redes y vinculación
• Plataforma de colaboración
científica de mayor impacto
entre los investigadores de
habla hispana, con presencia
activa en más de 15 países de
América Latina
Acceso y preservación
Patrimonio Científico
Nacional
RI 1: Proyectos de información
referencial
RI 2: Proyectos y artículos
relacionados a textos completos
Monitoreo
de
producción
Acceso, difusión y evaluación
• Indicadores de productividad
generada por proyectos CONICYT
Portal de
Investigadores
Acceso,
difusión
y
transparencia
• Acceso expertos por área
• Facilitar contacto de pares
• Visibilizar comunidad científica
• Indicadores de productividad
nacional

7. ¿Por qué evaluar SciELO-Chile?
• Por ser uno de los componentes de la estrategia
•
•
•
•
nacional de acceso a información científica.
La evaluación es parte de la gobernanza de CONICYT.
Proceso que se debe aplicar a cualquier política
pública diseñada para intervenir en el sistema de C y T
después de un periodo de tiempo.
La Presidencia se adelantó a una evaluación del
Ministerio de Economía.
La evaluación es parte de la estrategia destinada a
tener evidencia para defender y rediseñar el
programa.

8. ¿Para qué evaluar SciELO-Chile?
Contar con una línea base de información e
indicadores que faciliten la toma de decisiones.
• Verificar si la misión y objetivos declarados por SciELO –
Chile, se han cumplido y grado de eficiencia en su
ejecución (declaración política y pública).
• Conocer impacto del instrumento en el sistema de
ciencia y tecnología y sus externalidades positivas.
• Analizar cualitativamente de la colección de revistas
indexadas en SciELO Chile.

9. Preguntas de investigación
1.
¿Cuál es el impacto de SciELO-Chile sobre la formación de pregrado?
2.
¿Cuáles son las prácticas de los académicos para estimular el uso de SciELO-Chile en los estudiantes?
3.
¿Cuáles son los hábitos de los estudiantes en relación con el uso de revistas incluida en SciELO-Chile?
4.
¿Cuáles son los hábitos de los académicos e investigadores en relación con el uso de la SciELO-Chile?
5.
¿Por qué son tan altas las estadísticas de acceso a SciELO-Chile?
6.
¿Existen usos de SciELO-Chile no previstos en el diseño del programa?
7.
¿Cuál es el grado de conocimiento, uso y valoración que los alumnos hacen de SciELO-Chile?
8.
¿Cuál es el grado de conocimiento, uso y valoración que los académicos hacen de SciELO-Chile?
9.
¿Cuál es el grado de conocimiento, uso y valoración que los investigadores hacen de SciELO-Chile?
10. ¿Cuál es el grado de conocimiento, uso y valoración que los editores tienen de SciELO-Chile?
11. ¿A juicio de los editores cuáles son las fortalezas y debilidades de SciELO-Chile?
12. ¿Cuál ha sido el efecto de la existencia de SciELO-Chile sobre la visibilidad, calidad e impacto de la
ciencia generada en Chile y en la región?
13. ¿Cuáles son los campos temáticos en que SciELO-Chile es más valorado por diferentes audiencias?
14. ¿Se justifica la existencia de SciELO-Chile?
15. ¿Los servicios ofrecidos por SciELO-Chile responden a la promesa?
16. ¿Cuáles son las mayores críticas y recomendaciones que se realizan de SciELO-Chile?
17. Y más ¿..?
Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.

10. Metodología
• Desarrollar una evaluación multidimensional. Cada dimensión requirió la
definición de una metodología específica, y generó un informe:
• Estudio bibliométrico de las revistas SciELO-Chile.
• Estudio de percepción de los usuarios de SciELO-Chile.
• Estudio de impacto de SciELO-Chile en los estudios de pregrado.
• Estudio de impacto de SciELO-Chile en la comunidad científica chilena y
en la colaboración internacional.
• Estudio de la cadena de producción de SciELO-Chile.
• Se trabajó con las 88 revistas vigentes que integraban SciELO-Chile a
diciembre 2011.
• Los estudios bibliométricos, en todos los casos que fue posible, abarcaron
la ventana temporal 1999-2011.
• Como fuente de datos bibliométricos se utilizó la base de datos
comprensiva SCOPUS®.
Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.

11. Hallazgos
SciELO en la producción científica chilena
Evolución de la producción chilena total, de la comunicada en revistas
SciELO-Chile y en revistas de la Red-SciELO
Fuente: Datos Scopus. Análisis: SCImago Research Group.

12. Hallazgos
SciELO-Chile en la producción científica OA
El 2011 un 24.8 % de la
producción chilena, se
publicó en revistas OA
con acceso internacional
inmediato (Scopus).
El 2011 un 11% de la
producción científica
mundial fue comunica en
revistas OA con acceso
inmediato (Scopus).
Fuente: Laakso and Björk. Anatomy of open access publishing: a study of longitudinal development
and internal structure. MDC Medicine. 10, 124 (2012). doi:10.1186/1741-7015-10-124

13. Hallazgos
Especialización temática y esfuerzo investigador
% de documentos por área temática publicados en revistas SciELO-Chile el 2011
Fuentes: Datos - Scopus. Análisis - SCImago Research Group.

14. Hallazgos
Especialización temática y esfuerzo investigador
Área temática
A
Chile %
producción
total 2011
en Scopus
Medicina
16,6%
Agricultura y ciencias biológicas
12,7%
Ciencias planetarias y de la tierra
9,9%
Física y astronomía
6,7%
Ciencias sociales
6,3%
Bioquímica, genética molecular y biología5,8%
Matemáticas
5,7%
Ingeniería
4,9%
Ciencias ambientales
4,2%
B
Chile %
producción
en
SciElo-Chile
2011
33,0%
17,5%
4,4%
0,0%
14,7%
2,1%
0,2%
3,2%
9,1%
Delta
A-B
Chile %
producción
total
en Q1 2011
Chile
Impacto
normalizado
2005-2011
-16,4%
-4,8%
5,5%
6,7%
-8,4%
3,7%
5,5%
1,7%
-4,9%
29,36%
42,70%
65,71%
67,72%
25,25%
42,20%
45,72%
39,61%
55,22%
0,90
0,84
1,25
1,14
0,62
0,97
1,05
1,26
0,93
Esfuerzo investigador total y en SciELO-Chile por área temática (con más del 4%) el
2011, comparado con producción chilena total del año 2011 en revistas Q1 e
impacto normalizado que alcanzó la producción científica chilena por área temática
Fuentes: Datos - Scopus. Análisis - SCImago Research Group.

15. Hallazgos
Aporte SciELO-Chile a la visibilidad de las disciplinas
Caso 1 - Revista indexada en SciELO-Chile y Scopus
0.35
Chile-Mundo
0.323
Revista-Mundo
0.30
0.309
0.285
Impacto normalizado
0.25
0.246
0.20
0.182
0.15
0.142
0.137
0.107
0.100
0.10
0.100
0.086
0.056
0.097
0.096
0.05
0.050
0.034
0.00
1999
2000
2001
2002
2003
2004
2005
2006
2007
Fuente: SCImago Journal and Country Ranking. Fuente de datos: Scopus.
2008
2009
2010

16. Hallazgos
Aporte SciELO-Chile a la visibilidad de las disciplinas
Caso 2 - Revista indexada en SciELO-Chile, Scopus y WoS
1.6
Chile-Mundo
Revista-Mundo
1.491
1.460
1.359
1.4
1.240
1.130
1.2
1.205
1.046
1.010
1.0
Mundo
0.961
0.991
0.820
0.8
Impacto Normalizado
0.891
0.6
0.435
0.4
0.416
0.240
0.2
0.0
1999
2000
2001
2002
2003
2004
2005
2006
2007
Fuente: SCImago Journal and Country Ranking. Fuente de datos: Scopus.
2008
2009
2010

17. Hallazgos
Aporte SciELO-Chile a la visibilidad de las disciplinas
Impacto Normalizado
0.3
Caso 3 - Revista indexada en SciELO-Chile y Scopus
Chile-Mundo
Revista-Mundo
0.200
0.2
0.187
0.173
0.162
0.2
0.123
0.1
Mundo
0.078
0.074
0.055
0.1
0.040
0.039
0.032
0.020
0.018
0.0
0.000
1999
2000
2001
2002
2003
2004
2005
2006
2007
Fuente: SCImago Journal and Country Ranking. Fuente de datos: Scopus.
2008
2009
2010

18. Hallazgos Impacto
Distribución porcentual de revistas Red-SciELO por cuartil - 2011
Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO

19. Brazil
Mexico
Colombia
Hallazgos EvoluciónNormalized proporción %de Chile
de la % Q4 Argentina
publicaciones e
Normalized
Normalized
Normalized
Normalized
Año
% Q4
% Q4
Q4
% Q4
citation in Q4
citation in Q4
citation in Q4
citation in Q4
citation in Q4
impacto normalizado0,36 cuartil0,37 revista de publicación
por 7,37%
de 7,32% 0,40 7,42% 0,25
2003
9,30%
0,36
8,95%
2004
2005
2006
2007
Año
2008
2009
2003
2010
2004
2011
2005
2006
2007
Año
2008
2009
2003
2010
2004
2011
2005
2006
2007
Año
2008
2009
2003
2010
2004
2011
2005
2006
2007
2008
2009
2010
2011
8,60%
0,41
7,46%
0,43
10,99% Brazil 0,33
12,66%
0,34
Normalized
% Q3
13,57%
0,29
citation in Q3
13,89%
0,24
23,41%
0,38
17,51%
0,18
23,45%
0,39
21,14%
0,16
25,98%
0,40
32,76% Brazil 0,38
33,93%
0,40
Normalized
% Q2
36,46% citation in Q2
0,41
38,95%
0,38
37,65%
0,68
36,28%
0,34
40,65%
0,67
32,88%
0,35
39,43%
0,70
Brazil
38,57%
0,71
Normalized
38,32%
0,70
% Q1
citation in Q1
35,55%
0,73
31,98%
0,68
45,68%
1,15
30,88%
0,71
42,71%
1,21
29,35%
0,69
38,73%
1,37
33,43%
1,31
33,04%
1,33
31,41%
1,38
29,51%
1,40
28,82%
1,39
29,75%
1,49
8,10%
0,41
7,99%
0,33
9,20% Mexico0,24
11,05%
0,34
Normalized
% Q3
12,74%
0,24
citation in Q3
14,99%
0,23
17,47%
0,32
18,65%
0,20
21,25%
0,29
16,33%
0,19
24,07%
0,28
26,81% Mexico0,29
27,88%
0,34
Normalized
% Q2
32,00% citation in Q2
0,34
30,57%
0,34
39,41%
0,51
26,46%
0,34
37,70%
0,56
27,87%
0,37
38,16%
0,58
Mexico
35,99%
0,62
Normalized
37,22%
0,60
% Q1
citation in Q1
29,85%
0,72
28,89%
0,66
46,95%
1,09
30,68%
0,71
45,76%
1,15
30,00%
0,71
39,74%
1,23
37,53%
1,27
37,34%
1,32
36,66%
1,35
34,69%
1,50
33,59%
1,42
35,98%
1,65
6,36%
0,57
7,74%
0,31
6,55% Argentina
0,24
9,41%
0,31
Normalized
% Q3
11,63%
0,23
citation in Q3
13,05%
0,23
18,30%
0,28
14,99%
0,21
17,64%
0,30
13,73%
0,25
17,11%
0,35
23,20%Argentina
0,33
21,74%
0,43
Normalized
% Q2
24,62% citation in Q2
0,47
25,31%
0,42
37,88%
0,63
24,15%
0,42
39,31%
0,65
26,24%
0,39
39,81%
0,63
Argentina
38,64%
0,73
Normalized
41,57%
0,67
% Q1
citation in Q1
34,58%
0,74
34,49%
0,69
53,04%
1,21
33,39%
0,73
54,68%
1,25
33,30%
0,70
51,58%
1,24
49,34%
1,41
47,08%
1,39
46,46%
1,52
44,01%
1,53
42,76%
1,46
44,32%
1,75
5,47%
0,60
7,30%
0,81
9,04% Chile 0,24
11,25%
0,34
Normalized
% Q3
14,67%
0,37
citation in Q3
14,60%
0,29
16,29%
0,41
17,35%
0,35
16,91%
0,37
19,17%
0,24
19,88%
0,38
25,82% Chile 0,40
29,07%
0,35
Normalized
% Q2
28,00% citation in Q2
0,48
30,23%
0,42
30,84%
0,70
23,66%
0,39
38,49%
0,68
23,49%
0,43
37,70%
0,69
Chile
36,56%
0,76
Normalized
34,87%
0,72
% Q1
citation in Q1
32,27%
0,81
31,06%
0,68
60,19%
1,29
33,41%
0,71
53,66%
1,39
31,26%
0,75
50,23%
1,33
43,92%
1,39
43,71%
1,42
41,47%
1,39
40,49%
1,53
40,77%
1,48
42,93%
1,75
8,33%
0,43
9,34%
0,23
8,23% Colombia
0,23
14,70%
0,24
Normalized
% Q3
25,27%
0,17
citation in Q3
27,74%
0,15
23,65%
0,38
29,58%
0,14
28,31%
0,26
25,96%
0,19
27,43%
0,30
32,39%Colombia
0,26
35,76%
0,35
Normalized
% Q2
32,14% citation in Q2
0,44
34,10%
0,31
42,44%
0,55
26,75%
0,29
38,53%
0,50
26,58%
0,33
33,16%
0,63
Colombia
39,00%
0,79
Normalized
33,82%
0,65
% Q1
citation in Q1
26,91%
0,89
22,90%
0,80
46,65%
1,25
22,05%
0,85
41,18%
1,34
23,67%
0,81
44,56%
1,43
34,44%
1,59
33,77%
1,77
28,69%
1,52
25,62%
1,59
24,77%
1,77
27,50%
2,34
Sin cuartil, por debajo de estos impactos normalizados
Fuente: SCImago Institutions Ranking. Fuente de datos: Scopus.

20. Hallazgos Prestigio de la colección SciELO
5
1
2
6
3
4
Distribución porcentual de revistas Red-Scielo por cuartil - 2011
Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO

21. Hallazgos Prestigio de la colección SciELO
Q1
Q2
Q3
Q4
Sin Q
Rank
1,1%
7,8%
14,4%
76,7%
5
2,4%
8,3%
26,6%
30,6%
1,1%
8,0%
23,9%
36,4%
30,7%
2
Colombia
0,8%
6,5%
22,0%
70,7%
6
México
5,9%
9,9%
15,8%
68,3%
3
Venezuela
5,8%
7,7%
40,4%
46,2%
4
Argentina
5
Brasil
Chile
1
2
6
3
32,1%
1
4
Distribución porcentual de revistas Red-Scielo por cuartil - 2011
Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO

22. Resultados Impacto de la colección SciELO
n
∑ SNIP
2011
media
Argentina
32
6,360
0,20
0,16
78,71
Brasil
215
96,226
0,45
0,35
Chile
57
19,780
0,35
Colombia
38
1,165
México
54
Venezuela
36
desviación coeficiente
mediana
estandar
variación
Moda
Rank
0,2
0,1
4
77,32
0,4
0,0
1
0,25
71,16
0,3
0,0
2
0,03
0,02
73,62
0,0
0,0
6
12,431
0,23
0,21
92,53
0,1
0,0
3
5,194
0,14
0,19
132,71
0,4
0,0
5
Comparación de SNIP 2011 medio de colecciones Red-SciELO
Fuente: Scopus Master List Feb.2012; SCImago Journal & Country Rank; Red-SciELO
Created by Professor Henk Moed at CTWS, University of
Leiden, Source-Normalized Impact per Paper (SNIP) measures
contextual citation impact by weighting citations based on the total
number of citations in a subject field. It is defined as the ratio of a
journal’s citation count per paper and the citation potential in its
subject field. It aims to allow direct comparison of sources in different
subject fields. Fuente: JournalM3trics. http://www.journalmetrics.com/snip.php Consultado el

23. Hallazgos
Se confirma que SciELO-Chile es reconocido por
gestores de políticas públicas, directivos
universitarios y editores científicos, como un sello
de calidad.
Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.

24. Conclusiones
҉ Mientras en el mundo el 11% de la producción científica fue
comunica en revistas OA, en Chile fue el 24,8%.
҉ SciELO-Chile, si bien es comprensivo, a nivel de artículos
mantiene una especialización temática en medicina y una
parte significativa de las revistas son de ciencias sociales.
҉ Algunas revistas que se internacionalizan, logran desempeños
por encima de su comunidad disciplinaria local,
favoreciendo su desarrollo.
҉ Existe una proporción significativa de títulos que no alcanzan
cuartil, mostrando estos un desempeño periférico.
҉ Las mejores colecciones SciELO son las de Brasil y Chile.
҉ El prestigio y el impacto no son homogéneos en la Red-SciELO.
҉ SciELO-Chile es reconocido como un sello de calidad.
Fuente: Estudio de impacto de SciELO-Chile . Informe final. Noviembre 2012.

25. Desafíos – SciELO Chile
Revistas indexadas en SciELO- Chile
• Incrementar los niveles de calidad.
• Fortalecer la profesionalización de los editores.
• Internacionalizar las revistas:
idioma, autores, evaluadores, lectores.
• Diversificar los modelos de negocios.
• Fortalecer los canales de comunicación de confianza.

26. Desafíos – SciELO-Chile
Asociado a la gestión en CONICYT
• Mejorar el impacto de las revistas actualmente
indexadas en SciELO Chile.
• Fortalecer la cadena de producción con
plataformas de edición científica, que agilicen la
evaluación y la publicación oportuna. (extracción
de datos , web services, revistas editadas en OJS)
etc.)

27. Desafíos SciELO-Chile
Asociado a la gestión en CONICYT
• Potenciar la formación de editores profesionales.
• Medir consumo de información, y no satisfacción o
demanda.
• Implementar métricas que no estén solo enfocadas a
la citación. (visión global de la colección )
• Incorporar proceso de auditorías y control de calidad
a las revistas para eliminar malas prácticas como:
exceso de auto citación, y criterios que afectan a la
visibilidad de la revista y se alejan de la calidad exigida
por SciELO.

28. Desafíos SciELO-Chile
Asociado a la gestión en CONICYT
• Generar código de ética nacional que permita una
actuación única frente a conductas inadecuadas de
autores o editores (ej. COPE).
• Servicio para la evaluación de pares, Base de datos
de investigadores y evaluadores nacionales e
internacionales.
• Diseñar e implementar plataforma de SciELO-Chile
Datos, Acceso, preservación y transparencia de los
datos de investigación utilizados en los artículos
publicados en SciELO-Chile.

29. Parabéns SciELO
Patricia Muñoz-Palma
Programa de Información Científica – CONICYT – Chile
Atilio Bustos-González, SCImago Lab – España
Pontificia Universidad Católica de Valparaíso – Chile