SciPaperRanking

Ranking de articulos cient´ıficos
Batista, González, Toglia
Universidad Central de Venezuela
Tópicos avanzados en Ciencia de Datos
August 4, 2015
Batista, González, Toglia (UCV) Ranking de articulos cient´ıficos August 4, 2015 1 / 36

Contenido
1 Antecedentes
2 M´etricas
3 How popular is your paper?
4 Principales enfoques
PageRank
CiteRank
NonlinearRank
TimeRank
5 Conclusiones
”...More work is urgently needed
on the problem of determining
whether there is a probability
that the more a paper is cited the
more likely it is to be cited
thereafter. It seems to me that
further work in this area might
well lead to the discovery that
classic papers...”
Derek J. de Solla Price (1965)
Network of Scientiﬁc Papers

Antecedentes
Antecedentes
Gross
”...What ﬁles of scientiﬁc periodicals are needed in a collegue library
successfully to prepare the student for advanced work?...”1
1
P. L. K. Gross, E. M. Gross (1927)
College libraries and Chemical education

Antecedentes
Antecedentes
Garfield
”...From these data it can be
calculated that 95% were
cited one to three times....”
E. Garfield and I. H. Sher (1962)
New Factors in the Evaluation of
Scientific Literature, Through
Citation Indexing
Figure: Porcentaje de referencias en
aprox. 326,000 citas vs. número de
veces citado.

Antecedentes
Antecedentes
Price
”...First let me say something of the incidence of of reference in serial
publications. On the average, there are about 15 reference per paper...”
Derek J. de Solla Price (1965) Network of Scientiﬁc Papers

Antecedentes
Antecedentes
Price
Otras caracter´ısticas:
Para n grande el número de art´ıculos citados parece decrecer a n2.5 o
n3.0
El mayor alcance de un art´ıculo termina máximo a 10 años de su
publicación.
Los art´ıculos mas citados son mas recientes que los menos citados.

Métricas
Métricas
Proceso Peer-Review 2
2
http://study.com/what-is-peer-review-in-science-definition-process-examples.html

Métricas
Métricas
Indicadores a nivel de revistas cient´ıficas
A nivel de Revistas Cient´ıficas:
Impact Factor
Cada año, el impact factor de una revistas cient´ıfica se calcula como el
promedio del número de citas recibidas por paper publicado durante los
dos años anteriores.
Eigenfactor
Inspirado en PageRank, calcula la importancia de las revistas cient´ıficas
considerando el número de citas entrantes. Las citas que provienen de
revistas importantes pesan más comparadas con aquellas que provienen de
revistas menos importantes.

Métricas
Métricas
Indicadores a nivel de investigadores
A nivel de Investigadores:
h - index
Un cient´ıfico tiene un h-index h si h de sus N papers tienen al menos h
citas cada uno, y los otros (N-h) papers no tienen mas de h citas cada
uno.
g - index
Dado un conjunto de papers ordenados decrecientemente por el número de
citas recibidas, el g-index es el número mayor considerando que los
primeros g papers recibieron en conjunto al menos g2 citas.

Métricas
Métricas
Indicadores alternativos
A nivel de Art´ıculos Cient´ıficos (alt-metrics):
Métricas alternativas
Son métricas no tradicionales basadas principalmente en el número de
vistas HTML, descargas, comentarios, tweets, recomendaciones y de más
data proveniente del social media.

How popular is your paper?
Motivación
Basada en las publicaciones de los 1120 f´ısicos mas citados para la época
de 1981 hasta junio de 1997
Estudio empir´ıco basado en :
1) Ley de Zipf.
A partir de esta ley y en sus gráficos se hallaron todas las relaciones.

Motivación
2) Distribución log-normal .
La distribución de citas esta descrita por una ley de potencias con α = 3 .

Principales enfoques PageRank
PageRank
Motivación
¿Podemos determinar qué tan influyente es una publicación basándonos
únicamente en el número de citas recibidas?
Existen dos problemas evidentes con este método:
1) No todas las citas son iguales.
Al tratar a todas las citas como iguales, se ignora la importancia de la
publicación que realiza la cita.
2) Es injusto con las nuevas publicaciones.
Las publicaciones más antiguas siempre tendrán más citas entrantes que
las publicaciones más jóvenes.

PageRank
Una nueva alternativa
PageRank3, simulando el tráfico aleatorio en una red de citas, calcula la
importancia de las publicaciones considerando dos factores importantes:
1) No todas las citas son iguales.
El efecto de recibir una cita de una publicación importante es mayor que
el de recibir una cita de una publicación menos popular.
2) Aporte equitativo entre el número de referencias.
El efecto de recibir una cita de una publicación que posee una larga lista
de referencias, es menor al de recibir una cita de una publicación con una
lista corta de referencias.
3
Finding scientific gems with Google’s PageRank algorithm. (Junio 2006).

PageRank
Ajustando par´ametros
Google PageRank:
Gi = (1 − d)
j nn i
Gi
kj
+
d
N
Web: d = 1/6 0.15
Red de citas: d = 1/2 0.5

PageRank
Resultados
Figure: Izquierda. N´umero Google promedio G(k) vs n´umero de citas k.
Derecha. Publicaciones individuales at´ıpicas.

PageRank
Resultados
Figure: Top - 10 de las publicaciones de la familia de journals Physical Review
[1893-2003] usando PageRank (d = 0.5).

PageRank
Conclusiones
Mecanismos basados en el algoritmo PageRank proveen una
extensión significativa a los métodos tradicionales para cuantificar el
impacto de las publicaciones cient´ıficas.
PageRank resulta útil para encontrar publicaciones importantes a lo
largo del tiempo, por lo que se le considera como un “Premio a la
Trayectoria”.
Son necesarios mecanismos útiles para calcular el impacto de las
publicaciones cient´ıficas recientes para poder determinar que
dirección está tomando un cada campo de investigación espec´fico.

Principales enfoques CiteRank
CiteRank
Motivación
Existen notables diferencias entre la web y las redes de citas que sugieren
que el algoritmo PageRank debe ser modificado para cumplir con el
objetivo. Entre las cuales destacan:
1) Las citas no pueden ser modificadas después de la publicación.
En consecuencia, el efecto de envejecimiento en las redes de citas son
más pronunciados que en la web.
2) Un paper solo puede citar publicaciones anteriores.
El caráracter lineal del tiempo presente en la topolog´ıa de las redes de
citas altera las propiedades de la matriz de adyacencia.

CiteRank
Motivaci´on
Figure: Izquierda. Efecto de envejecimiento. Derecha. Linealidad temporal.

CiteRank
Motivación
3) Un “cient´ıfico” caminante aleatorio no comienza su investigación en
una publicación cualquiera seleccionada aleatoriamente.
Los investigadores t´ıpicamente comienzan a navegar entre publicaciones
cientif´ıcas desde una publicación reciente que atrapa su atención.
CiteRank4: modelo de tráfico sobre redes de citas que simula la
dinámica de un gran número de investigadores buscando nueva
información.
“Cada investigador, independientemente, se asume que comienza su
investigación desde un paper reciente y luego sigue una cadena de citas
hasta estar satisfecho”.
4
Ranking Scientific Publications Using a Simple Model of Network Traffic.
(Diciembre 2006).

CiteRank
Modelo y Fórmula
Parámetros del modelo:
Ti = (τdir , α)
Ti = tráfico sobre un paper espec´ıfico i.
τdir = edad promedio del paper inicial.
α = probabilidad de que el investigador se detenga.
Tráfico sobre un paper espec´ıfico (CiteRank) se define como:
La probabilidad de encontrarlo en una cadena de citas de cualquier
longitud.
T = I · p + (1 − α)W · p + (1 − α)2
W 2
· p + ...
Wij = matriz de adyacencia.
pi = probabilidad iniciar la investigación en el iesimo paper.

CiteRank
C´alculo del CiteRank
Figure: CiteRank y el “cient´ıﬁco” caminante aleatorio.

CiteRank

CiteRank
Resultados
Figure: CiteRank vs PageRank. Calculado sobre todos los papers de la red
PhyRev.

CiteRank
Conclusiones
La investigación cient´ıfica se basa en los avances recientes. Los
cient´ıficos no comienzan sus búsquedas revisando una publicación
antigua, por lo que no tiene sentido modelar el tráfico de las redes de
citas en la forma en la que lo hace PageRank.
CiteRank pareciera ser más adecuado para el desarrollo de
investigaciones cient´ıficas puesto que proporciona un modelo de
difusión del tráfico en las redes de citas que resulta más útil.
Desde el punto de vista matemático, CiteRank es un modelo más
simple en comparación con PageRank. Lo que tiene sentido si
consideramos que las redes de citas poseen un comportamiento menos
complejo que la web.

Principales enfoques NonlinearRank
El efecto de la no linealidad
Motivación
Es una generalización del método de PageRank.
Al utilizar la función ra´ız permite :
1) Citación de publicaciones.
Las publicaciones que obtengan citas de publicaciones con una puntuación
alta obtendrá una puntuación alta ,Si la publicación tiene muchas
referencias de publicaciones con baja puntuación esto NO aumenta su
puntuación .

Principales enfoques NonlinearRank
El efecto de la no linealidad
Motivación
2) Generalización del PageRank.
Tomando como parámetro θ = 0 obtenemos PageRank
si (t) =
c + (1 − c) N
j=1
Aij
(k)out
j
(1 − δ(k)out
j,0
)(
sj (t−1)
k)out
j,0
)θ+1)
1
θ+1 + 1
N δ(k)out
j,0
sj (t − 1) .

Principales enfoques TimeRank
Time information in Ranking
Yujing Wang, Yunhai Tong Ming Zeng
”...In this paper, we introduce a new approach for ranking scientific
articles. We provide a framework of exploiting differ- ent kinds of
information (including but not restricted to citations, authors, and
journals/conferences) in a heterogeneous network, which benefits from the
PageRank and HITS algorithm collaboratively to estimate the articles
future prestige.”5
5
Yujing Wang, Yunhai Tong Ming Zeng (2013)
Ranking Scientific Articles by Exploiting Citations,
Authors, Journals, and Time Information

Figure: ejemplo de la red propuesta

Time information in Ranking I
Algoritmo propuesto
1 Iniciar el authorative score de los art´ıculos en 1
N p donde N p es el
n´umero total de art´ıculos en la colecci´on
2 Calcular el hub score de los autores en la red art´ıculos-autores.
3 Calcular el hub score de los journal/conferencias por la red de
articulo-journal.
4 Calcular el hub score de los art´ıculos por la red de referencias.

Time information in Ranking II
5 Actualizar el Authority score de los art´ıculos, usando cinco tipos de
información, i.e., el PageRank score propagado de las citas, el puntaje
definido de los autores, el puntaje de journals/conferencias, el puntaje
de los art´ıculos hubs, y el puntaje de tiempo calculado por la fecha de
publicación.
6 Iterar desde el paso 2 al 5 hasta que convergan los
puntajes(experimentalmente la convergencia se considera cuando la
diferencia entre los puntajes es menor a 0.0001)

Data Set Fixed settings Best setting FutureRank CiteRank P-rank
Arxiv 0.7065 0.7093 0.6445 0.6451 0.4635
Cora 0.3931 0.3994 0.3649 0.3682 0.2952
Table: Resultados respecto al TimeRank

Conclusiones
Discusi´on
Preguntas o comentarios?

Conclusiones
Agradecimientos
Gracias!
Presentaci´on
bit.do/RankingPre
C´odigo
bit.do/RankingCode
Art´ıculo
bit.do/RankingArt

SciPaperRanking

Recomendados

Recomendados

Más contenido relacionado

Similar a SciPaperRanking

Similar a SciPaperRanking (20)

Más de Wilmer Gonzalez

Más de Wilmer Gonzalez (7)

Último

Último (7)

SciPaperRanking