1. Estadísticas e Indicadores para la Evaluación
de Colecciones y Servicios de Información
Digital
Ing. Laureano Felipe GómezIng. Laureano Felipe Gómez
felipe.gomez3@gmail.comfelipe.gomez3@gmail.com
Programa de Sistemas de InformaciónPrograma de Sistemas de Información
Universidad de la SalleUniversidad de la Salle
X Coloquio Internacional sobre
Tecnologías Aplicadas a los
Servicios de Información
San Cristóbal, Venezuela
17-19 de Noviembre de 2010
2.
3. Plan de Trabajo
• Introducción
• Recursos Electrónicos /
Digitales
• ERM y ERMS
(Electronic Resources
Management Systems)
• Proyecto Counter
• Norma ANSI/NISO
Z39.93-2007 / Sushi
4. ¡El Mundo es Digital….
…Y la Biblioteca También!!!
5. 5
• e-Journals
• e-Books
• Reference databases
• Full-text databases
• BIDI y REDI
• Wiki / Blog / Tags Contents 2.0
• Audio & Image
• Movies & Series
Múltiples Recursos Digitales
7. Bibliotecas en la Sociedad de la
Información y el Conocimiento
• Las Bibliotecas son (deberían) una
de las instituciones/instrumentos
esenciales Sociedad de la
Información y el Conocimiento.
• Deben ser instituciones de
servicio orientadas a la calidad y la
excelencia
• Por tanto, es necesario contar con
información sobre Estadísticas e
Indicadores Estratégicos que nos
hablen de su desempeño.
8. Estadísticas e Indicadores
Estadísticas / Indicadores
• Medición tangible de la utilidad de los recursos y
servicios informativos.
– Cuantitativos / Cualitativos
Estadísticas Indicadores
Calidad
9. • Los datos cuantitativos y cualitativos
acerca de los servicios bibliotecarios y el uso
que de ellos hacen los usuarios son
fundamentales para confirmar el valor de
las bibliotecas.
• Las estadísticas de la biblioteca son
necesarias para la gestión eficaz de las
bibliotecas y para la orientación de los
recursos a las necesidades de la usuarios.
• Son aún más importantes para la
promoción de los servicios bibliotecarios
a las diferentes partes interesadas.
• El valor informativo de estas
estadísticas está en función de su
cobertura, pero también de su
oportunidad.
Manifiesto de IFLA sobre
estadísticas en bibliotecas (2010)
10. Importancia de las Estadísticas /
Indicadores
• La posibilidad de contar con el
material necesario
(calidad/cantidad) para nuestros
usuarios
• Llevar un adecuado seguimiento de
objetivos y planes estratégicos
• Determinar rendimiento de recursos
invertidos (ROI)
• Procesos de “Benchmarking”,
Autoevaluación y Evaluación
externa con propósitos de
acreditación y certificación.
11. ¿Qué Medir y Analizar?
• Desarrollo de las colecciones digitales (Internas y
Externas).
• Productos y Servicios de Información.
• Infraestructura Física, Informática y de
Telecomunicaciones
• Recursos Humanos
• Acceso, Uso y Visibilidad de los contenidos
propios
SATISFACCIÓN
DEL USUARIO
SATISFACCIÓN
DEL USUARIO
14. Proyecto COUNTER
• “COUNTER “(Counting Online Usage of
Networked Electronic Resources)
• Iniciativa internacional que permite mejorar la
fiabilidad de las estadísticas de uso de
recursos online.
• Ofrece Códigos de Buenas Prácticas
• Versión 3 de 2008
Counter Compliant List
15. Proyecto COUNTER
• Organización Sin Animo de Lucro que incluye
Bibliotecas, Editores, Agregadores y
Productores de Contenidos Digital
• Busca establecer una normalización en el
uso de las estadísticas
– Cómo son elaboradas
– Cómo son reportadas / Diseminadas /
Compartidas
• Busca que los datos generados sean:
“Consistentes, Creíbles y Comparables”
16.
17. COUNTER Código de Buenas
Prácticas
• El Código de Buenas Prácticas
Incluye:
– Terminología
– Modelos y Formatos de los
Reportes Estadísticos
– Formas de Generar y Procesar
los datos
– Mecanismos de Intercambio de
Reportes
http://www.projectcounter
.org/code_practice.html
19. Estadísticas COUNTER
Estadísticas para Revistas:
• JR1 Número de peticiones exitosas de artículos texto
completo por mes y revista
• JR1a Número de peticiones exitosas de artículos texto
completo por mes y revista (Revistas Selectas /
Archivo)
• JR2 Número de sesiones rechazadas por mes y revista
• JR3 Número de peticiones de ítem exitosas y sesiones
rechazadas por mes, revista-e y tipo (PDF, HTML)
• JR4 Número total de búsquedas por mes y servicio
• JR5 Número de peticiones exitosas de artículos texto
completo por año y revista
21. Estadísticas COUNTER
Estadísticas para Bases de Datos:
• DR1 Número total de búsquedas y sesiones por mes y
Base de Datos (Detallando los accesos por medio de
Metabuscadores y Agentes/Sistemas Automatizados de
Búsqueda)
• DR2 Número de sesiones rechazadas por mes y Base
de Datos
• JR3 Número de peticiones de ítem exitosas y sesiones
rechazadas por mes, revista-e y tipo (PDF, HTML)
23. Estadísticas COUNTER
Estadísticas para Consorcios:
• CR1 Número de peticiones exitosas de artículos texto
completo de artículos de revista ó capítulos de libros
por mes (Solo XML)
• CR2 Número total de búsquedas por mes y servicio
(Dónde Servicio puede ser Búsqueda Simple,
Avanzada, Gráfica, Por Navegación en Diferentes
Campos de Metadatos).
24. Estadísticas COUNTER
*Estadísticas para Libros y Documentos de Referencia:
• BR1 Número de peticiones exitosas de libros en texto
completo por mes y título de libro
• BR2 Número de peticiones exitosas de
secciones/capítulos de libros en texto completo por mes
y título de libro
• BR3 Número de sesiones rechazadas por mes y título de
libro
• BR4 Número de sesiones rechazadas por mes y servicio
asociado al libro
• BR5 Número total de búsquedas por mes y título de libro
• BR5 Número total de búsquedas por mes y servicio
asociado al libro
41. Flujos de Adquisición/Evaluación
de Recursos Digitales
SourcingSourcing
Trial processTrial process Technical
Evaluation
Technical
Evaluation
License
negotiation
License
negotiation
AcquisitionsAcquisitions
ImplementationImplementation
MaintenanceMaintenance
Review &
Evaluation
Review &
Evaluation
42. Los ERM La Visión
“Un Sistema que soporte la administración de los
recursos de información y sus flujos
documentales asociados necesarios para
eficientemente seleccionar, evaluar adquirir,
mantener, renovar/cancelar y proveer
detalladamente información sobre el acceso a
estos recursos en concordancia con su modelo de
negocio y licenciamiento”
- Ivy Anderson, Robin Wendler
(Harvard University Library) and
Ellen Duranceau (MIT Libraries)
43. • ERM (Electronic Resource Management /
Administración de Recursos Electrónicos )
• Los Sistemas ERM son un lugar central de
información sobre recursos electrónicos
• Manejan La inclusión de información
sobre los costos de los recursos
electrónicos
• Se utilizan para ayudar a tomar decisiones
basadas en el valor de los recursos y el
retorno de la inversión
• Incluye un análisis de costos (costo por
uso y la métrica de coste por búsqueda)
Electronic Resource
Management ERM
51. Aplicando Normas,
Recomendaciones y Estándares
• Automatizando Estadisticas: COUNTER and
SUSHI
• Construyendo Bases de Conocimiento: KBART
• Intercambio Costos de Recursos: NISO CORE
• Identificando Instituciones Documentales: I2
• Resolviendo Enlaces: OpenURL
• Datos sobre Existencias Seriadas: ONIX
SOH/SPS/SRN
• Términos de Licenciamiento: ONIX PL
• Metabúsqueda: OAI, SRU/SRW, RSS/ATOM
• Intercambiando Datos/Objetos ODATA, OAI-ORE
52. SUSHI
• Standardized Usage Statistics
Harvesting Initiative
http://www.niso.org/workrooms/sus
hi
• Norma ANSI/NISO Z39.93 de 2007
• Modelo para Automatización e
Intercambio (recolección)
automática de estadísticas
• Basado en Servicios Web y XML
• Versión Actual: SUSHI 1.6,
COUNTER 3.0
56. Biblioteca
Costo /USO
ROI
Proveedor
Site 1
Proveedor
Site 1
Proveedor
Site 2
Proveedor
Site 2
Integrador
Site 1
Integrador
Site 1
ERMERM
Colección
Digital
Adquisiciones
AgenteAgente
Sistema de
Adquisiciones
Sistema de
Adquisiciones
ConsorcioConsorcio
OtrosOtros
Base de
Conocimiento
ILS
Integrando TODO
58. ¿Preguntas?
Gracias - Thanks
Merci - Danke
Obrigado - Arigato
Grazie - Tack
Laureano Felipe Gómez Dueñas
Universidad de La Salle
felipe.gomez3@gmail.com
laureanofg@hotmail.com
59.
60. 60
What is an ERM?
Intersects products and workflows in the overall architecture
of every system managed by the Library…and beyond
e-Resource Management System
Library
Mgmt
System
Finance
Link
Server
e-
Collections
A-Z
lists
Virtual
Learning
Environment
Library
Portal
Other
systems
Notas del editor
Reconocimiento 2.5 Colombia
Usted es libre de:
copiar, distribuir y comunicar públicamente la obra
hacer obras derivadas
Bajo las condiciones siguientes:
Reconocimiento. Debe reconocer los créditos de la obra de la manera especificada por el autor o el licenciador (pero no de una manera que sugiera que tiene su apoyo o apoyan el uso que hace de su obra).
Al reutilizar o distribuir la obra, tiene que dejar bien claro los términos de la licencia de esta obra.
Alguna de estas condiciones puede no aplicarse si se obtiene el permiso del titular de los derechos de autor
Nada en esta licencia menoscaba o restringe los derechos morales del autor.
Advertencia
Los derechos derivados de usos legítimos u otras limitaciones reconocidas por ley no se ven afectados por lo anterior.
Esto es un resumen fácilmente legible del texto legal (la licencia completa).
Las TICS han revolucionado nuestras vidas
La digitalización de la información ha creado una nueva realidad
La manipulación de la información es supremamente sencilla y económica.
Infinita variedad de nuevas posibilidades para crear y manipular contenidos
Aumentando el potencial creativo e innovador de las personas.
Mayor dificultad para controlar el uso y la difusión que se le da a estos contenidos.
Caso Bibliotecas de los Estados UNIDOS
Casos libros electronicos
Caso encarta- Wikipedia, Internet2
Crecimiento Exponencial de los Recursos Digitales
“Los indicadores son estadísticas, serie estadística o cualquier forma de indicación que nos facilita estudiar dónde estamos y hacia dónde nos dirigimos con respecto a determinados objetivos y metas, así como evaluar programas específicos y determinar su impacto”.
La estadística ha sido la ciencia que se ha dedicado a la reunión de todos los hechos que se pueden valorar de forma numérica para hacer comparaciones entre las cifras y sacar conclusiones aplicando la teoría de las probabilidades
Un indicador no es, o no debería ser, una estadística pura. Podemos decir que un indicador es una estadística que ha sido procesada con el fin de entregar información específica
Un indicador es más que un dato: es una herramienta diseñada a partir de datos que le dan sentido y facilitan la comprensión de la información. Un indicador debe ser una información sintética que oriente sobre dónde se está respecto a cierta política y que ayude a los responsables políticas en la toma de decisiones.
To inform renewal decisions Overall use Cost-per-use Support cancellation decisions
Generally manage e-resources and the tools and programs that support them
Cantidad de documentos digitales
Tipologías Documentales (Libros / revistas / Videos / Audio / Software / Animaciones / Sitios / Objetos)
Formas de adquisición (Compra / Canje / Donación / Dep. Legal)
Lugar de creación (Interno / Externo)
Cantidad de Fuentes/Sistemas de Información de información
Tipo de Recurso: Interno / Externo
De Pago / Acceso Abierto / Dominio Público
Libros, Revistas, Artículos / Podcast / VideoCast / Repositorios / Blogs / Wikis, etc..
Productos
Monografías
Publicaciones seriadas
Bibliografías retrospectivas
Artículos científicos y tecnológicos
Memorias de eventos
Materiales educacionales
Informes para ejecutivos
Bases de datos y directorios
Multimedia
Software
Otros
Servicios
Sala de lectura
Préstamo externo
Préstamo interbibliotecario
Referencia
Organización de eventos
Extensión bibliotecaria
Traducciones
Corrección de bibliografía
Diseminación Selectiva de la Información
Hojas informativas
Cursos y entrenamientos
Búsqueda de información en Internet
Copia de documento en formato impreso.
Copia de documento en formato electrónico
Hardware y Software
Cantidad de Equipos de Computo (Biblioteca / Universidad)
Cantidad de Periféricos (Escáner / Impresoras / Organeta/ Webcam / Audífono)
Cantidad de Dispositivos Especializados (E-Reader / Netbook / Tabletas)
Telecomunicaciones
Ancho de Banda Internet / Intranet
Uso Equipos (Videoconferencia)
Categoría ocupacional (Directivo, Administrativo, Servicios Generales, etc..)
Nivel Educativo (Bachiller, Técnico Profesional, Tecnólogo, Profesional(Pregrado), Especialización, Maestría, Doctorado, etc..)
Rol/ Área (Adquisiciones, Procesos Técnicos, Servicios, Soporte Técnico, etc..)
The first Code of Practice was released in January 2003 and has been adopted by the major publishers and a lot of the smaller ones. As we learned what makes a useful report and better understand some of our mistakes, the reports were modified and COUNTER 2 was released in Jan 2006. All publishers need to apply for COUNTER 2 compliancy or be removed from the compliancy list.
The revised code of practice addresses some vague terminology, and more rigorously defines the layout and format of the reports, the processing of usage data, and the delivery of reports. I’ll show some examples in just a minute.
The “consistency” goal is achieved by creating very explicit standards for how reports are presented.
Not much is left to interpretation or imagination in the latest COUNTER release. All cells in the report are defined and described so there is no question on what goes into them. The main impetus for this change was the development of electronic management systems for libraries that could ingest these reports.
Here is an example of a Journal Report. I have highlighted the required metadata in the top left-hand corner that needs to preceed the report. This includes when the report was run.
You will notice that there is a distinction between the Publisher and the Platform. This is not a concern for most publishers, but is a concern for an aggregator like EBSCO Host or ProQuest. Services like HighWire, Ingenta and Metapress also host multiple publishers on a single platform.
The other distinction is that yearly totals come in three flavors:
A simple yearly total for all fulltext requests, and two additional columns that divide up HTML requests from PDF requests. The rationale for this was that some publishers provide multiple format versions of the same article and that readers tend to browse an HTML version before downloading the PDF version of the same article. Without breaking these two formats down, it would have been difficult to compare the usage of a publisher that provided both versions with another that provided only say PDF.
Book Report 1 Number of successful requests by month and title
Book Report 2 Number of successful section requests by month and title
Book Report 3 Turnaways by month and title
Book Report 4 Turnaways by month and service
Book Report 5 Total searches and sessions by month and title
Book Report 6 Total searches and sessions by month and service
Diapositiva Tomada de: José Antonio Yáñez (Director. OCLC México). Reflejo del aprovechamiento y desempeño de sus servicios contratados.. ALCI 2010. Boca de Rio, Sep. 24 de 2010.
Veracruz
Proposito de los ERM
Determine and track the value of a resource
Usage statistics
Renew the best, cancel the worst
Based on more than usage vs. cost
Support research ventures and new academic programs
Little or no objective data available
Add most requested (e.g. ILL) resources
Are copyright fees exceeding annual journal costs?
Tomado de: Can We Build It? Yes, We Can!Building an ERM solution at the University of Notre Dame
Robin Malott, Benjamin Heet
ER&L 2010
University of Notre Dame
Serials ONIX: http://www.editeur.org/onixserials.html
XML standard for data exchange between agents, publishers and Electronic Resource Management (ERM) systems. Includes:
Serials Holdings Information (A-Z information)
Serials Release Notification (new issues)
Serials Products and Subscriptions
Licensing Criteria – ONIX Publisher License Format Subscription details, title lists and pricing
Populate ERM fields
SOH (Serials Online Holdings) is a format for communicating electronic serials holdings details from publication access management systems to user libraries.
ONIX for Publications Licenses (ONIX-PL) is part of a family of XML formats for the communication of licensing terms under the generic name ONIX for Licensing Terms. ONIX-PL is specialized to handle the licenses under which libraries and other institutions use digital resources, particularly but by no means exclusively electronic journals. It builds on the work of the Digital Library Federation's Electronic Resource Management Initiative (ERMI) and the joint EDItEUR/NISO work on ONIX for Serials, and has benefited from funding contributions from the UK Publishers Licensing Society (PLS) and the Joint Information Systems Committee (JISC).
ONIX SPS (Serials Products and Subscriptions), which provides information about a product--including for instance, price catalogs from publishers to agents or price quotes to libraries--that can be helpful not only in evaluating packages but also in helping a library to identify all the titles that it receives from a particular vendor for collection management purposes;
ONIX SOH (Serials Online Holdings), which allows publishers and content providers to communicate library-specific, detailed holdings information from publications access management systems to libraries;
ONIX SRN (Serials Release Notification), which can work not only at the issue level but also for articles to alert libraries about the print publication as well as electronic availability of items to assist in claiming and with link resolver access.
ONIX for Licensing TermsONIX for Licensing Terms (OLT) is the generic name for the most recent addition to the ONIX family. Built on a consistent underlying model of rights and usages, OLT formats are specialised to the needs of different user groups and applications.ONIX-PLONIX for Publications Licenses (ONIX-PL) is intended to support the licensing of electronic resources – such as online journals and ebooks – to academic and corporate libraries.
The NISO CORE (Cost of Resource Exchange) standard will
eventually automate the workflow of merging cost data
to create a true machine‐to‐machine process. In the
meantime, librarians can take advantage of the 360
Resource Manager Cost Data Import Tool for extracting
and sharing e‐resource cost data
NISO Z39.95 - CORE (Cost of Resource Exchange)
KBART is a joint initiative (with NISO) that is exploring data problems within
the OpenURL supply chain.
Descripción: Un link resolver (gestor de enlaces) es una herramienta que ayuda a los usuarios a conectarse a la colección de recursos electrónicos de sus instituciones. La información se almacena en una base de conocimientos y la calidad de ésta depende en gran medida de los datos que los proveedores de contenido (editores, distribuidores, etc.) envían al desarrollador de dicha base de datos, que a menudo se ve afectada por la propagación de errores que la información contiene. Además, dado que no existe un formato estándar para esos datos, sus desarrolladores deben dedicar mucho esfuerzo a la conversión de listas de títulos de diferentes proveedores a un formato único, lo que puede filtrar errores adicionales o hacer difícil la verificación de errores. La NISO / UKSG KBART Recommended Practice recomienda algunos de los mejores modelos a seguir para el formato y la distribución de listas de títulos. Al hacer pequeños ajustes en el formato de sus listas de títulos, los proveedores de contenido tienen la posibilidad de aumentar la accesibilidad de sus productos. Estas recomendaciones están diseñadas para trabajar de forma intuitiva y son fáciles de implementar por parte de los proveedores, y fácil de procesar por los desarrolladores de las bases de datos.
The title lists come from the content providers. The knowledge base vendor will either receive a file listing the titles, or they may have to read the list from the content providers marketing site.