Approach to the evaluation of electronic scientific monographs
•Descargar como PPTX, PDF•
1 recomendación•349 vistas
Este documento propone criterios y indicadores para evaluar la calidad de las monografías electrónicas científicas. Identifica dos parámetros clave para la evaluación: contenido y forma. Para el contenido, propone indicadores como la calidad científica, interactividad y actualizaciones. Para la forma, sugiere indicadores como la calidad de edición, legibilidad y accesibilidad. Concluye que es necesario homogeneizar términos, criterios y normas para evaluar mejor la calidad de las monografías y su contribución a la ciencia.
Recomendados
Más contenido relacionado
Similar a Approach to the evaluation of electronic scientific monographs
Similar a Approach to the evaluation of electronic scientific monographs (20)
Más de Technological Ecosystems for Enhancing Multiculturality
Más de Technological Ecosystems for Enhancing Multiculturality (20)
Último
Último (20)
Approach to the evaluation of electronic scientific monographs
- 1. APROXIMACIÓN A LA EVALUACIÓN DE MONOGRAFÍAS ELECTRÓNICAS CIENTÍFICAS Almudena Mangas-Vega Grupo E-lectra Universidad de Salamanca (España) almumvega@usal.es
- 2. INTRODUCCIÓN (I) Panorama cambiante en muchos frentes diferentes pero relacionados: 2 Hábitos: Consumo Uso Creación Difusión Nuevos Ebooks Sistema de evaluación de la ciencia
- 3. INTRODUCCIÓN (II) Observatorio de la Lectura y el Libro. España, 2014. 3 o Hábitos cambiantes: consumo, uso, creación y difusión de la información
- 4. INTRODUCCIÓN (III) o Los “nuevos eBooks” = nuevas posibilidades 4
- 5. INTRODUCCIÓN (IV) o La evaluación de la investigación y la ciencia: Fuente: http://www.interactivefactual.net/ 5
- 6. INTRODUCCIÓN (V) La evaluación de la investigación y la ciencia: 6 Fuente: Trujillo, R.
- 7. PROBLEMAS VS. OBJETIVOS ∄ estándar de calidad ∄ homogeneización de normas ∄ término que identifique claramente a los nuevos eBooks ∄ igualdad en la consideración de las monografías frente a los artículos de revistas al evaluar la ciencia. Análisis de la situación de evaluación de monografías Extraer criterios que se apliquen a las monografías Definir indicadores de calidad de monografías científicas Estándar de calidad para monografías científicas 7
- 8. METODOLOGÍA 8 Revisión bibliográfica • Estándares para monografías digitales • Evaluación de monografías académicas • Indicadores de evaluación de revistas científicas Selección de criterios • Selección • Sistematización Definición de indicadores
- 9. RESULTADOS Y DISCUSIÓN (I) CRITERIOS: 9 CONTENIDO Calidad del contenido Interactividad y multimedia Comunicación Actualizaciones Personalización de la obra Metadatos FORMA Formatos de difusión Calidad de la edición Legibilidad Descubribilidad / encontrabilidad Accesibilidad/ necesidades especiales
- 10. RESULTADOS Y DISCUSIÓN (II) 10 1 CONTENIDO PARÁ M. 1.1Calidad del contenido 1.2Calidad de la edición 1.3Interactividad y multimedia 1.4Comunicación 1.5Actualizacio nes 1.6Personalizaci ón de la obra 1.7Metadatos INDICADORES Calidad científica del producto Agilidad editorial Instrucciones a los autores (creadores de contenido) Mención del cuerpo editorial Mención del comité científico Apertura editorial Apertura institucional de la editorial Internacionalización del comité científico Identificación del proceso editorial Posibilidad de segmentación de la obra Sistema de arbitraje indicado de forma clara Presencia de la obra en servicios de información Elaboración de las referencias bibliográficas (por capítulo y por obra) Indicadores: Posibilidad de segmentación de la obra Gestión de índices Sumario claro e información sobre los autores Posibilidad de multilenguaje Resumen, sumario y palabras clave en varios idiomas Identificación clara de la obra. Tiene contenido enriquecido (vídeo, audio, imágenes, infografías, tablas,…) Posee enlaces (internos a otras partes de la obra y externos) Tiene contenido interactivo Calidad de los elementos multimedia Extimidad Enlace a un lugar específico (web propia de la obra) Enlaces a la web de la editorial Posibilidad de actualizaciones Oferta de distintas versiones y formatos Personalización del contenido (adaptando la obra a los posibles dispositivos) Posibilidad de personalizar en el dispositivo los aspectos del contenido Metadatos correctamente asignados
- 11. RESULTADOS Y DISCUSIÓN (III) Ejemplo: 11
- 12. RESULTADOS Y DISCUSIÓN (IV) 12 2. FORMA PARÁMETRO 2.1. Calidad de la edición 2.2. Formatos de difusión 2.3. Legibilidad 2.4.Descu-bribilidad 2.5. Accesibilidad para personas con necesidades especiales INDICADORES Ausencia de errores Cantidad de formatos ofrecidos Calidad de los formatos ofrecidos Legibilidad Descubribi-lidad Accesibilidad para personas con necesidades especiales
- 13. RESULTADOS Y DISCUSIÓN (V) Ejemplo: 13
- 14. CONCLUSIONES Es necesario homogeneizar (términos, criterios, normas,…) Es necesario evaluar la calidad de las monografías y de sus editoriales. La selección de criterios a evaluar es muy amplia Diversidad de tipos de monografías Mejorar el sistema de evaluación de la ciencia El momento (de actuar) es ahora. 14
- 15. APROXIMACIÓN A LA EVALUACIÓN DE MONOGRAFÍAS ELECTRÓNICAS CIENTÍFICAS Almudena Mangas-Vega Grupo E-lectra Universidad de Salamanca (España) almumvega@usal.es Gracias.
Notas del editor
- En primer lugar me gustaría agradecer a los organizadores del congreso que me hayan brindado la oportunidad de mostrar esta investigación que ha sido el centro de mi trabajo por bastantes meses ya.
- Nadie puede negar que nos encontramos en pleno proceso de cambio, una transición del modelo analógico al digital que afecta a todos los ámbitos de nuestra vida. En esta presentación consideraremos tres aspectos que aunque parecen pertenecer a nichos muy diferentes, se relacionan en nuestro trabajo: Cambios en los hábitos relacionados con la información Los nuevos eBooks El actual sistema de evaluación de la ciencia
- Empecemos con lo que hemos denominado «hábitos cambiantes» La iaparición de los libros electrónicos ha implicado un cambio importante en los hábitos de lectura de los usuarios, cambios que también afectan a los hábitos de consumo y compra y a la manera de crear, promocionar o comentar un libro. Y, obviamente, también en la forma de publicar. Y esto a pesar de que los libros electrónicos tienen muchas más posibilidades que los usuarios reconocen aunque todavía no están siendo explotadas al máximo, quizás por problemas terminológicos o por el exceso de plataformas, dispositivos, aplicaciones… Aún así, como podemos comprobar en el gráfico, en todos los casos de información en formato electrónico, ya sean libros, prensa, revistas o cómics, en todos los casos la lectura electrónica ha aumentado. En estos años hemos utilizado e-readers, luego tabletas, ahora smartphones,…pero la gráfica siempre ha sido ascendente. Y podría ser aún mayor si se aprovechasen a mayor grado las posibilidades que brindan los nuevos eBooks. (Y estos datos reflejan la realidad de la información…»no científica»….)
- Pero a nivel académico se está produciendo una migración mucho más acelerada que en otros ámbitos; De acuerdo a un artículo de Mari Ángeles Pascual, el JIISC en Inglaterra recientemente dijo que el 65 % de los funcionarios y los estudiantes universitarios dicen que usan el libro electrónico como medio de información y apoyo para trabajar. Y en Estados Unidos el mercado de libros electrónicos está madurando rápidamente. No es sorprendente , pues ,que los e-books, y sobre todo los académicos, se estén convirtiendo en la opción de futuro para muchos editores . Datos recientes : El mercado del libro tiene un descenso desde 1994 a 2012 del 11,7%, y un descenso acumulado del 40,6 % a partir de la crisis. Descienden todas las áreas excepto la digital que se mantiene o crece.
- Así pues, las monografías académicas - científicas digitales están ganando terreno en diferentes aspectos: creación, difusión, uso,… en todos excepto en uno que debería tenerse en gran consideración: servir de forma de transferencia del conocimiento y medio de difusión de la investigación. Es algo necesario, y muy interesante, como lo muestra el hecho de que sea una de las vías de trabajo del recién estrenado Consejo Asesor de la UNE. Actualmente, a nivel internacional, y, también a nivel nacional, las monografías son uno de los principales canales de transmisión de la información científica en muchas áreas, especialmente las de Ciencias Sociales y Humanidades. Sin embargo no se ven reflejadas en los sistemas de valoración científica, o si aparecen, lo hacen en desigualdad de condiciones respecto a otro tipo de publicaciones como son las revistas.
- Esta situación se hace especialmente visible en los rankings de calidad de las instituciones académicas, que toman sus datos, como norma general, de las principales bases de datos de literatura científica que, a su vez, ya cuentan con el sesgo al no contemplar en la misma medida a las monografías y a las revistas. Como podemos comprobar en las imágenes: A la izquierda, Web of Science, este año, enero de 2014: ignora las monografías A la derecha: Scopus, considera sólo unas pocas, y sólo de las editoriales de su grupo. Y, como ya hemos dicho, los rankings se basan en estas dos bases de datos.
- Pero, ¿cómo diferenciar las monografías científicas de las que no lo son?, ¿las publicaciones de calidad que merecen ser incluidas en las grandes bases de datos de las que no? Sólo puede lograrse mediante estándares de calidad y homogeneización de normas. Y, si bien es cierto que existen ciertos estándares de calidad (que se usan para otorgar premios a los libros o como guías de buenas prácticas a la hora de editarlos) se reducen casi por completo a evaluar la forma en la que el texto es presentado, no al contenido ni a su funcionalidad. Tampoco se tienen en cuenta las características de los nuevos libros electrónicos, esos que han sido creados digitalmente desde el principio. Y, algo que resulta importante para este trabajo, estas iniciativas se están abordando para obras de narrativa, en ningún momento se están aplicando criterios de calidad a monografías científicas de ningún tipo o formato. El problema, pues, radica en la falta de método y de indicadores claros para medir el prestigio internacional, o el nacional, de una editorial o de sus editores, […] carecemos de indicadores claros y medibles que permitan establecer la calidad, proyección y visibilidad de una editorial. En este trabajo se hace un breve apunte de los pasos seguidos para la consecución de este fin: un estándar de calidad que permita evaluar la calidad de las monografías científicas (y sus editoriales) poniendo el foco en indicadores que puedan ser aplicados a las publicaciones digitales. Para analizar en qué punto se encuentra la evaluación de monografías científicas, se ha realizado un estudio de las iniciativas actuales sobre evaluación de monografías, con el fin de conocer cuál es el estado de la cuestión. Posteriormente, se han revisado los indicadores utilizados para la evaluación de otras publicaciones científicas. Finalmente se han estudiado los criterios de calidad que solicitan algunas editoriales a los autores para la edición de monografías no científicas. De la revisión de estos trabajos se han extraído criterios que se podrán aplicar a la evaluación de las monografías digitales científicas. A partir de los criterios se han desarrollado los indicadores.
- La revisión bibliográfica se centra en tres puntos: - estándares para monografías digitales (electrónicas) - avances en materia de evaluación de la calidad de las monografías académicas y su uso como forma de difusión de la ciencia - indicadores para la evaluación de revistas científicas y su pertinencia para evaluar monografías Estándares para monografías digitales electrónicas En la primera parte, revisión de estándares para libros electrónicos, quien lleva la delantera son Amazon, con su guía de calidad de Kindle Direct Publishing o Digital Book World, mediante recomendaciones y con sus premios The Digital Book Awards, con los que se está intentando conseguir cierto grado de calidad en monografías digitales; aunque, como se ha mencionado antes, en todos los casos se refieren a obras de divulgación y evalúan la presentación y/o la forma; en ningún caso se analiza el contenido. Avances en materia de evaluación de monografías académicas Respecto a los avances en materia de evaluación de monografías académicas y su uso como vía de publicación y difusión de la ciencia, un avance significativo es que desde 2010 CrossRef atribuye DOI a los capítulos de las monografías científicas, lo que favorece su inclusión en sistemas de recuento de citas y su evaluación atendiendo a ciertos indicadores hasta ahora relegados a las revistas A nivel nacional, el grupo EPUC (Evaluación de Publicaciones Científicas) ha presentado una de las propuestas más relevantes. A partir del proyecto de investigación <<Categorización de publicaciones científicas en Humanidades y Ciencias Sociales>>, han establecido un ranking de las editoriales de monografías de esas dos áreas del conocimiento. Dicho ranking se ha basado en la percepción de los especialistas recogida mediante encuestas y difundida a través de la web SPI (Scholary Science Indicator). Esto refleja un punto de vista innovador y útil, pero carente de objetividad y de sistema de indicadores que constituyan una referencia. Indicadores para la evaluación de las revistas científicas Posteriormente se revisaron los criterios de selección de revistas científicas de dos bases de datos de reconocido prestigio: ISI Web of Science (Thomson Reuters) y SCOPUS (Elsevier). Se revisaron las opciones de búsqueda de algunas páginas comerciales que ofrecen todo tipo de monografías como por ejemplo la canadiense Archamboult para determinar qué criterios consideran tan relevantes como para aparecer en un filtrado. Y, al comprobar que no existen suficientes criterios de contenido como para ser aplicados a las monografías científicas y generar un sello de calidad, se han revisado también los principios y orientaciones para la aplicación de los criterios de evaluación de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), los criterios específicos para los diferentes campos de evaluación que marca la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI), las características editoriales para las revistas impresas y digitales que evalúa LATINDEX; confrontando los datos extraídos en el proceso con los ya mencionados criterios de selección de revistas científicas de las bases de datos de mayor relevancia. 2)Posteriormente se hizo la selección y sistematización de los criterios. Y se completó la lista con otros criterios que aunque no aparecián en los trabajos analizados, fueron considerados indispensables. 3) Después de todo este trabajo se definieron de forma detallada cada uno de los indicadores para dichos criterios.
- El panorama encontrado es uno en el que existen ciertos estándares de calidad relacionados con la forma y la presentación de las monografías, pero ninguno relacionado con la calidad del contenido de las mismas, lo que relega a un segundo plano a las monografías científicas como medios de publicación de la ciencia. Se propone, entonces, un primer conjunto de criterios organizados en dos dimensiones – contenido y forma – y susceptibles de ser evaluados en las monografías científicas: CONTENIDO Calidad del contenido Calidad de la edición Interactividad y multimedia Criterios de comunicación Criterios relacionados con actualizaciones Criterios de personalización de la obra Criterios sobre metadatos FORMA: Calidad de la edición Formatos de difusión Legibilidad Descubribilidad / encontrabilidad Accesibilidad para personas con necesidades especiales ----------------------esto sólo para preguntas----------------------- Y se apuntan, para cada uno de ellos, una serie de indicadores que pueden ser medidos en las monografías científicas y en sus editoriales para crear rangos de calidad. 1. CONTENIDO 1.1: calidad del contenido: la editorial cumple los criterios habituales requeridos para las revistas científicas y la monografía ha sido sometida a un sistema de revisión por pares. Indicadores: Calidad científica del producto Agilidad editorial Instrucciones a los autores (creadores de contenido) Mención del cuerpo editorial Mención del comité científico Apertura editorial Apertura institucional de la editorial Internacionalización del comité científico Identificación del proceso editorial Posibilidad de segmentación de la obra Sistema de arbitraje indicado de forma clara Presencia de la obra en servicios de información Elaboración de las referencias bibliográficas (por capítulo y por obra) 1.2: calidad de la edición: la monografía presenta una edición cuidada y posee elementos que le dan un valor añadido al contenido. Indicadores: Posibilidad de segmentación de la obra (Ver punto 1.1.10) Gestión de índices Sumario claro e información sobre los autores Posibilidad de multilenguaje Resumen, sumario y palabras clave en varios idiomas Identificación clara de la obra. 1.3. Parámetro interactividad y multimedia (Criterio específico de las obras digitales): se valora el contenido enriquecido, su variedad y su calidad. Indicadores: Tiene contenido enriquecido (vídeo, audio, imágenes, infografías, tablas,…) Posee enlaces (internos a otras partes de la obra y externos) Tiene contenido interactivo Calidad de los elementos multimedia 1.4. Criterios de comunicación: se valorará que la obra ofrezca al usuario sistemas para compartir sus impresiones o adquirir contenido extra. Indicadores: Extimidad Enlace a un lugar específico (web propia de la obra) Enlaces a la web de la editorial 1.5. Criterios relacionados con actualizaciones: las actualizaciones tienen una gran importancia, especialmente en monografías académicas. Indicadores: Posibilidad de actualizaciones 1.6. Criterios de personalización de la obra: la obra debería estar al día en cuanto a la variedad de formatos y posibilidades de uso. Indicadores: Oferta de distintas versiones y formatos Personalización del contenido (adaptando la obra a los posibles dispositivos) Posibilidad de personalizar en el dispositivo los aspectos del contenido 1.7. Criterios sobre metadatos: se valorará la existencia de metadatos y su buena asignación Indicadores: Metadatos correctamente asignados 2. FORMA: 2.1. Calidad de la edición: la monografía no debe tener errores de forma. Indicadores: Ausencia de errores 2.2. Formatos de difusión: se valorará la variedad de formatos ofrecidos. Indicadores: Cantidad de formatos ofrecidos Calidad de los formatos ofrecidos 2.3. Legibilidad: se evaluará la legibilidad, la funcionalidad, la usabilidad, cualidades todas que afectan a la comodidad para leer el libro. Indicadores: Legibilidad 2.4. Descubribilidad: evaluará la capacidad de la obra para ser descubierta, la facilidad con la que los usuarios llegan a ella. Indicadores: Descubribilidad 2.5. Accesibilidad para personas con necesidades especiales: valorará la existencia de sistemas que mejoren el acceso a la obra de personas con necesidades especiales. Indicadores: Accesibilidad para personas con necesidades especiales
- Perdón por la tabla…era demasiado grande para esta presentación… Lo que yo quería mostrar es que por cada criterio se hán considerado unos parámetros, y por cada parámetro, un grupo de indicadores. Se verá mejor con un ejemplo: ………………………………………… (esto sólo si me sobra tiempo o me preguntan) …………………………………………………………….. 1. CONTENIDO 1.1: calidad del contenido: la editorial cumple los criterios habituales requeridos para las revistas científicas y la monografía ha sido sometida a un sistema de revisión por pares. Indicadores: Calidad científica del producto Agilidad editorial Instrucciones a los autores (creadores de contenido) Mención del cuerpo editorial Mención del comité científico Apertura editorial Apertura institucional de la editorial Internacionalización del comité científico Identificación del proceso editorial Posibilidad de segmentación de la obra Sistema de arbitraje indicado de forma clara Presencia de la obra en servicios de información Elaboración de las referencias bibliográficas (por capítulo y por obra) 1.2: calidad de la edición: la monografía presenta una edición cuidada y posee elementos que le dan un valor añadido al contenido. Indicadores: Posibilidad de segmentación de la obra (Ver punto 1.1.10) Gestión de índices Sumario claro e información sobre los autores Posibilidad de multilenguaje Resumen, sumario y palabras clave en varios idiomas Identificación clara de la obra. 1.3. Parámetro interactividad y multimedia (Criterio específico de las obras digitales): se valora el contenido enriquecido, su variedad y su calidad. Indicadores: Tiene contenido enriquecido (vídeo, audio, imágenes, infografías, tablas,…) Posee enlaces (internos a otras partes de la obra y externos) Tiene contenido interactivo Calidad de los elementos multimedia 1.4. Criterios de comunicación: se valorará que la obra ofrezca al usuario sistemas para compartir sus impresiones o adquirir contenido extra. Indicadores: Extimidad Enlace a un lugar específico (web propia de la obra) Enlaces a la web de la editorial 1.5. Criterios relacionados con actualizaciones: las actualizaciones tienen una gran importancia, especialmente en monografías académicas. Indicadores: Posibilidad de actualizaciones 1.6. Criterios de personalización de la obra: la obra debería estar al día en cuanto a la variedad de formatos y posibilidades de uso. Indicadores: Oferta de distintas versiones y formatos Personalización del contenido (adaptando la obra a los posibles dispositivos) Posibilidad de personalizar en el dispositivo los aspectos del contenido 1.7. Criterios sobre metadatos: se valorará la existencia de metadatos y su buena asignación Indicadores: Metadatos correctamente asignados
- Dimensión: contenido Parámetro: Calidad del contenido Indicador: Presencia de la monografía en servicios de información Cada indicador ha de tener su propia definición, su procedimiento para ser evaluado y su sistema de puntuación. Se han añadido algunos comentarios para puntualizar el alcance u otros datos sobre el indicador o su relación con otros. Y finalmente, en algunos casos se han localizado ejemplos.
- Lo mismo, perdón por la tabla, aunque en este caso al menos se leen un poco. --------------Sólo si preguntan---------------- ………………………………….. 2. FORMA: 2.1. Calidad de la edición: la monografía no debe tener errores de forma. Indicadores: Ausencia de errores 2.2. Formatos de difusión: se valorará la variedad de formatos ofrecidos. Indicadores: Cantidad de formatos ofrecidos Calidad de los formatos ofrecidos 2.3. Legibilidad: se evaluará la legibilidad, la funcionalidad, la usabilidad, cualidades todas que afectan a la comodidad para leer el libro. Indicadores: Legibilidad 2.4. Descubribilidad: evaluará la capacidad de la obra para ser descubierta, la facilidad con la que los usuarios llegan a ella. Indicadores: Descubribilidad 2.5. Accesibilidad para personas con necesidades especiales: valorará la existencia de sistemas que mejoren el acceso a la obra de personas con necesidades especiales. Indicadores: Accesibilidad para personas con necesidades especiales
- Dimensión: forma Parámetro: formatos de difusión: para evaluar la variedad de formatos ofrecidos Indicador: Cantidad de formatos ofrecidos Y en este caso, de nuevo, nos encontramos: Definición, procedimiento, sistema de puntuación, comentarios y ejemplos.
- Como en otros muchos campos de la ciencia, es necesaria una homogeneización: homogeneizar términos, criterios, normas,…Este debería ser el primer paso para poder aplicar indicadores que permitan evaluar la calidad de las monografías y de sus editoriales. Además, se muestra que existe interés en este tema porque hay gente trabajando en ello. Y aunque se empiezan a ver algunas iniciativas muy interesantes respecto a la calidad de monografías electrónicas, pero no existen indicadores que vayan más allá de la forma. Por otro lado, existe una selección muy amplia de criterios a evaluar. Y en ellos intervienen numerosos agentes (autores, creadores, editores, distribuidores, programadores, responsables del software,…). Esta variedad de agentes dificulta la evaluación. Y la diversidad de tipos de monografías, incluso electrónicas, también dificulta la selección de indicadores y su sistematización después. Pero el momento de hacerlo es ahora. Nuestra disciplina cada vez está más relacionada con las nuevas tecnologías; ya forman una especie de simbiosis cuyo principal rasgo es ese cariz vertiginoso que siempre ha tenido la informática y que es a la vez su ventaja y su problema. Ya está en marcha un auténtico proceso de migración del “antiguo” libro electrónico (al que anteriormente hemos denominado pdf, fuese cual fuese su formato) a los nuevos libros digitales, llenos de funcionalidades y características completamente nuevas (por ejemplo, los de formato epub3). Estos cambios son visibles; los usuarios los reconocen y desean utilizarlos y los editores están modificando su cadena de trabajo para adecuarse a ellos. Es el momento, pues, de sentar las bases para que este nuevo panorama cuente con un sistema de evaluación que permita medir la calidad de las monografías digitales, que se base en criterios homogéneos, que disponga de una compilación de indicadores que puedan ser aplicados mediante herramientas y que generen índices. Esto a su vez equiparará, en el ámbito académico y científico, la influencia e impacto de las monografías a los de las revistas científicas, algo que en Ciencias Sociales y Humanidades cada vez es más necesario.
- Gracias por la atención.