Este documento propone el desarrollo de un sistema de evaluación de la calidad de la información en las redes BVS/OPS en América Latina y el Caribe. Los objetivos son revisar el estado del arte sobre el control de calidad de la información, diseñar y validar un cuestionario de autodiagnóstico, y analizar formas de mejorar la calidad de la información en las redes BVS. Se revisa la literatura sobre criterios para evaluar sitios web de salud y se propone apoyar el proyecto de control de calidad de las fuentes

1. CONTROL DE CALIDAD DE
LA INFORMACIÓN

2. PROPOSITO
Generar un sistema de
evaluación del control de
calidad de la red BVS /OPS
en América Latina y el
Caribe.
OBJETIVOS
•Revisar el estado del arte y
difundirlo
-Diseñar y validar un
cuestionario de
autodiagnóstico de calidad
de la información de la BVS
•Analizar y proponer el
mayor desarrollo de la
calidad de la información en
las BVS

3. NECESIDAD
NUEVOS AUTORES
Health
Fund.
Summit
health on
WILKINSON HARRIS SMITH AMBRE Working LUZ
GLOBAL Gracian Group the net
1997 1997 1997 1997 1997 1999 2000 2000
GENERAL Visitas
Comunicados
Productos cientificos
ACCESO Acceso
Facilidad de encontrarla
Audiencia
Costo
De propiedad intelectual
DISEÑO Problemas o limitaciones
ESTADO DEL ARTE
Calidad y oportunidad
Navegación
Estructura y organización
Legibilidad de texto
Formato y presentación
Facilidad de mantenimiento
Facilidad para entender el
alcance del recurso
Facilidad de uso
Carga rápida del sitio
Amigabilidad
Aspectos estéticos
Calidad de enlaces
Calidad de sitio e información
Navegación
Retroalimentación
Salon de charla
Divulgación
Disponibilidad plena
COMPROMISO
PROPUESTA /
AVANCES

4. CRECIMIENTO DE LA RED
+1/3 consultas sobre salud
¿qué % en paginas validas?

5. PROBLEMAS EN LA RED
INFORMACIÓN ¿CONFIABLE? Y PODER
(Harris, 1997)
VARIABILIDAD DE INFORMACION
(Harris, 1997; Health Summit Working
Group,1999; Tillman, 2000).
DE LITERATURA ACADEMICA,
VANITY, GRIS Y DE PUBLICIDAD
NECESIDAD DE CONTROL DE CALIDAD
(Ambré 1997,Comisión para las
Comunidades europeas eEurope 2002)
CREDIBILIDAD
ACCESO SENCILLO VS NO NORMAS NI
CONTROL

6. ESTRATEGIAS EN LA RED
1.CONTROL DE CALIDAD POR COHERENCIA CON
INDICADORES DE CONTENIDOS
ESTANDARIZADOS
Convención de Vancouver (1978),
American Psychological Association (1994)
NO ESTANDARIZADOS y NO UNIVERSALES
(December, 1997; Grassian, 1997; Kim, 1999; Smith,
1997; Tillman, 1996, etc)
2.CONTROL DE CALIDAD POR EVALUACIÓN DE
EFECTIVIDAD :
CALIDAD:
características DEBEN satisfacer necesidades de consultantes
(Organización Internacional para la Estandarización (ISO/TC, 1994).
3. CONTROL DE CALIDAD POR INDICADORES
DEL SITIO
Autores clásicos y
Comisión para las Comunidades europeas eEurope 2002)

7. ORGANISMOS ESPECIALIZADOS
FUNDACIÓN HEALTH ON THE NET
Génova, Suiza
“El control de calidad de la información debe ser
parte de las normas éticas y de honor en la
construcción de cualquier sitio que contenga
información en salud”
( Health on the Net Foundation, 1997).
HEALTH SUMMIT WORKING GROUP
Instituto de Tecnologías de Información en
Salud,Virginia, USA:
Criterios para evaluar la información en la red.
CERTIFICACION
Gardois P Evaluating the quality of medical
information on the Internet
Comisión para las Comunidades europeas eEurope
2002 : Quality criteria por Health related websites)
JMIR 2002;4(3):e15

8. METODOLOGIA DE BUSQUEDA
MEDIOS : PALABRAS CLAVES:
Motores de busqueda: Evaluacion, calidad, control, información
en salud
Bases de datos en línea
Primera fase
+ 200
Pertinentes: 20
Más por bibliografia
50 finales
Segunda fase
Lectura en profundidad: ATLAS TI 28
categorías de análisis –calidad, tipos de
documentos, criterios, información, contexto,
clasificación
Redes semanticas identificar los
criterios que desarrolla cada autor y la
forma en que interactúa con el
contexto referido en los mismos.
38

9. AREA CATEGORIA INDICADOR
ACCESO Y
ACCESO
ENCUADRE UBICACIÓN Y
CONTROL
FACILIDAD DE
ACCESO
ENCUADRE
CREDENCIALES
ACTUALIDAD
CONSISTENCIA
EVALUACIÓN

10. AREA CATEGORIA INDICADOR
DISEÑO
ORGANIZACIÓN ESTRUCTURA
ORGANIZACIÓN
CLARIDAD
COMUNICABILIDAD
REDACCCIÓN
NAVEGACIÓN
AMIGABILIDAD
NAVEGABILIDAD
ESTÉTICA Y
APARIENCIA FORMATO
INTENCIONES
DECLARATORIA

11. AREA CATEGORIA INDICADOR
IDENTIFICACIÓN ESTABILIDAD
CONTENIDO
AUTORÍA
PRECISIÓN Y EQUILIBRIO
RECURSOS
OBJETIVIDAD
VALIDEZ
CREDIBILIDAD
RELEVANCIA
TRASCENDENCIA
EXACTITUD
CALIDAD CIENTIFICA REVISION PARES
DERECHOS/PRIVACIDAD
DERECHOS Y
DEBERES SEGURIDAD/HONESTIDAD
ÉTICA/ALERTAS
ENLACES
ACCESO Y DISEÑO

12. FREQUENCY OF EXPLICIT CRITERIA
FOR EVALUATION OF HEALTH
RELATED WEB SITES BY CRITERIA
GROUPS (n=165)
Criteria groups
Freq (%)
30 (18)
CONTENT OF SITE
22 (13)
DESIGN AND AESTHETICS
DISCLOSURE OF AUTHORS, SPONSORS, 20 (12)
DEVELOPERS
14 (8)
CURRENCY OF INFORMATION
11 (7)
AUTHORITY OF SOURCE
9 (5)
EASE OF USE
9 (5)
ACCESSIBILITY AND AVAILABILITY
5 (3)
LINKS
5 (3)
ATTRIBUTION AND DOCUMENTATION
3 (2)
INTENDED AUDIENCE
CONTACT ADDRESSES OR FEEDBACK 2 (1)
MECHANISM
2 (1)
USER SUPPORT
33 (20)
MISCELLANEOUS
•Published criteria for evaluating health related web sites: review
•Paul Kim, research assistant, a Thomas R Eng, study director, a Mary
Jo Deering, director, a Andrew Maxfield, research fellow. b
• BMJ 1999;318:647-649 ( 6 March )

13. RECOMENDACIÓN
Que se apoye el Proyecto de Control
de Calidad de las Fuentes de
Información presentado por BVS
Adolec México para que pueda ser
desarrollado en su totalidad y luego
utilizado en el desarrollo de fuentes
de información de la BVS regional.

14. AVANCES:DIFUSIÓN
COLONIA 2002 CUBA 2003
http://www.zbmed.de/eahil2002/proceedings/hidalgo-poster.pdf http://bvs.sld.cu/revistas/aci/vol11_1_

15. AVANCES: FLUJO DE ACTIVIDADES DE DISEÑO
CUESTIONARIO A VALIDACIÓN POR
PROYECTO
VALIDAR RESPONSABLES DE
( 84 criterios) BVS
ESTADO DEL ARTE
Y DIFUSIÓN PRUEBA
PILOTO CON CUESTIONARIO
EXPERTOS DEFINITIVO
(IMPORTANCIA)
IDENTIFICACIÓN
DE AREAS USO Y
,CATEGORIAS E GENERACIÓN DE
RESULTADOS
INDICADORES CRITERIOS PARA
EN BVS
CUESTIONARIO
INICIAL
(310 criterios)
ETAPA 2000-2001 ETAPA 2002 ETAPA 2003-2004
(II REUNIÓN (III REUNIÓN IV REUNIÓN
COORDINACIÓN BVS COORDINACIÓN BVS COORDINACIÓN BVS
MÉXICO)
CUBA) Salvador Bahía, Brasil

16. AVANCES :COMPARACIÓN CON ESTÁNDAR DE ORO
*Chao, H. Assessing the quality of academic libraries on the BVS
Web: The development and testing criteria. Library & CHAO
Information Science Research, 2002; 24: 169-194. ADOLEC
1. Revisión de literatura
2. Creación del instrumento inicial con criterios 70 310
3. Identificación de expertos /Prueba piloto
4. Modificación del instrumento Identificación 68 84
de expertos
5. Prueba de validez
6. Modificación del instrumento 16
7. Confiabilidad en iguales sitios
Análisis de varianza/Regresión
jerárquica
16/8
6. Creación de dos instrumentos

17. AVANCES: GENERACIÓN DE CRITERIOS
ÁREA CATEGORÍA INDICADOR CRITERIOS
ACCESO Y ¿Se hace explícita la existencia de un registro estadístico de visitas al
ENCUADRE
ACCESO sitio?
UBICACIÓN Y
CONTROL ¿El sitio es localizable a través de alguno de los motores de búsqueda
o índices más populares de Internet?
¿El sitio puede ser visualizado mediante cualquier programa de
FACILIDAD DE navegación? *
ACCESO ¿Cuándo se carga el sitio, se presenta libre de fallas en los textos o
imágenes?
ENCUADRE ¿En el sitio se identifican las organizaciones que lo respaldan?
¿El sitio presenta clara y completamente las credenciales de su(s)
director(es) o administrador(es)?
CREDENCIALES
¿En el sitio se presentan los datos de contacto electrónico con sus
administradores/directores?
¿El acceso a todos los contenidos del sitio es libre de costo para el
usuario?
ACTUALIDAD ¿Se muestra la fecha en que se realizó la última modificación al sitio
en general?
¿Se identifica de alguna manera la presencia de material nuevo en el
sitio?
CONSISTENCIA
¿Es posible visualizar el sitio con un equipo de cómputo de bajo
desempeño (p.e., 486, baja resolución, <4Mb de ram, etc.), módem
de baja velocidad? *
¿Es posible acceder al sitio siempre en su URL o, si no está ahí, se
EVALUACIÓN dirige al usuario a su nueva dirección?
¿Existe una normatividad par el control de calidad del sitio? *

18. AVANCES CUESTIONARIO A VALIDAR
EN LINEA:
www.congresoadolec.org/calidad

19. AVANCES: UTILIDAD
EN 6 BVS QUE HAN RESPONDIDO SE HA PODIDO
IDENTIFICAR FOCOS ROJOS MÁS FRECUENTES EN
CRITERIOS ESPECIFICOS

20. AVANCES: PERFIL DE LOGROS DE CRITERIOS
CUMPLE
NO
BVS % 2003…………………..2006
1 45 39 53
2 63 21 75
3 66 18 79
4 30 54 36
5 66 18 79
6 59 25 70

21. LECCIONES APRENDIDAS
• Un equipo convencido con entusiasmo a
toda prueba puede cumplir un % básico de
los compromisos adquiridos (en la II
Reunión en Cuba) .
•Siendo un trabajo innovador y necesario
en la actualidad es bien acogido en
espacios de difusión como congresos y
revistas especializadas
•Sin embargo si evaluamos las
recomendaciones de la II Reunión en
Cuba …….

22. LECCIONES APRENDIDAS
• Tiene dificultades obtener una alta participación de las
BVS:
enviamos 40 solicitudes de colaboración para la
VALIDACIÓN y se obtuvo una respuesta mínima,
por diversos motivos y pese al apoyo de BIREME.
•Y tiene dificultades obtener de fondos de investigación en
OPS :
se envió una solicitud de apoyo financiero a
Investigación OPS en enero del 2002 y no hubo
respuesta pese al apoyo de BIREME
Por tales antecedentes .hacemos las
siguientes .....

23. PROPUESTAS DE ESTRATEGIAS
•Los compromisos que se adopten en la III
Reunión debe tener mayor especificidad y
tiempos tanto de la o las BVS lideres sino de las
instancias institucionales
•Las BVS deben suscribir su apoyo mediante
convenios en proyectos multiBVS con todo el
apoyo estructural de OPS
•Abrir un fondo de apoyo a la investigación sobre
BVS especialmente proyectos multi BVS por parte de
OPS sea con fondos directos o gestión para su
obtención

24. EL FUTURO DE ESTE PROYECTO
EL PEOR EL MEJOR
NO APLICACIÓN DEL SE APLICA POR LAS BVS
CUESTIONARIO EN LINEA EL CUESTIONARIO
SE VALIDA EL CUESTIONARIO
Y ADECUANDOSE SE PONE
LA BVS ADOLEC MEXICO
UTILIZA EL INSTRUMENTO A DISPOSICION DE LAS BVS
NO VALIDADO PARA SU
DESARROLLO Y PROMUEVE EL ESTUDIO
CONJUNTO
OPS/BIREME/BVS
OPS/BIREME/BVS QUEDAN CON APORTAN AL
UNA TAREA PENDIENTE AL DESARROLLO DEL
APORTE CIENTIFICO DE CONOCIMIENTO
CONOCIMIENTO EN ESTE CIENTIFICO EN ESTE
CAMPO CAMPO
POR ESO ....AGRADECEMOS RECIBAN DOS DIPTICOS
INFORMATIVO MOTIVACIONAL CADA UNA DE UDS
COLEGAS BVS Y...

25. Proyecto de control de calidad
... esperamos decidan
aplicar el
CUESTIONARIO durante el congreso en
www.congresoadolec.org/calidad
Muchas gracias...

26. CREDIBILIDAD
La credibilidad es definida como la cualidad o poder de inspirar lo
creíble, y lo creíble es lo que puede o merece ser creído.
•FUENTE.- la autoridad como el “crédito y fe que se da a una
persona en determinada materia” (a grupos organizados de
expertos más autoridad que expertos individuales).
•AUTORIDAD O CREDENCIALES.- Ccurriculum de personas
involucradas, y la de sus asociados
•CONFLICTO DE INTERESES.- Cualquier conflicto de intereses
deberá ser explicitado.
•SESGOS.- Intereses financieros, o por la posición de alguna
persona.
•CONTEXTO objetivo que motiva la presentación de la
información .
•ACTUALIDAD Fecha en que se actualizó el contenido de la
página.
•RELEVANCIA/UTILIDAD La relevancia :que tan cercano está el
contenido del documento con el propósito de la página. La
utilidad:l provecho práctico que proporciona la página para que el
lector alcance su objetivo al consultarla.
•REVISIÓN EDITORIAL En la comunidad científica el control
editorial implica el proceso de revisión por pares. Una revisión de
pares podría beneficiar cualquier revisión editorial. Dejar en claro
cuál es el proceso de revisión editorial, y que requisitos se
tomaran en cuenta para que un documento se presente en ese
espacio.

27. CONTENIDO
•PRECISIÓN Se basa en la evidencia y su verificación:
presentar los datos en los que basa sus conclusiones.
•JERARQUÍA DE LA EVIDENCIA En el contexto de la
investigación cuantitativa orden de mayor a menor
evidencia :
ensayos clínicos aleatorizados,
ensayos no aleatorizados,
estudios de cohorte,
casos y controles, y,
estudios descriptivos.
Falta identificar una escala semejante basada en la
tipología de los estudios cualitativos, (ej entrevistas en
profundidad e historias de vida, entrevistas
focalizadas, grupos focales,grupos de discusión,
estudios observacionales , estudios exploratorios)
•ESTABLECIMIENTO DE FUENTES ORIGINALES
•ACLARACIONES :limitaciones, propósito, alcance,
autoridad y actualidad de la información y fuentes
dadas a conocer
•NOTAS DE OMISIÓN Los trabajos deben incluir
una revisión completa de la información relevante,
procurando presentar un tema balanceado

28. DISEÑO
•ACCESIBILIDAD Accesible a los equipos que cuenten
con menos recursos.
•ORGANIZACIÓN LÓGICA El diseño deberá ser simple y
fácil de usar.. La estructura lógica y el lenguaje deberán ser
acordes al nivel de los usuarios.Debe existir un balance
entre texto, figuras, colores, sonidos y movimientos.
•MOTOR DE BÚSQUEDA INTERNA Este es un
componente crítico. El alcance y la función de éste deberán
ser especificados con claridad.
INTERACTIVIDAD
•MECANISMOS DE RETROALIMENTACIÓN Dirección
electrónica para recibir los comentarios o preguntas de
los usuarios a ser atendidos y respondidos en un tiempo
pertinente.
•ESPACIO DE CHARLA Existirá la oportunidad de
mantener “charlas electrónicas” entre los diferentes
usuarios, y probablemente entre los organizadores y
patrocinadores de la página.
•SEGUIMIENTO Y CONSULTA Mecanismo mediante el
cual pueden realizar consultas
• ALERTAS: advertencias

29. CRITERIOS DE EVALUACION DE DOCUMENTOS CIENTIFICOS
CUALITATIVO CUALITATIVO Y CUANTITATIVO CUANTITATIVO
. INTRODUCCIÓN
1.MAGNITUD DEL PROBLEMA Y
RELEVANCIA
2.ANTECEDENTES Y RACIONALIDAD
DEL ESTUDIO?
3.DEFINICIÓN PROBLEMA
4.CONSECUENCIAS DE NO HACERLO Y
BENEFICIOS DE HACERLO
5.OBJETIVOS Y ALCANCES
MÉTODOS
SUJETOS
1.CRITERIOS DE SELECCIÓN DE
1.CONTEXTO DEL ESTUDIO Y DE LA
CONTEXTOS
PROCEDENCIA DE LOS SUJETOS
2.CARACTERÍSTICAS
2 CRITERIOS DE INCLUSIÓN, NO
SOCIO-ECONÓMICAS Y
INCLUSIÓN Y EXCLUSIÓN
CULTURALES DE CONTEXTOS
3.ESTRATEGIAS DE MUESTREO
3.CARACTERÍSTICAS DE LOS
SUJETOS INFORMANTES?
DISEÑO
1.CLARIDAD DEL DISEÑO 1.PLANTEAMIENTO DE
1.TIPOS DE APROXIMACIÓN
2.AUTORES DICEN QUE HICIERON Y HIPÓTESIS
TEÓRICA
LO QUE HICIERON? 2.VARIABLES ESTUDIADAS Y
2.INSTRUMENTOS Y SUS
3.ELEMENTOS SUFICIENTES SOBRE MEDICIÓN).
PRINCIPALES DIMENSIONES
DISEÑO 3.DEFINICIÓN DE LAS
CONCEPTUALES?
4.ESTRATEGIAS DE RECOLECCIÓN DE VARIABLES PRINCIPALES
3.CAMBIOS Y PREGUNTAS
DATOS
GENERADOS EN EL PROCESO
5.PROCEDIMIENTOS Y TÉCNICAS DE
ANÁLISIS DE LA INFORMACIÓN?
3. ASPECTOS ÉTICOS
1.ASPECTOS ÉTICOS EN RECOLECCIÓN
DE DATOS, ANÁLISIS Y DIFUSIÓN DE LA
INFORMACIÓN
BIBLIOGRAFIA
Felman S Berlin J Fletcher S
[1] Miles, M.B. & Huberman, A.M. Fletcher R Manuscript quality • Day RA. “Cómo escribir y publicar
Producing reports. En: Qualitative Data before and after peer review and trabajos científicos”. OPS: Washington,
Analysis. Thousand Oaks, Sage, 1994, pp. editing at Annals of Internal 1990.
298-306. Medicina Ann Intern Med
[1] Roth, J.P. Writing and reporting. En: 1994;121:11-21
Undertaking Qualitative Research.
Edmonton, The University of Alberta Press,
2000, pp. 159-163.

30. CRITERIOS EVALUACION DOCUMENTOS CIENTIFICOS
CUALITATIVO CUALITATIVO Y CUANTITATIVO CUANTITATIVO
.
4. RESULTADOS
1.FORMATO: DE DETALLES TEXTUALES U 1.INFORMACIÓN COMPLETA DE 1.ASOCIACIONES Y MANEJO DE
VARIABLES DE CONFUSIÓN E
MATRICES O REDES DE RELACIONES SUJETOS PARTICIPARON Y LOS
INTERACCIÓN;
QUE RESUMEN DATOS IMPORTANTES NO INCLUIDOS
2.VERIFICACION DE HIPÓTESIS
2.INCLUYE SEGMENTOS DE TEXTOS PARA 2. VIOLACIONES AL PROTOCOLO?
3.PERTINENCIA DEL MANEJO
LA INTERPRETACIÓN PROPUESTA 3. CUÁN APROPIADO ES EL ESTADÍSTICO, INCLUYENDO
SIGNIFICANCIA ESTADÍSTICA
3.ESTILO DE AUTORIDAD : DESCRIPCIÓN BALANCE ENTRE DETALLE Y
(PRUEBAS DE HIPÓTESIS O
DE PRÁCTICAS Y VISION DE RESUMEN DE RESULTADOS INTERVALOS DE CONFIANZA;
INFORMANTES O SU VOZ Y 4.RESULTADOS QUE MAYORÍA DE 4.PERTINENCIA DE LOS DATOS
REPORTADOS EN CUADROS Y
ARGUMENTOS LA AUDIENCIA COMPRENDA FIGURAS.
4.ESTRATEGIAS FORTALECEN VALIDEZ DE 5. REPORTE DE LOS
HALLAZGOS (triangulación de fuentes y DENOMINADORES (PROMEDIOS ,
PORCENTAJES, TASAS, ETC)
métodos, perfil de patrones e
6.MAGNITUDES DE LOS EFECTOS
idiosincrasias, plausibilidad, contrastes y REPORTADOS (EFECTOS
comparaciones, contradicciones, casos INCLUYE :OR, DIFERENCIAS DE
RIESGO, COEFIC EGRESION,ETC)
extremos, etc.)
5.SUSTENTO ANALÍTICO AMPLIO
RELACION DATOS EMPÍRICOS CON
ARGUMENTOS TEÓRICOS?)
5. DISCUSIÓN Y CONCLUSIONES
1.APORTE A CONOCIMIENTOS EN SU
CAMPO
CONFRONTACIÓN CON LA EVIDENCIA
DE OTROS AUTORES
2.LIMITACIONES DEL ESTUDIO:
GENERALIZACIÓN
PREGUNTAS PARA ESTUDIOS
POSTERIORES?
3.CONCLUSIONES ENMARCADA EN
LÍMITES DEL ESTUDIO
6. REFERENCIAS
EN APA-STYLE? COMPLETAS Y ACUERDO AL TEXTO Y EN ESTILO VANCOUVER