8. Evaluar tecnologías basadas en mHealth. ¿Es posible un marco común de evaluación?

III Jornada
Red Española de Agencias de Evaluación de Tecnologías Sanitarias y
Prestaciones del Sistema Nacional de Salud
Zaragoza, 1 de diciembre de 2016
Grandes retos presentes y futuros
Evaluar tecnologías basadas en mHealth. ¿Es
posible un marco común de evaluación?
Elisa Puigdomenech
Agència de Qualitat i Avaluació Sanitàries de Catalunya (AQuAS)

ANTECEDENTES
mHealth (mSalud/ salud móvil) “medical and public health practice supported by
mobile devices, such as mobile phones, patient monitoring devices, personal digital
assistants (PDAs), and other wireless devices (OMS, 2011)
Información Accesibilidad
Potencian universalización
atención sanitaria
(prevención, tratamiento,...)
Empoderamiento paciente
Más de 100.000 apps
médicas
Rompen barreras físicas
Instantaneidad Heterogeneidad
Facilita al instante la
información relevante para la
salud
Comunicación instantanea
con el profesional sanitario
Elevada
heteorogeneidad

ANTECEDENTES
Chronic care,
disease management
Health,
wellness,
fitness
Professional
support
Patient education
and advocacy
Acute care,
virtual visits
OBJETIVO Proponer marco colaborativo para la evaluación de las soluciones de mHealth
potenciando así un ambiente más colaborativo para salvaguardar el bienestar de los pacientes
y ciudadanos a la vez que se fomenta la inovación tecnológica
Revisión bibliográfica
Grupos focales con expertos y paceintes
Propuesta modelo

METODOLOGÍA
REVISIÓN MODELOS EXISTENTES
ORCHA (Organisation for the Review of Care and Health Applications)
Repositorios de Apps
http://www.imedicalapps.com/
http://myhealthapps.net/
WHO. mobile health (mHealth) evidence reporting and assessment (mERA)
checklist
Infraestructura, plataforma tecnológica, interoperabilidad,
intervención, (contenido, periodicidad), UX, costes,
limitaciones, contexto

METODOLOGÍA
Distintivo App Saludable.
Agencia de Calidad Sanitaria de Andalucía
AppSalut. Acreditación Apps. TIC Salut
Calidad y seguridad de la App. Evalúa 4 bloques: diseño y
pertinencia, Calidad y seguridad de la información,
Prestación de servicios, Confidencialidad y Privacidad
Acreditación de aplicaciones. App. Evalúa 4 bloques: usabilidad,
aspectos tecnológicos, seguridad y contenido clínico

METODOLOGÍA
MAST: Model for Assessment of Telemedicine applications
Evaluación del impacto de un servicio basado en TICs (incluyendo telemedicina) con el objetivo de
informar y dar apoyo a la toma de decisiones basada en evidencia científica (condición clínica y
tecnología eHealth, efectividad y seguridad clínica, UX, impacto económico y organizativo, aspectos
éticos, legales y culturales) (Kidholm K et al. MAST (2012). Interl J of Tech Assess in Health Care (vol. 28, n. 1, p. 44-51)
Consulta sobre las barreras existentes y cuestiones
relacionadas con la salud móbil, identificación del
camino a seguir para potenciar la salud móbil
Green paper on Mobile Health
EU Working group on mHealth assessment guidelines
Grupo de trabajo (sociedad civil, organizaciones
investigación y usuarios, industria) para desarrollar
directrices para evaluar la validez y fiabilidad de la msalud

METODOLOGÍA
ESTUDIO CUALITATIVO
Objetivo: Explorar las actitudes, preferencias y experiencias y
propuestas relacionadas con evaluación de las soluciones de mHealth
de profesionales de distintos perfiles y usuarios
Profesional H M Total (N)
Profesionales sanitarios que usan
apps en sus programas de atención
(neumología, medicina interna, de familia,
epidemiologia)
5 1 40%
Desarrolladores (“Enfermera virtual”,
“Medtep”, “Eurecat”, “HealthApp”)
3 2 33,3%
Investigadoras (epidemiólogas, expertas en
evaluación-impacto, investigación en actividad
física)
- 4 26,7%
Usuarios
Relojes inteligentes (SmartWatch) 2 - 22,2%
Apps control período menstrual - 2 22,2%
Apps de actividad física y
alimentación
1 2
33,3%
Apps de gestión sanitaria y salud
infantil
- 2
22,2%

METODOLOGÍA
ESTUDIO CUALITATIVO
¿Necesidad
evaluación?
Sí unánime
Fomenta la
transparencia
Necesidad
criterios
Elevada
complejidad
Puede
influenciar en
la elección de
la App
No debe ser
una barrera
Si es un apoyo
al tratamiento
Objetivo /finalidad App
Fiabilidad
Sensibilidad de la información recogida
Apoyo al tratamiento o de promoción de la salud
Riesgo para la salud
Muchas apps disponibles en el mercado
Campo cambiante
Dificultad de medir su impacto en salud a corto, medio y
largo plazo
¿Cómo evaluar si las mediciones son precisas o no?

METODOLOGÍA
ESTUDIO CUALITATIVO
DIMENSIÓN ASPECTO CONCRETO U PS I D
TÉCNICA
Precisión técnica (de los instrumentos de
medida)
✔ ✔
La aplicación se orienta al objetivo planteado ✔ ✔ ✔
La aplicación cumple el objetivo inicial ✔ ✔ ✔ ✔
USABILIDAD
Usabilidad (interfaz amigable, intuitiva…) ✔ ✔ ✔
Aceptabilidad por parte de usuarios ✔
Adaptabilidad, personalización para el usuario ✔ ✔
Intención inicial de uso ✔
Niveles de uso, adherencia ✔ ✔
FIABILIDAD
CONFIANZA
Fiabilidad los parámetros que se utilizan ✔ ✔
Agentes involucrados ✔ ✔
EFICACIA
Efectividad ✔ ✔ ✔
Coste-beneficio ✔ ✔ ✔
Seguimiento a largo plazo ✔ ✔
Motivación, niveles de adherencia ✔
SEGURIDAD
Seguridad percibida por el paciente ✔
Seguridad clínica ✔ ✔ ✔
Posibles efectos adversos ✔ ✔ ✔ ✔
Niveles de seguridad y privacidad ✔ ✔ ✔
U: Usuarios; PS: profesional sanitario; I: Investigador; D: desarrollador

METODOLOGÍA
ESTUDIO CUALITATIVO
• Entidades externas y reconocidas
• Equipos interdisciplinares
• Ajenos a los desarrolladores
Agentes
evaluadores
• Sello distintivo que garantize que la solución de mSalud
no es perjudicial para la salud
• ¿Costes de certificación?
• Propuesta de proceso de co-creación y co-diseño
Certificación
• Necesidad de actualizar métodos disponibles; actuales
son demasiado estáticos para una tecnología tan
dinámica y cambiante
• Combinar aproximaciones cuantitativas y cualitativas
• Equipos multidisciplinares (desarrolladores, clínicos y
usuarios)
• Peer review antes del lanzamiento
Metodología de
evaluación

RESULTADOS
1. ¿Qué soluciones se deben evaluar?
2. ¿Quiénes son los potenciales usuarios?
3. ¿Cuáles son los dominios y sub dominios que deben
considerarse?
4. ¿Cuál es el mejor proceso a seguir?

RESULTADOS
Se puede utilizar para la evaluación de un amplio espectro de
soluciones de mSalud e inovaciones
Evaluación de soluciones como PRODUCTOS en un momento
determinado (la evaluación seria necesaria para cada nueva versión)
Evaluar el SERVICIO donde la app es sólo uno de los elementos
¿Qué soluciones se deben evaluar?

RESULTADOS
¿Usuarios potenciales?
Macro
•Public
authorities
•Policy
makers
•…
Macro
•Public
authorities
•Policy
makers
•…
Meso
•Hospital
Managers
•Health
insurances
•Academia
•…
Meso
•Hospital
Managers
•Health
insurances
•Academia
•…
Micro
•H Prof
•Patients
•Citizens
•Developers
•…
Micro
•H Prof
•Patients
•Citizens
•Developers
•…

RESULTADOS
Modelo escalonado
Matriz de clasificación del riesgo: combinando el riesgo
del tipo de la intervención y el del paciente
Usuarios: Pacientes, profesionales, cuidadores, ...o
todos juntos
Integración : por sí solas o completamente integradas
Pre-
evaluación

RESULTADOS
Modelo escalonado
Propia de cada contexto y Referencia para los evaluadores
Puede incluir:
Finalidad de la app (monitorizar, guía, tratamiento)
Nivel de desarrollo
Seguridad y privacidad
Usabilidad
Funcionalidades
Checklist

- Usuarios
- Organización
- Sistemas de atención
social y sanitaria
- Comunidad
- Usuarios
- Organización
social y sanitaria
- Comunidad
- Usuarios
- Organización
social y sanitaria
- Comunidad
- Usuarios
- Organización
social y sanitaria
- Comunidad
RESULTADOS
Dominios y
subdominios
Seleccionados en función del propósito de la evaluación
Pueden depender del tipo de solución de mHealth
Metodología cualitativa y cuantitativa
Pocas herramientas validadas
Madurez
tecnológica
Beneficios
Riesgo
Recursos
necesarios
mHealth
Modelo escalonado

BENEFITS
User Organization HC system Community
Clinical
(improvement in
health outcomes,
mortality, quality of
life, exacerbations,
disease
complications, etc)
Process-
improvements
(decreased waiting
times, work load)
Quality
improvements
(improved
coordination of care)
Improved general
health (decreased
disease prevalence
and incidence, QALYs
gained)
Behavioural change
(healthy lifestyles,
self-management)
Quality
improvements
(higher case
resolution, decreased
hospit rates)
Economical
(cost and time
savings, cost-
effectiveness)
Increased
productivity
(decreased disability
rates, lost work days)
Empowerment and
satisfaction and
improved access to
care
User satisfaction Improved general
health (disminution of
prevalence and
incidence of a disease
Enhance
collaboration
through information
sharing
RESULTADOS

RISKS
Technical
(data-related: leak,
loss, error; etc..)
Technical
(data-related: leak,
loss, error; etc..)
Decrease in quality of
care
(when ineffective
solutions are
implemented)
increased access
inequality
(if cost for the end
user is too high)
Clinical and
behavioural
(adverse effects;
anxiety, addiction);
Decrease in quality
of care
(not integrated or in
contradiction with
operating pathways &
protocols)
Economical (increased
costs due to technical
or clinical cost, overuse
of services)
Unintended
consequences
(environmental
changes, etc)
Inadequate contents
(reliability)
(not evidence-based
information sources,
lack of update
mechanisms)
Economical
(increased costs if the
solution is not cost-
effective, or due to
overuse of services)
Increased access
inequality (if cost for
the end user is too
high)
Overdiagnosis
RESULTADOS

TECHNICAL MATURITY/ READINESS
User Organization
Health & social care
system
Community
Usability
Robustness of the
technical system
Interoperability
standards compliance
Legal compliance
(data protection)
User experience
Interoperability
standards
compliance
Technical validity and
precision
(measures what it says)
Regulatory/market
compliance
(if a medical device)
User-centred
design
Clinical
integration with
operating IT
systems
Reliability of
measures
Acceptability
Process
integration with
operating clinical
pathways and
protocols
Replicability
RESULTADOS

RESOURCES NEEDED (AFFORDABILITY/FEASIBILITY)
Technical literacy Training provided Training provided
Environmental
changes
Training received Logistics
Initial investment
costs (devices,
infrastructure,
network)
Cost paid by the
user
Initial investment
costs (devices,
infrastructure,
network)
RESULTADOS

RESULTADOS
Dominios y
subdominios EVALUACIÓN
Generación de evidencia
REGULACIÓN
USUARIOS FINALES
Decisiones Informadas
Población diana?
PROVEEDORES
Re-diseño de servicios
DESAROLLADORES
Mejoras Tecnológicas
Generación de evidencia

RESULTADOS
Dominios y
subdominios
Evaluación iterativa

DISCUSIÓN
REFLEXIONES / RECOMENDACIONES
Conviene definir cuál es el objetivo de la evaluación
Evaluación a medida según pre-evaluación (clasificación) y objetivo
Conviene identificar herramientas de evaluación de los diferentes
dominios y subdominios que estén validadas
Existe un “gap” de conocimiento importante sobre cuál es el mejor
diseño de estudio para evaluar la salud móvil
El equipo evaluador es importante que sea multidisciplinar
El proceso de evaluación debe ser iterativo
Es importante adaptar la evaluación al contexto de cada zona

8. Evaluar tecnologías basadas en mHealth. ¿Es posible un marco común de evaluación?

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (20)

Similar a 8. Evaluar tecnologías basadas en mHealth. ¿Es posible un marco común de evaluación?

Similar a 8. Evaluar tecnologías basadas en mHealth. ¿Es posible un marco común de evaluación? (20)

Más de Instituto Aragonés de Ciencias de la Salud - IACS

Más de Instituto Aragonés de Ciencias de la Salud - IACS (17)

Último

Último (20)

8. Evaluar tecnologías basadas en mHealth. ¿Es posible un marco común de evaluación?