Una técnica para evaluar el desempeño de la información en documentos desde una perspectiva cualitativa.

1. Evaluación de
desempeño
Proyecto Terminal III
MDI Nora Morales Zaragoza
UAM Cuajimalpa
2015

2. El (CRI)Communication Research
Institute. David Sless lleva 20
años desarrollando estudios de
desempeño en documentos, con
el propósito de medir la calidad
de comunicación con el público
de instituciones gubernamentales
y el sector público en Australia y
otras partes del mundo.
www.communication.org.au/htlm/papers_t0_read.php-

3. - Sistemas de voz
- Formas de trámites
- Documentos legales
- Recibos de pago
- Etiquetado de medicamentos
- Instructivos
- Sitios web
- Estados de cuenta
- Información nutricional
(empaques)
Tipos de documentos o piezas de comunicación
Servicio financiero, Gobierno, Industria Alimenticia,
bienes de consumo.

4. Recibo de Luz y Fuerza del Centro México 2010
“How to measure anything”

5. Recibo de Luz y Fuerza del Centro México 2010

6. Estudian y evalúan el desempeño de “artefactos”
de comunicación en la vida cotidiana, utilizados
por el gobierno y las empresas para proporcionar
información a las personas, como parte de un
servicio.
Con el propósito de ayudar a las organizaciones a
mejorar la comunicación con su público.
¿Que hacen?

7. Evaluación de desempeño / características
La mayoría se realizan en el contexto
Esta prueba generalmente ocurre en
cierta etapa del proceso de comunicación
donde lo que se pretende es detectar las
fallas e identificarlas en el proceso de
diagnóstico antes de la nueva propuesta
de comunicación o diseño
Pieza actual
diagnóstico re-diseño

8. Investigación
Análisis de los factores del
problema:
usuarios
producto
contexto
competencia
evaluación comparativa
(análisis funcional)
etc.
Identificación de enfoque?
Generación de alternativas
Síntesis
Evaluación de alternativas
Evaluación procesos
y resultados
Documentación,especi-
ficación producción
Identificación de la necesidad/
demanda
Identif.requerimientos
y perímetros
Conceptualización
y visualización
Proceso de diseño

9. Evaluación de desempeño / características
Cada sesión cuantifica el número de fallas
en el diseño y mide que tan alejadas están
dentro de los niveles de eficiencia*
acordados.
Al mismo tiempo estos estudios arrojan
información cualitativa, es decir la causa
de la falla del diseño
* Requisitos de desempeño (Performance requirements)

10. Evaluación de desempeño / características
Esta prueba provee datos que permiten
al diseñador encontrar las fallas del
documento y corregir o rectificar
rápidamente antes del re-diseño.

11. Prueba de diagnóstico
Estas pruebas se pueden comparar a las de un
diagnóstico clínico.
http://www.flickr.com/photos/komal_soin/3593021593/sizes/l/
Doctor
herramientas de diagnostico
contexto clínico
tratamiento
apropiado
síntomas
de una
patología
paciente

12. Como se realiza una Prueba de diagnóstico*
La técnica se realiza en sesiones
que constan de un investigador y
un participante en una
conversación alrededor de una
documento en particular.
1.-El investigador explica al
participante que la prueba tiene
como propósito encontrar las
fallas en el documento y no a él.

13. Como se realiza una Prueba de diagnóstico
2.- después le pide que realice un
número determinado de tareas
“grabando” o documentando todo
lo que él dice y hace.
Se le pide al participante que
verbalice lo que esta haciendo y
destaque los problemas con los que
se encuentra para terminar la tarea

14. Como se realiza una Prueba de diagnóstico
3.- Mientras se realiza la prueba el
investigador tiene que registrar 3 tipos de
observaciones cuantitativas para cada tarea:
a) Puede encontrar la información
si no
b) Tiene dificultad de encontrar
si no
c) Usa la información adecuadamente
(denota entendimiento)
si no

15. Como se realiza una Prueba de diagnóstico
4.- Ademas del registro anterior el
investigador describe detalladamente el tipo
de dificultad que experimentó el participante
y sus comentarios durante la sesión de
diagnóstico
¿cuantos usuarios es lo común?
6 a 8 participantes encuentran las mismas
fallas en el documento

16. Requisitos de desempeño y protocolo.
Los requisitos de desempeño se definen con
las primeras pruebas de lo que ya existe.
Se enfoca a los síntomas o patología de la
pieza de comunicación al ocasionar
usos inapropiados o fracasos parte del
participante

17. El error es pensar que podemos medir “todo”
antes de cualquier prueba hay que tener muy
claro lo que queremos medir.
Es por eso que es importante definir los
“Requisitos de desempeño”, de otra manera
quedaríamos en la incertidumbre.
Atención
* “How to measure anything” Finding the value of intangibles in bussines. Douglas W. Hubbard

18. Requisitos de desempeño
Es MUY IMPORTANTE acordar los requisitos
mínimos de los que pretendemos lograr con la
pieza partiendo del tipo de documento que se
diseña.
Principalmente 2 puntos
•Lista de tareas que creemos que la gente
debe ser capaz de efectuar con la pieza de
comunicación o documento
•Definir un nivel de eficiencia aceptable al
que esperamos alcanzar.

19. Eficaz: Que logra hacer efectiva un intento
o propósito (completa la tarea o acción).
Eficiente: Que consigue un propósito
empleando los medios idóneos (completa la
tarea o acción, de la forma mas fácil, rápida,
amigable, o satisfactoria).
Eficacia y eficiencia
Diccionario de la Lengua Española España-Calpe ® 2005

20. Requisitos de desempeño
Decidir o acordar el “paquete” de requisitos envuelve
una extensiva consulta con los “stakeholders”
involucrados en el proyecto. (grupos de interés).
¿Qué es importante para la empresa, o institución”
¿Qué es importante para el usuario?
¿Que es importante para los expertos? o patrocinadores
Si el tiempo y la presión del proyecto no lo permite, debemos confiar en nuestra experiencia previa
en documentos similares.

21. Análisis funcional
Una manera de
disectar el
documento para
considerar lo
importante de
cada grupo de
interes.

22. Requisitos de desempeño
Identificar “a priori”
•Tipo de documento
de interacción
•Quién es el
proveedor de la
información
•A quién le habla,
“se dirige a mi”
Tareas básicas
•Encontrar un dato y
explicar
•Encontrar y explicar
un concepto
•Encontrar y explicar
aspectos de la
pieza de com.
Tareas interactivas
•Encontrar y explicar
ciertas acciones
•Encontrar y explicar
como...
•Identificar
conceptos
específicos de la
pieza de com.

23. Ejemplo de Requisitos de desempeño

24. Ejemplos de Requisitos de desempeño

25. Protocolo
Los RD sirven de guía para elaborar el
protocolo de la sesión de diagnóstico
Es recomendable hacer una
“Prueba piloto” antes de la prueba inicial.

26. Protocolo prueba de
diagnóstico CEAD © 2005
Ejemplo de protocolo

27. Ejemplo de protocolo
Protocolo prueba de
diagnóstico CEAD © 2005

28. Resultados
El nivel de eficiencia definido que ha
funcionado en otros contextos de documentos
de diseño de información de basa en:
La información del documento debe permitir
al participante “alfabeta”:
•Encontrar los datos que se le piden por lo
menos un 90% de las veces.
•Usar apropiadamente la información que
encontró el 90%.
Concluyendo con un objetivo del 81%

29. Ejemplo de reporte de resultados

30. Estudio de estados de cuenta de tarjetas CRI 2008
Ejemplo de reporte de resultados

31. Instrucciones: una página de un folleto de instrucciones
para un medicamento utilizado para tratar el hiv
(cria, 1995).
Piezas de comunicación que usaron la técnica

32. Bibliografía
“Writing about medicines for people. Communication research instutute of
Australia. Communication Research Institute Australia. (CRIA).
Sless, David and Wiseman Rob; “Professional Guidelines Guidelines for
Evaluating Community CrimePrevention Projects.” ( CRIA), Commonwealth
Australia. 2003
Tolleson, Steve; “Soak, Spin, Wash, Rinse.” Princeton Architectu
“How to measure anything” Finding the value of intangibles in business.
Douglas W. Hubbard
Sitios web.
Credit Card Statements: Communication Benchmarks
http://communication.org.au/publications/communication-be