iSurveyX - El hombre o el dialer. Predicción eficaz de resultados en encuestas telefónicas
1. EL HOMBRE O EL DIALER
Predicción eficaz de resultados en encuestas telefónicas
DAMIAN BORENSTEIN
● Founder de MGMR, servicios para la Investigación de Mercado y
Opinión Pública
● Director Comercial de iPERFEX, desarrollo de software para
encuestas por IVR y para Call-Center
● Founder de CUEST-i, tecnología + expertise
GERMAN OLIVETO
● Sociólogo y docente en la Facultad de Ciencias Sociales (UBA)
● Consultor independiente y director de proyectos para la
consultora MBC MORI en estudios de opinión pública, mercado y
desarrollo social.
2. CUESTIONARIO
COSTOS TELEFONÍA IP LATAM CIUDADES PRINCIPALES (U$D) NEGOCIO
COSTOS LATAM ENCUESTAS POR IVR
COSTO X X ENCUESTA
PAÍS MINUTO USD RATIO 1:50
Guatemala 0,162 8,10
México 0,0015 0,075
Nicaragua 0,144 7,20
Panamá 0,029 1,45
Paraguay 0,034 1,70
Perú 0,011 0,55
Puerto Rico 0,014 0,70
Urugua 0,059 2,95
Venezuela 0,033 1,65
COSTO X X ENCUESTA
PAÍS MINUTO USD RATIO 1:50
Argentina 0,006 0,10
Bolivia 0,137 6,85
Brasil 0,015 0,75
Chile 0,029 1,45
Colombia 0,028 1,40
Costa Rica 0,025 1,25
Rep. Dominicana 0,021 1,05
Ecuador 0,125 6,25
El Salvador 0,220 11,00
3. La efectividad de un estudio de opinión está compuesta al menos por 5 factores
EL HOMBRE O EL DIALER
Predicción eficaz de resultados en encuestas telefónicas
● Confección de Muestra
● Diseño de Cuestionario
● Herramienta para la recolección de datos
● Estrategia de Campaña
● Análisis de los Resultados
EL HOMBRE O EL DIALER
Predicción eficaz de resultados en encuestas telefónicas
4. El objetivo de una muestra es obtener
representatividad del Universo en estudio.
Para esto es muy importante que nuestra muestra
replique en lo fundamental la composición de la
población objetivo.
Se debe atender en particular a las variables de
estructura poblacional que se estima pueden tener
impacto en los resultados del estudio: Por ej: sexo,
edad, estrato poblacional, ubicación geográfica,
educación.
MUESTRA - ¿QUÉ DICE LA TEORÍA?
Universo (N)
Ej: Población Argentina
=40.117.096
Muestra (n)
Ej: 1.000 casos
5. Los parámetros para la confección de la
muestra deben provenir de fuentes
confiables. Por ejemplo, del CENSO de
población más reciente.
Otra vía para procurar representatividad de
la muestra es garantizando aleatoriedad en
la selección de los respondentes: en las
encuestas telefónicas el volumen de las
bases y su randomización son
fundamentales.
CONFECCIÓN DE LA MUESTRA
Ejemplo cuotificación según tamaño de ciudad:
Ejemplo cuotificación según ubicación geográfica:
6. CUESTIONARIO
La confección de un cuestionario resulta de un proceso de traducción:
CUESTIONARIO
Objetivos de
investigación
Dimensiones Indicadores Preguntas
Pregunta/
Problema
Finalmente las preguntas tienen que establecer categorías de respuesta exhaustivas y excluyentes.
Ejemplo de escala no exhaustiva:
Para comenzar pulse 1, si es menor de 16
años TERMINAR
● 2, Si tiene entre 18 y 29 años
● 3, Si tiene entre 30 y 49 años
● 4, Si tiene entre 50 y 64 años
● 5, Si tiene 70 años o más
Ejemplo de escala no excluyente:
Para comenzar pulse 1, si es menor de 16
años TERMINAR
● 2, Si tiene entre 16 y 30 años
● 3, Si tiene entre 30 y 50 años
● 4, Si tiene entre 50 y 64 años
● 5, Si tiene 64 años o más
Errores de este tipo pueden generar:
- Tasas elevadas de rechazo o no
respuesta.
- Inconsistencias en la información.
- Problemas de interpretación de los
resultados
7. P1. INTRO + EDAD
Hola, quisiera hacerle unas breves preguntas de
opinión general.
Para comenzar pulse 1, si es menor de 18 años
TERMINAR
● 2, Si tiene entre 18 y 29 años
● 3, Si tiene entre 30 y 49 años
● 4, Si tiene entre 50 y 64 años
● 5, Si tiene 65 años o más
CUESTIONARIO
P2. SEXO
Pulse 1, Si es HOMBRE
● 2, si es MUJER
P3. CUAL ES EL MÁXIMO NIVEL EDUCATIVO ALCANZADO POR UD.?
Pulse 1, Si es primario completo o incompleto
● 2, Si es secundario completo
● 3, Si es secundario completo
● 4, Si es un terciario no universitario completo o incompleto
● 5, si es un universitario no universitario completo o incompleto
TIPS PARA UN CUESTIONARIO BIEN DISEÑADO
DEFINIR LAS SEGMENTACIONES QUE SE UTILIZARÁN PARA ANALIZAR LOS RESULTADOS:
SEXO, EDAD y NIVEL EDUCATIVO
10. Buenos días, estamos haciendo una encuesta sobre actualidad política
dirigida a personas que tengan entre 17 y 70 años y voten en Pcia. de Bs.
As. La encuesta dura unos minutos.
P1. FILTRO
• Por favor, si Ud. entre 17 y 70 años y vota en Pcia. de Bs. As., presione 1.
• Si no tiene esa edad o no vota en Pcia. de Bs. As, presione 2.
(FINALIZAR)
CUESTIONARIO
P23. Indique a qué género pertenece
· 1, Masculino
· 2, Femenino
P24. Indique a qué grupo de edad pertenece
· 1, Entre 16 y 30 años
· 2, Entre 31 y 50 años
· 3, Más de 50 años
DEFINIR LOS FILTROS DEL CUESTIONARIO: EDAD Y LUGAR DE VOTACIÓN
CUESTIONARIO
12. DAR OPCIÓN DE VOLVER A ESCUCHAR EL LISTADO CUANDO LAS OPCIONES DE RESPUESTA
SON EXTENSAS
P14. EL AÑO PRÓXIMO SE VOTARÁ PARA SENADOR NACIONAL POR LA PROVINCIA DE BS AS. LE VOY A NOMBRAR ALGUNOS POSIBLES
CANDIDATOS. ESCUCHE CON ATENCIÓN Y ELIJA A QUIEN HOY SE SIENTA MÁS INCLINADO A VOTAR. PUEDE VOLVER A ESCUCHAR EL
LISTADO AL FINAL.
● PULSE 1. SI VOTARÍA A SERGIO MASSA POR EL FRENTE RENOVADOR
● 2, A MARGARITA STOLBIZER POR EL GEN
● 3, A LILITA CARRIÓ POR CAMBIEMOS
● 4, A JORGE MACRI POR CAMBIEMOS
● 5 A CRISTINA KIRCHNER POR EL FRENTE PARA LA VICTORIA
● 6, A FLORENCIO RANDAZZO POR EL FPV-PJ
● 7 A DANIEL SCIOLI POR EL FPV-PJ
● 8 A NÉSTOR PITROLA POR El FRENTE DE IZQUIERDA
● 9, SI NO SABE
● 0, SI NECESITA VOLVER A ESCUCHAR EL LISTADO
CUESTIONARIO
14. P19. CUAL ES HOY SU SENTIMIENTO EN RELACIÓN A LA
SITUACIÓN DEL PAÍS: OPTIMISMO, ANGUSTIA, DECEPCIÓN,
ESPERANZA, ENOJO O INCERTIDUMBRE.
● PULSE 1 SI ES OPTIMISMO
● 2, SI ES ANGUSTIA
● 3, DECEPCIÓN
● 4, ESPERANZA
● 5, ENOJO
● 6, INCERTIDUMBRE
● 7, SI NO SABE
● 8, SI NECESITA VOLVER A ESCUCHAR EL LISTADO
CUESTIONARIO
P16. Si finalmente se presentaran las siguientes fórmulas:
1) Cristina Kirchner y Daniel Scioli, por el Kirchnerismo, 2)
Sergio Massa en alianza con Margarita Stolbizer, 3) Elisa
Carrió y Jorge Macri, por Cambiemos y 4) Florencio
Randazzo con otro dirigente del PJ y 5) una lista de
partidos de Izquierda, ¿A quién votaría?
● 1, Cristina Kirchner y Daniel Scioli
● 2, Sergio Massa y Margarita Stolbizer
● 3, Elisa Carrió y Jorge Macri
● 4, Florencio Randazzo con otro dirigente peronista
● 5, Lista de Izquierda
● 6, En blanco
● 7, No sabe
● 8, Volver a escuchar las opciones
ANTICIPAR LAS OPCIONES DE RESPUESTA EN EL ENUNCIADO DE LA PREGUNTA
15. PREGUNTAS CON MÁS DE 1 MENCIÓN DE RESPUESTA
CUESTIONARIO
P01. SI TUVIERA QUE ELEGIR UN SOLO
ATRIBUTO PARA DEFINIR AL CANDIDATO, CUÁL
DE ESTOS SERÍA: HONESTIDAD, CREDIBILIDAD,
CAPACIDAD DE TRABAJO, TRAYECTORIA,
SIMPATÍA, SENCILLEZ O CAPACIDAD DE
LIDERAZGO?
PULSE 1 SI ES LA HONESTIDAD
2. CREDIBILIDAD
3. CAPACIDAD DE TRABAJO
4, TRAYECTORIA IMPECABLE
5. SIMPATÍA
6. SENCILLEZ/HUMILDAD
7. CAPACIDAD DE LIDERAZGO
8 SI NO ELIGE NINGUNO DE ESTOS
9, SI NO SABE
SI P01 <= 8
P02. CUAL OTRO DE ESTOS ATRIBUTOS
ELEGIRÍA EN SEGUNDO LUGAR PARA
DEFINIR A GOYCOCHEA? SE LOS VUELVO A
MENCIONAR Y ELIJA SOLO UNO.
PULSE 1 SI ES LA HONESTIDAD
2. CREDIBILIDAD
3. CAPACIDAD DE TRABAJO
4, TRAYECTORIA IMPECABLE
5. SIMPATÍA
6.SENCILLEZ/HUMILDAD
7. CAPACIDAD DE LIDERAZGO
8, SI NO ELIGE NINGUNO DE ESTOS
9, SI NO SABE
SI P02 <= 8
P03. Y CUAL OTRO ATRIBUTO ELEGIRÍA EN
TERCER LUGAR?
PULSE 1 SI ES LA HONESTIDAD
2. CREDIBILIDAD
3. CAPACIDAD DE TRABAJO
4, TRAYECTORIA IMPECABLE
5. SIMPATÍA
6.SENCILLEZ/HUMILDAD
7. CAPACIDAD DE LIDERAZGO
8, SI NO ELIGE NINGUNO DE ESTOS
9, SI NO SABE
16. RE-PREGUNTA PARA QUIENES AÚN NO HAYAN DECIDIDO SU
VOTO
CUESTIONARIO
P15. En agosto del 2015 se llevarán a cabo las primarias
obligatorias y simultáneas para todos los partidos, en las que
se eligen los candidatos para las elecciones generales de
octubre, si las elecciones a Intendente de Escobar fueran hoy
y se presentaran los siguientes partidos, ¿en la interna de
cuál de ellos votaría?
PULSE 1, SI VOTARÁ Frente para la Victoria-PJ
● 2, A Frente Renovador
● 3, A Frente Amplio Unen
● 4. A Pro
● 5. A Frente de Izquierda y de los Trabajadores
● 6, Frente Unión por la Libertad y el Trabajo
● 7. SI Votará en blanco - impugnará
● 8, SI AÚN NO SABE
SI P07 = 8
P16. Aunque no lo tenga decidido, ¿a cuál votaría con
mayor probabilidad?
PULSE 1, SI VOTARÁ Frente para la Victoria-PJ
● 2, A Frente Renovador
● 3, A Frente Amplio Unen
● 4. A Pro
● 5. A Frente de Izquierda y de los Trabajadores
● 6, Frente Unión por la Libertad y el Trabajo
● 7. SI Votará en blanco - impugnará
18. CONOCIMIENTO + EVALUACIÓN DE UN
CANDIDATO
CUESTIONARIO
BAJO NIVEL DE CONOCIMIENTO
(dividir 2 preguntas)
P10. Ud. conoce a Jorge Macri?
● Si lo conoce PULSE 1
● 2. Si no lo conoce
Si P10 = 1
P11. ¿Qué opinión tiene de Jorge Macri?
● Si su opinión es muy buena PULSE 1.
● 2. si es buena
● 3. si es regular buena
● 4. si es regular mala
● 5. si es mala
● 6. es muy mala
● 7. No tiene opinión
ALTO NIVEL DE CONOCIMIENTO
(juntar en 1 pregunta)
P10. ¿Qué opinión tiene de María Eugenia Vidal?
● Si su opinión es muy buena PULSE 1.
● 2. si es buena
● 3. si es regular buena
● 4. si es regular mala
● 5. si es mala
● 6. es muy mala
● 7. si no lo conoce
● 8. si no sabe
19. ENFATIZAR LAS PALABRAS EN LAS CUALES SE QUIERE HACER HINCAPIÉ
CUESTIONARIO
P1. CUAL ES EL MÁXIMO NIVEL EDUCATIVO ALCANZADO POR UD ?
● PULSE 1 SI ES PRIMARIO COMPLETO O INCOMPLETO.
● 2, SI ES SECUNDARIO INCOMPLETO.
● 3, SI ES SECUNDARIO COMPLETO.
● 4, SI ES UN TERCIARIO NO UNIVERSITARIO COMPLETO O INCOMPLETO.
● 5, Si ES UNIVERSITARIO COMPLETO O INCOMPLETO.
LECTURA CLARA DE LOS TEXTOS
20. ROTACIÓN DE OPCIONES DE RESPUESTAS
CUESTIONARIO
¿Al pensar en YPF usted piensa principalmente en…?
Exploración, extracción de petróleo y producción de energía
presione 1
Estaciones de servicio, venta de naftas y lubricantes presione 2
No sabe presione 3
¿Cuál considera que es el aspecto más positivo de YPF?
El precio de sus naftas presione 1
Es una empresa nacional con historia presione 2
Es una empresa que invierte en el país y genera empleo presione 3
Es una empresa cercana, sus estaciones de servicio están en todas
partes presione 4
Es una empresa que refina la mayoría de los combustibles del país
presione 5
Ninguno presione 6
No sabe presione 7
¿Al pensar en YPF usted piensa principalmente en…?
Estaciones de servicio, venta de naftas y lubricantes presione 1
Exploración, extracción de petróleo y producción de energía
presione 2
No sabe presione 3
¿Cuál considera que es el aspecto más positivo de YPF?
Es una empresa que refina la mayoría de los combustibles del país
presione 1
Es una empresa cercana, sus estaciones de servicio están en todas
partes presione 2
Es una empresa que invierte en el país y genera empleo presione 3
Es una empresa nacional con historia presione 4
El precio de sus naftas presione 5
Ninguno presione 6
No sabe presione 7
21. ROTACIÓN DE BLOQUE DE PREGUNTAS
CUESTIONARIO
P3. Queremos conocer qué valoración tiene Ud. de los siguientes
funcionarios de los gobiernos nacional y de la Ciudad.
Si le parece que el desempeño en su función es…
· Muy buena, presione 1
· Buena, presione 2
· Regular, presione 3
· Mala, presione 4
· si no sabe o no lo conoce o no tiene opinión presione 5
ROTAR
p4. Ministro de educación de la Ciudad, Soledad Acuña
p5. Ministro de cultura de la Ciudad, Angel Mahler
p6. Jefe de gobierno de la Ciudad, Horacio Rodríguez Larreta
p7. Vicejefe de gobierno de la Ciudad, Diego Santilli
p8. Ministro de modernización de la Nación, Andrés Ibarra
p9. Ministro de transporte de la Nación, Guillermo Dietrich
Queremos conocer qué valoración tiene Ud. de los siguientes funcionarios
de los gobiernos nacional y de la Ciudad.
Si le parece que el desempeño en su función es…
· Muy buena, presione 1
· Buena, presione 2
· Regular, presione 3
· Mala, presione 4
· si no sabe o no lo conoce o no tiene opinión presione 5
ROTAR
p4. Ministro de transporte de la Nación, Guillermo Dietrich (ex 9)
p5. Ministro de modernización de la Nación, Andrés Ibarra (ex 8)
p6. Vicejefe de gobierno de la Ciudad, Diego Santilli (ex 7)
p7. Jefe de gobierno de la Ciudad, Horacio Rodríguez Larreta (ex 6)
p8. Ministro de cultura de la Ciudad, Angel Mahler (ex 5)
p9. Ministro de educación de la Ciudad, Soledad Acuña (ex 4)
22. CARACTERÍSTICAS DE iSurveyX® QUE PERMITEN DISEÑAR CUESTIONARIOS CORRECTAMENTE
HERRAMENTAL
NUEVAS FUNCIONALIDADES
● ADMINISTRADOR DE AUDIOS: graba audios online. Repositorio de audios
● TEST: muestra las respuestas en tiempo real
● Reportes de FRECUENCIAS por completas
● Reportes de FRECUENCIAS por completas y abandonadas hasta pX
● DTMF 0 reservado para REPLAY
TIPOS DE PREGUNTAS
● OPEN: graba audios
● CLOSE: acepta DTMF del 1 al 20
● DÍGITOS: acepta hasta 20 DTMF
FUNCIONALIDADES IMPORTANTES
● CONDICIONES: define quienes responden cada pregunta del cuestionario
27. ÍTEMS A TENER EN CUENTA AL MOMENTO DE ARMAR BASES
TELEFÓNICAS PARA ENCUESTAS POR IVR
● randomización de los TE a llamar.
● definir cuántos registros se quieren exportar para subir luego al panel
Recomendamos aproximadamente 100:1 para no cargar el MySQL
● RATIOS STANDARD
○ 1:30 sobre humanos que atienden
○ 1:50 sobre llamadas atendidas
● definir la segmentación geográfica por la cual se cuantificara el estudio:
LOCALIDAD, PARTIDO, COMUNA, ETC. TOOLS TO CSV
Otros items a considerar
● correcto formato de números telefónicos según dialplan proveedor SIP
● localidades con pocas bases telefónicas > definir estrategia de campaña
CAMPAÑAS. BASE TELEFONICA
28. ALGUNAS UTILIDADES DE iSurveyX QUE FACILITAN LA ADMINISTRACIÓN DE LAS CAMPAÑAS
● Plantillas de horario, permite:
○ definir horarios de llamado para encontrar masculinos
○ no molestar en horarios en los que los respondentes descansan
● Reciclado de causas de desconexión, permite:
○ definir qué causas se re-llaman y con qué intervalo de tiempo. esto es muy importante en
localidades con poca cantidad de teléfonos.
○ dependiendo de la cantidad de TE en existencia, se definen estrategias de rellamados diferentes
● Determinación de cantidad de canales para cada campaña, permite:
○ avanzar en forma // en varias campañas o por el contrario, priorizar campañas
● +INFO, permite:
○ monitorear en tiempo real el avance de cada campaña
● Reportes on-line, permite:
○ monitorear las respuestas de los entrevistados en tiempo real
● Múltiples proveedores SIP, permite:
○ optar a través de qué proveedor SIP se troncaliza las llamadas
CAMPAÑAS
32. Generalmente no es posible “controlar” todos los
parámetros poblacionales con cuotas al definir la muestra.
Si bien el principio de aleatoriedad del respondente
debería procurar una distribución genéricamente
adecuada, existen “distorsiones” por motivos culturales
que es necesario corregir (ej: tienden a responder más
mujeres que hombres, más gente mayor que jóvenes, etc).
CORRECCIÓN DE LA MUESTRA
Ejemplo ponderación
Para ello la ponderación de los resultados obtenidos
resulta una herramienta válida para completar el objetivo
de obtener una muestra representativa de nuestro
Universo de estudio.
La fórmula para realizar una ponderación de la muestra es
muy sencilla: Universo sobre muestra (N/n). Esto arroja el
factor de ponderación que, al ser aplicado, otorgará a cada
segmento su peso relativo en el Universo.
33. Antes de pasar al análisis propiamente dicho es
necesario realizar chequeos de consistencia, de modo
de detectar a tiempo posibles errores de diseño de
cuestionario y/o de programación.
También en esta instancia se pueden filtrar encuestas
fraudulentas (que marcan cualquier cosa solo para
escuchar las preguntas).
No obstante, es necesario ser precavidos en los
chequeos de consistencia utilizando para ello solo
variables objetivas y no de percepción/opinión, ya que
no puede asumirse que la opinión pública es
monocorde, coherente y libre de contradicciones.
CLEAN DE LA BASE DE DATOS
Dependiendo del cuestionario, algunos chequeos de
consistencia que se pueden realizar son:
- Verificar casos en que todas las variables figuran
con un mismo código (Ej: todos 1).
- Detectar casos en que todas o la mayor parte de
las preguntas fueron respondidas con “no
sabe/no contesta”.
- Chequear saltos y filtros por si hubiera errores de
cuestionario o programación.
- Detectar características socio-demográficas
contradictorias: por ejemplo, un jóven de 16 a 18
años jubilado o con Universitario completo.
35. Una vez obtenidos los datos y realizado el clean de la base se procede con la etapa de procesamiento y
análisis
● Contar herramientas básicas de análisis estadístico que permitan extraer un diferencial de información
con los datos obtenidos.
● Tener conocimiento del tema en estudio: sin necesidad de ser un experto en la materia es menester contar
con la información que posibilite alcanzar interpretaciones adecuadas.
● Romper prejuicios y preconceptos: Una de las tentaciones más habituales es querer “amoldar” los
resultados obtenidos a los esperados y “esconder bajo la alfombra” aquellos que nos sorprenden o
descolocan. Estar abierto a hallazgos y emergentes es una de las cualidades más valiosas de un buen analista.
● Los objetivos del estudio como horizonte: Esto, que vale para todas las etapas de la investigación, es un
elemento nada menor a la hora de analizar los resultados. Refrescar los objetivos e interrogantes iniciales,
permite distinguir lo relevante de lo anecdótico. En definitiva saber qué buscar es allanar el camino para
encontrarlo.
ANÁLISIS
36. Aperturas de la información obtenida: Permite analizar los datos de manera desagregada, comparando distintos
grupos de la población en estudio a partir de ciertas características comunes (por ejemplo: sexo, edad, nivel
educativo, estrato, etc.).
Ejemplo aperturas de la información - Evaluación de gestión de MM según edad - CABA - Jul 2016:
ALGUNAS HERRAMIENTAS DE ANÁLISIS
37. Análisis de clusters: en ocasiones los grupos o segmentos de interés no son previamente conocidos, sino
precisamente lo que se busca construir: por ejemplo, estableciendo perfiles de consumidores (en estudios de
mercado) o de perfil político (en estudios de OP).
Ejemplo aperturas de la información - Principal problema del país según perfil político - CABA - Jul 2016
ALGUNAS HERRAMIENTAS DE ANÁLISIS
38. Análisis longitudinal: la posibilidad de comparar indicadores a lo largo del tiempo permite establecer evoluciones y
tendencias, lo que constituye una herramienta fundamental para la previsión y construcción de hipótesis.
Ejemplo análisis longitudinal - Principal problema del país: Fuente Latinobarómetro
ALGUNAS HERRAMIENTAS DE ANÁLISIS
39. Análisis comparado: La mayoría de los indicadores cuantitativos adquieren real significación sólo al contrastarlos con otros.
Por ejemplo, decir que los argentinos tienen un 57% de satisfacción con la democracia adquiere otra relevancia si ubicamos
que es la más alta de América Latina.
Ejemplo análisis comparado - Satisfacción con la democracia: Fuente Latinobarómetro
ALGUNAS HERRAMIENTAS DE ANÁLISIS