10 lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

DIRPENDirección de Regulación, Planeación,
Estandarización y Normalización
Lineamientos para
la deﬁnición y aplicación
de pruebas en las operaciones
estadísticas
Agosto de 2014
10
CÓDIGO: DSO-030-LIN-01
VERSIÓN 1
FECHA: 23-09-2014

Lineamientos para la definición y aplicación de pruebas
en las operaciones estadísticas
2 DIRPEN DSO-030-LIN-10
Directora Técnica Dirección de Regulación, Planiﬁcación, Estandarización y
Normalización (DIRPEN)
Nelcy Araque García
Coordinación Regulación Estadística
Fredy Yahirs Rodríguez Galvis
Líder de Conceptualización y Diseño Estratégico
Grace Andrea Torres Pineda
Equipo técnico
Conceptualización y Diseño Estratégico
Aura María Moreno Gamba
Fredy Yahirs Rodríguez Galvis
Revisión de coherencia
Sonia Marcela Naranjo Morales
Agradecemos a las Coordinaciones de la DIRPEN y a las Direcciones Técnicas del DANE,
quienes contribuyeron con sus aportes en la elaboración de este documento

CONTENIDO
PRESENTACIÓN ......................................................................................... 4
INTRODUCCIÓN ........................................................................................ 5
1. CONCEPTOS BÁSICOS......................................................................... 6
2. PRINCIPIOS RELACIONADOS .............................................................. 7
3. ELEMENTOS NECESARIOS PARA LA DEFINICIÓN Y APLICACIÓN
DE PRUEBAS EN UNA OPERACIÓN ESTADÍSTICA................................... 8
4. TIPOS DE PRUEBAS ........................................................................... 12
5. OTROS TIPOS DE PRUEBAS................................................................ 19
BIBLIOGRAFÍA ......................................................................................... 22

PRESENTACIÓN
El Departamento Administrativo Nacional de Estadística (DANE), como coordinador del
Sistema Estadístico Nacional (SEN) y en el marco del proyecto de Planificación y Armonización
Estadística, trabaja por el fortalecimiento y consolidación del SEN mediante los siguientes
procesos: la producción de estadísticas estratégicas; la generación, adaptación, adopción
y difusión de estándares; la consolidación y armonización de la información estadística y la
articulación de instrumentos, actores, iniciativas y productos. Estas acciones tienen como fin
mejorar la calidad de la información estadística estratégica, su disponibilidad, oportunidad
y accesibilidad para responder a la gran demanda que se tiene de ella.
Consciente de la necesidad y obligación de brindar a los usuarios mejores productos, el DANE
desarrolló una serie de lineamientos que contribuyen a la visualización y el entendimiento
del proceso estadístico. Allí se presentan de manera estándar, completa y de fácil lectura las
principales características técnicas de los procesos y subprocesos de cada investigación, lo
que permite su análisis, control, replicabilidad y evaluación.
Esta serie de documentos favorecen la transparencia, confianza y credibilidad de la calidad
técnica de la institución para un mejor entendimiento, comprensión y aprovechamiento de
la información estadística. Tal información es producida bajo los principios de coherencia,
comparabilidad, integralidad y calidad de las estadísticas.

INTRODUCCIÓN
La importancia que representa la información estadística para la sociedad y la necesidad
cada vez mayor de satisfacer los requerimientos de información de todos los usuarios, hace
indispensable que las entidades pertenecientes al SEN cuenten con instrumentos adecuados
para generar indicadores que reflejen la realidad nacional. Es así que para determinar
la veracidad y consistencia de los instrumentos y el mejoramiento en el procesamiento de
los datos, el personal encargado de la producción estadística debe implementar buenas
prácticas estadísticas para probar el diseño de las operaciones.
Es por ello que es indispensable dar a conocer a los productores de estadísticas las diferentes
técnicas de prueba que permitan verificar la estructura y funcionalidad de cada uno de los
elementos necesarios para llevar a cabo una operación estadística. El desarrollo de pruebas
contribuirá con el mejoramiento de la calidad en los productos estadísticos y de la satisfacción
de las necesidades de los usuarios.
Es así como se presenta a continuación el documento para la implementación de buenas
prácticas relacionado con la definición y aplicación de pruebas, compuesto por tres partes:
la primera parte establece los conceptos y principios relacionados con la aplicación de
pruebas; la segunda menciona los elementos para la definición y aplicación de pruebas, y
en la tercera parte se definen los diferentes tipos de pruebas.

1. CONCEPTOS BÁSICOS
Exactitud:
Grado con el cual los datos estiman correctamente la realidad que intentan medir, es decir,
la exactitud se mide por la diferencia entre el valor de los datos obtenidos y entregados al
público y su valor real (OCDE, 2003).
Operación estadística:
Conjunto de procesos y actividades que parte de la recolección sistemática de datos y
conduce a la producción de resultados agregados (DANE, 2011).
Prueba:
Ensayo o experimento que se hace de algo, para saber cómo resultará en su forma definitiva
(RAE).

2. PRINCIPIOS RELACIONADOS
La realización de pruebas a los instrumentos (cuestionarios, formatos, manuales, entre otros),
informáticos y procesos está enmarcada en el cumplimiento de prácticas internacionales
establecidas por diferentes organismos y particularmente por el CNBP. Esto sucede con
el objetivo de mejorar la precisión y fortalecer la calidad del diseño, los instrumentos, los
procesos de recolección y procesamiento de datos y la generación y análisis de resultados.
En este sentido, los siguientes son los principios y buenas prácticas que enmarcan la temática
en la aplicación de pruebas en el desarrollo de una operación estadística:
Principio 8. Selección de las fuentes estadísticas: las entidades pertenecientes al SEN deben
seleccionar las fuentes de información con criterio estadístico, teniendo en cuenta el costo y
la carga a los encuestados.
Principio 10. Calidad en el proceso estadístico: las entidades pertenecientes al SEN deben
implementar procedimientos de calidad en todas las etapas del proceso estadístico.
Principio 12. Exactitud y confiabilidad: las entidades pertenecientes al SEN deben
garantizar que las estadísticas oficiales sean precisas y confiables.

3. ELEMENTOS NECESARIOS PARA LA DEFINICIÓN
Y APLICACIÓN DE PRUEBAS EN UNA OPERACIÓN ESTADÍSTICA
Las operaciones estadísticas están constituidas por una serie de elementos que de acuerdo a
su contexto, requieren ser validados a través de la aplicación de diferentes pruebas con el fin
de minimizar la aparición de errores. A continuación, se presentan los principales elementos
a tener en cuenta:
3.1. Instrumentos de recolección
Son entendidos como los cuestionarios (ya sea electrónicos o físicos) necesarios para la
obtención de información de las diferentes unidades estadísticas. Estos se constituyen en
instrumentos fundamentales para conocer la realidad nacional.
El DANE define al cuestionario «como un instrumento de recolección de datos, adecuadamente
estandarizado, que traduce de manera concreta los objetivos de una operación estadística.
Usualmente está caracterizado por un conjunto de preguntas diseñadas y organizadas
para obtener información acerca de un individuo o un tópico, a través de un encuestado o
entrevistado» (2013).
Frente a la importancia que representa el cuestionario como elemento para la recolección de
información, es necesario identificar la funcionalidad de los siguientes aspectos:
• Comprensión, es decir, establecer un lenguaje claro y entendible, según el público al que
va dirigido o según la fuente de información.
• Redacción de las preguntas (fraseos).
• Secuencia de capítulos y preguntas.
• Registro de respuestas.
• Flujos de preguntas.
• Consistencia y coherencia.
• Tiempo de diligenciamiento.
Es importante tener en cuenta que la evaluación de los aspectos se debe realizar de acuerdo
con los objetivos de las operaciones estadísticas, de los capítulos y de las preguntas del
cuestionario.

3.2. Documentación tipo parámetro
Corresponde a aquella documentación que establece el cómo y qué se debe hacer, brindando
lineamientos para el desarrollo de elementos necesarios para la producción de información
estadística. Entre estos documentos se encuentran las metodologías, las guías, los manuales,
los instructivos, los procedimientos, entre otros. De la misma manera, que el instrumento de
recolección, los documentos tipo parámetro entregados al personal encargado deben ser
evaluados, validando los siguientes aspectos:
• Comprensión.
• Facilidad de uso.
• Facilidad de acceso.
• Integridad.
• Oportunidad en el suministro.
• Control documental.
• Precisión de contenido
3.3. Herramientas tecnológicas
Para la recolección o el acopio de datos es necesario contar con instrumentos que permitan
de manera ágil y segura obtener y procesar los datos suministrados por los encuestados o
las fuentes. De esta manera, para el desarrollo de la captura de información existen múltiples
instrumentos que permiten el acopio automático de los datos, dentro de ellos se encuentran
los Dispositivos Móviles de Captura (DMC), que permiten generar un mayor control por parte
de los supervisores al personal encargado de llevar a cabo las entrevistas.
En el DANE se cuenta con dispositivos electrónicos como los DMC, que corresponden a un
computador de bolsillo, el cual permite la programación del cuestionario para su aplicación
directamente en campo. Asimismo, algunas entidades cuentan con formularios electrónicos
para las operaciones estadísticas que no requieren de entrevista directa, sino por el contrario
son diligenciados directamente por la fuente o de manera asistida.
Los aspectos a ser evaluados corresponden a:
• Funcionamiento.
• Facilidad de uso.
• Tiempo de uso.

• Recepción de información.
• Entrega o transmisión de datos.
• Parámetros de validación.
• Capacidad y seguridad.
3.4. Proceso de Sensibilización
Es una actividad necesaria en el desarrollo de las operaciones estadísticas que permite dar a
conocer los objetivos de la misma y reflexiona sobre la necesidad de generar la información
y sobre los deberes y derechos que tienen los entrevistados.
Por lo anterior, se considera relevante realizar pruebas a los siguientes elementos de la
sensibilización: la promoción de la operación; los materiales y los procedimientos para llevar
a cabo la sensibilización a comunidades involucradas o grupos interesados; por ejemplo:
minorías (indígenas, afrocolombianos, LGTBI, etc.).
3.5. Entrenamiento
El entrenamiento a los diferentes integrantes del equipo de trabajo (encuestadores,
supervisores, coordinadores, entre otros) y los aspectos que integran el buen desempeño de
los involucrados en la aplicación de los instrumentos de recolección deben ser sometidos a
pruebas, así como las ayudas que tienen los encuestadores. Otros elementos a probar son:
• Interpretación, claridad y dominio de los conceptos.
• Introducción a los encuestados sobre los objetivos de la operación.
• Apropiada respuesta de los encuestadores a las inquietudes de las fuentes.
• Procesos y estrategias de evaluación.
• Manejo y uso de los instrumentos.
• Equipos de trabajo.
• Facilidad de ubicación en terreno.
• Seguimiento de instrucciones.
• Solución de situaciones planteadas.
• Habilidades en desarrollo de entrevistas.

3.6. Proceso de Recolección
Las actividades que se realizan durante la recolección de la información tienen un impacto
directo en la calidad del producto estadístico. Es por ello que se deben tomar las medidas
necesarias para tener la mayor certeza sobre la idoneidad de los encuestadores y la forma
como se están recolectando los datos.
Los elementos a tener en cuenta y que requieren ser sometidos a pruebas son:
• Comportamiento de los actores en campo.
• Calidad de los datos y de los recursos (físicos, humanos, tecnológicos y financieros).
• Tiempos de diligenciamiento del instrumento (rendimientos) y desplazamientos.
• Actitud del encuestador.
• Receptividad del encuestado.
• Cartografía (adecuada georreferenciación).
• Funcionalidad de los instrumentos y equipos de recolección.
• Tiempos y requerimientos para la contratación del personal operativo encargado de la
recolección.
• Contratación de perfiles adecuados.
3.7. Procesamiento y generación de resultados
Luego de recolectar o acopiar los datos, se lleva a cabo la consolidación de la base de datos
y su procesamiento con el fin de garantizar la consistencia de la información estadística que
se pondrá a disposición de los usuarios.
Algunos aspectos a tener en cuenta son:
• Verificar programas informáticos con datos de prueba.
• Calcular tasas de imputación.
• Controles de consistencia en los aplicativos de captura de la información
• Analizar resultados preliminares.

4. TIPOS DE PRUEBAS
Con el objetivo de identificar la funcionalidad y utilidad de los elementos necesarios para el
desarrollo de una operación estadística, es necesario llevar a cabo pruebas que permitan
validar su consistencia, ya sea a través de una prueba a nivel general como específica, por
elemento. Las inconsistencias o inconvenientes identificados permitirán reducir los errores al
momento de ejecutar la operación estadística.
Dentro de las principales pruebas a desarrollar se encuentran:
4.1. Prueba de escritorio
Estas abordan distintos elementos de la operación estadística y permiten identificar posibles
debilidades en el desarrollo de las actividades. El desarrollo de este tipo de prueba está
enmarcado dentro del mismo equipo de trabajo de la temática u operación estadística y
otros integrantes de equipos de trabajo transversales que apoyan la operación estadística y
quienes son los directos responsables del diseño de los diferentes elementos.
Las pruebas de escritorio deben ser desarrolladas por el equipo temático encargado de la
elaboración del instrumento y no deben involucrar personal operativo. Este tipo de prueba es
desarrollada, principalmente, por el DANE en sus sistemas de pruebas. Es denominada como
un operativo que permite verificar el correcto funcionamiento del diseño, la construcción,
la integridad y el uso del producto. Este tipo de pruebas permitirá validar la calidad de los
elementos y garantizar su funcionalidad en etapas posteriores.
Dado que la aplicación de las pruebas de escritorio garantiza el adecuado funcionamiento
de los elementos necesarios para el desarrollo de una operación estadística, a continuación
se mencionan aquellos que son evaluados en este tipo de prueba:
• Instrumento de recolección.
• Herramientas tecnológicas.
• Documentación tipo parámetro.

Posterior a la evaluación de los elementos, se requiere hacer entrega de los resultados de
las pruebas de escritorio para identificar las debilidades que presentan estos de acuerdo
con los objetivos planteados y de esta manera generar ajustes y evitar futuros errores. A
continuación, se presentan buenas prácticas relacionadas:
• Que los elementos hayan sido probados de acuerdo con su funcionalidad por parte
del personal encargado, y que a su vez estos certifiquen que dichas pruebas fueron
realizadas.
• Que el personal que desarrolló la(s) prueba(s) genere un certificado firmado, relacionado
con la entrega de resultados del elemento probado, para formalizar la aplicación de la
prueba.
• Que los productos probados sean entregados de manera oportuna de acuerdo con el
cronograma de actividades establecido para tal fin.
• Que se elabore un informe de resultados, en el cual se plasmen las principales novedades
(debilidades y fortalezas) identificadas con el desarrollo de la(s) pruebas(s).
4.2. Pruebas/Entrevistas cognitivas1
Las entrevistas cognitivas son un método de prueba para obtener información cualitativa sobre
cómo las preguntas son interpretadas y contestadas por los encuestados a fin de revisarlas
y eliminar las posibles deficiencias en su construcción. Así, el objetivo general de este tipo
de prueba es reducir los errores en las respuestas mediante el análisis de la información
aportada por los entrevistados durante la prueba.
Cuando se lleve a cabo una entrevista cognitiva se deben tener en cuenta dos aspectos
importantes para asegurar su correcta aplicación (Brancato, et al., 2004):
1. Las entrevistas cognitivas son de naturaleza cualitativa.
2. El proceso cognitivo se enfoca en identificar errores de interpretación de la(s)
pregunta(s) por parte de los entrevistados.
Asimismo, se debe tener en cuenta las siguientes buenas prácticas estadísticas:
• Las entrevistas cognitivas deben ser aplicadas cuando exista un primer borrador del
cuestionario que va a ser diligenciado y que se identifiquen las preguntas o temáticas que
requieren pruebas cognitivas. (Preguntas objetivo o target).
1 Contextualización basada en el Seminario Taller Pruebas Cognitivas, desarrollado por el DANE en la ciudad de Bogotá.

• La forma de abordar las entrevistas cognitivas debe enfocarse en cómo son interpretadas,
por parte de los entrevistados, las preguntas objeto de estudio.
• Para la formulación de las pruebas es importante tener una idea o hipótesis acerca de
cuál o cuáles dificultades cognitivas podrían existir sobre la pregunta.
• Las pruebas cognitivas nunca deben reemplazar las pruebas cuantitativas realizadas
a las preguntas. Por el contrario, estas deberán ser programadas posteriormente a la
aplicación de las pruebas cognitivas y a la realización de los posibles ajustes señalados.
• Las entrevistas cognitivas deben ser desarrolladas para investigar si los encuestados
comprendieron las preguntas de la encuesta en la forma en la que fue propuesta por los
diseñadores de la misma.
• El número de entrevistas cognitivas a desarrollar se define según el tema a evaluar y se
trata de una muestra intencional. Las entrevistas cognitivas pueden ser estructuradas,
abiertas o semiestructuradas.
Para el desarrollo de las pruebas cognitivas se deben tener en cuenta las siguientes etapas
(Statistics Division Economic and Social Commission for Asia Pacific Region. 2010):
i Desarrollo del cuestionario.
i Selección y entrenamiento de los entrevistadores.
i Practica de las entrevistas cognitivas.
i Selección de los encuestados.
i Toma de notas y grabación (audio o video).
i Transcripción de audios.
i Resumen de notas.
i Captura de notas en software que facilite el análisis.
i Análisis de la información.
i Elaboración de informe.
Como se mencionó anteriormente, las pruebas cognitivas se enfocan a evaluar una o varias
preguntas objetivo, seleccionadas por los responsables del formulario, el producto que se
obtenga (informe) debe ser insumo para cualquier cambio que se realice a dichas preguntas.
Los resultados obtenidos de las pruebas cognitivas aplicadas se constituyen en herramientas
fundamentales para el mejoramiento de los operativos de campo, es así como se presentan
los siguientes aspectos a considerar para la entrega de resultados:

• El tiempo transcurrido entre la prueba cognitiva y el informe de resultados debe ser el más
corto posible, a fin de poder ajustar las preguntas para que continúe la aplicación de otro
tipo de pruebas identificadas en el Plan General de Pruebas.
• El informe debe dar razón de los diferentes patrones de interpretación utilizados por las
personas entrevistadas para cada una de las preguntas objetivo sujetas a evaluación.
• El informe igualmente debe brindar información sobre la utilización de las opciones de
respuesta de las preguntas objetivo.
• El informe debe contener información sobre las preguntas objetivo sujetas de evaluación;
las preguntas de sondeo cognitivo que se hayan diseñado; aquellas preguntas extendidas
que pudieran haberse utilizado, y las preguntas adicionales desarrolladas para ser
diligenciadas por los entrevistadores.
4.3. Pruebas piloto
Estas pruebas son realizadas con el objetivo de medir en gran escala la funcionalidad de
las técnicas y los elementos necesarios para el desarrollo de una operación estadística. De
esta manera, dichas pruebas brindan información específica, ya que permiten examinar la
capacitación y la carga de trabajo de los encuestadores, así como las características del
trabajo de campo, entre otros aspectos.
Algunas buenas prácticas recomendadas por la Organización de las Naciones Unidas son:
• Al momento de llevar a cabo una prueba piloto, se debe establecer en el cuestionario
preliminar un espacio que permita indicar el tiempo total de duración de cada módulo;
esto permite identificar el tiempo requerido para su desarrollo.
• En la prueba piloto se deben probar tanto el cuestionario, como el plan de trabajo del
operativo de campo, los métodos de supervisión, los manuales y la entrada de datos.
• La muestra seleccionada para llevar a cabo la prueba piloto debe ser representativa de
la población.
• La muestra debe ser seleccionada de acuerdo con los objetivos establecidos para la
prueba piloto.
Para el desarrollo de las pruebas piloto se deben considerar las siguientes etapas (Statistics
Division Economic and Social Commission for Asia Pacific Region. 2010):
i Desarrollo del cuestionario.
i Entrenamiento a los encuestadores.

i Selección y tamaño de la muestra.
i Análisis de los resultados.
i Revisión de las preguntas.
Con el desarrollo de una prueba piloto se debe medir la funcionalidad de uno o varios de los
elementos mencionados como son:
i Instrumentos de recolección.
i Documentación tipo parámetro.
i Herramientas tecnológicas.
i Proceso de sensibilizaciones.
i Entrenamiento (virtual y presencial).
i Proceso de recolección.
Otros elementos a probar corresponden a:
i Plan de pruebas.
i Elementos cartográficos.
i Recolección y procesamiento de datos.
i Tiempo de duración del entrenamiento: lo cual permite identificar la carga de trabajo
para cada encuestador.
i Estructura del entrenamiento: permitiendo estructurar el diseño de la capacitación.
i Perfiles: mediante el cual se identifica el grado de conocimiento y las capacidades del
personal operativo.
i Alcance temático: permite validar los conceptos de las temáticas incluidas y los
resultados.
i Instrumentos de monitoreo: los cuales corresponden a las planillas e indicadores para
la supervisión del operativo.
Asimismo, deben ser evaluadas actividades como:
i Selección de personal.
i Contratación y consecución de los soportes correspondientes.
i Supervisión y coordinación.
i Transmisión y comunicaciones.
i Consolidación y procesamiento.
i Generación de resultados.

Con el objetivo de realizar los ajustes que se requieran, es indispensable contar con los
resultados de la prueba piloto, ya que estos servirán de insumo para el mejoramiento del
operativo de campo y evitar futuras inconsistencias. Por lo tanto, es relevante considerar las
siguientes buenas prácticas:
• Los resultados de la prueba piloto no deben ser usados para proporcionar estimaciones
sobre la población, por el contrario deben ser usados para mejorar las preguntas y
patrones de respuesta (Grupo Washington, 2010).
• Los resultados deben ser usados para ajustar el diseño de los instrumentos, las herramientas
tecnológicas y la documentación metodológica.
• Debe transcurrir un periodo de tiempo suficiente entre las pruebas piloto y el operativo
real, con el objetivo de contar con suficiente tiempo para el análisis de los resultados
obtenidos y el desarrollo de los ajustes que se requieran.
4.4. Censos experimentales
Este se constituye como un ensayo general del operativo de campo final, especialmente en
operaciones censales. En él se evalúan de manera conjunta y global todos los elementos
necesarios de la operación estadística, de tal manera que los resultados obtenidos con
el desarrollo de este tipo de prueba permiten inferir de manera más clara los aspectos
relacionados con la funcionalidad de los elementos en cada una de las etapas para la
ejecución de un censo.
Dentro de las buenas prácticas estadísticas propuestas se encuentran:
• El censo experimental debe tener en cuenta todas las etapas del censo para evaluar el
funcionamiento de todo el plan censal, así como su organización (CEPAL, 2001).
• Implementar el censo experimental en condiciones similares a las que se desarrollaría de
forma real y aproximadamente con un año de anterioridad.
• Se debe desarrollar el censo experimental en zonas tanto rurales como urbanas, con el
objetivo de obtener un mayor alcance y un mejor análisis de resultados.
Con el desarrollo de los censos experimentales se ponen a prueba en su totalidad los elementos
necesarios para la ejecución del censo, dado su alcance y completitud. De tal manera los
elementos a probar corresponden a:

i Instrumento de recolección y control.
i Documentación tipo parámetro.
i Herramientas tecnológicas.
i Proceso de sensibilización.
i Entrenamiento.
i Proceso de Recolección (incluida la supervisión y coordinación).
i Procesamiento de datos y generación de resultados de la prueba (estos resultados no
deben ser considerados oficiales).
En el censo experimental es indispensable contar con resultados que permitan evidenciar la
funcionalidad y efectividad de los elementos censales, es así como, se presentan las siguientes
buenas prácticas:
• Los equipos de trabajo responsables deben emitir informes de gestión y ejecución que
permitan brindar seguimiento a las actividades desarrolladas en el censo experimental.
• Elaborar un informe final detallado en el que se especifiquen las actividades ejecutadas
y los principales resultados obtenidos, con el propósito de establecer un documento de
referencia para el desarrollo de actividades futuras.

5. OTROS TIPOS DE PRUEBAS
5.1. Grupos focales
Corresponde a una técnica de entrevistas mediante la cual los encuestados son entrevistados
en grupo (OCDE, 2013). Es considerado el principal método para probar el instrumento de
recolección, los conceptos y el objetivo temático de la operación estadística.
Acerca de los grupos focales se puede afirmar lo siguiente:
• Los grupos focales y entrevistas en profundidad son los principales métodos de prueba,
con relación a la validación y concertación de los conceptos y temas a los encuestados
potenciales.
• Son el método apropiado, si el objetivo es obtener una visión general del tema, desde la
perspectiva de los encuestados y comprender el contexto social de la investigación, así
como entender cómo piensan y hablan sobre un tema.
• Uno de los elementos esenciales a probar en los grupos focales son los conceptos, en
especial en las nuevas operaciones estadísticas que se debe explorar si los conceptos e
indicadores de los usuarios son compatibles con los que los encuestados tienen en mente.
En la organización de grupos focales se debe tener en cuenta (Brancato, et al., 2004 p. 18):
• Invitar de 6 a 10 participantes.
• Los participantes del grupo focal no deben ser tan heterogéneos, de lo contrario, la
discusión puede llegar a ser bastante confusa y poco estructurada. Por tanto, se recomienda
invitar varios grupos de discusión con el objetivo de explorar temas específicos.
• Las personas que trabajan en el mismo grupo; por ejemplo, los supervisores y los
empleados, o profesores y estudiantes, no deben estar inmersos en el mismo grupo de
enfoque.
• Debe haber un moderador para estructurar el debate.
• Seleccionar y entrenar al moderador.
• Duración de la discusión en grupos focales debe ser de máximo una hora y media.
• Definir el objetivo de la discusión en el grupo y los temas principales.
• Definir los aspectos y enfoques críticos a tener en cuenta.
• Organizar varios grupos focales.

• Revisar la fecha, lugar y equipo necesario para efectuar el grupo focal.
• Invitar a los participantes.
• Revisar el cumplimiento del cronograma para cada una de las actividades programadas,
por ejemplo, el reclutamiento de los participantes.
• Considerar la posibilidad de retribuir a los participantes por su tiempo y gastos de viaje.
• Identificar los colaboradores y definir la forma para obtener la información necesaria que
facilite la elaboración de los informes, por ejemplo, grabar en audio y vídeo.
En estos grupos se tiene como fin:
• Entender cómo los posibles encuestados utilizan y entienden los términos relacionados
con el tema.
• Igualmente busca entender cómo perciben las preguntas del cuestionario en términos de
sensibilidad o dificultad.
• Probar la secuencia, orden, coherencia y estructura del instrumento de recolección.
5.2. Grupo de expertos
A diferencia de los grupos focales que evalúan el punto de vista de los proveedores de los
datos, los grupos de expertos tienen como fin la realimentación por parte de los usuarios
de la información. Estos grupos utilizan el primer borrador del cuestionario, enfocando la
revisión en el instrumento de recolección. Al igual que en los grupos focales también se
asigna un moderador.
Los grupos de expertos tienen como objetivo el asegurar que el cuestionario permita recolectar
los datos necesarios para cumplir con los objetivos para los cuales fue diseñada la operación
estadística y para verificar el diseño y las preguntas. Es así como se enfoca en:
i Los términos y la redacción de las preguntas.
i La estructura de las preguntas.
i Las opciones de respuesta.
i El orden de las preguntas.
i Los flujos del cuestionario.
i El entrenamiento a los entrevistadores sobre la administración y control del cuestionario.
i Disposición de los encuestadores.
i Los errores de tipografía.
i Manejo de algunos conceptos teniendo en cuenta las diferencias culturales entre regiones.

Existen dos formas de moderar y coordinar el grupo; por una discusión estructurada sobre
cada pregunta con un sistema de numeración, que diligencia el cuestionario antes de la
reunión o, un debate menos estructurado en cada pregunta, pero sin una lista de numeración
estandarizada. Las siguientes son recomendaciones para el desarrollo de este tipo de grupos:
• Las revisiones de expertos deben llevarse a cabo durante la fase inicial del proceso de
pruebas.
• Son apropiadas porque no tienen costos tan elevados como otros métodos y bastante fácil
de aplicar.
• Los resultados de las evaluaciones de expertos deben considerarse como una orientación
hacia los potenciales problemas en las preguntas, que a su vez requieren otras pruebas
posteriormente.

BIBLIOGRAFÍA
Brancato, et al. (2006). Handbook of Recommended Practices for Questionnarie Development
and Testing in the European Statistical System. European Commission Grant Agreement.
Recuperado de: http://epp.eurostat.ec.europa.eu/portal/page/portal/
research_methodology/documents/Handbook_questionnaire_development_2006.pdf
Comisión Económica para América Latina. (2011). Las pruebas piloto para incluir a pueblos
indígenas y afrodescendientes: Experiencias y lecciones aprendidas.
Recuperado de: http://www.eclac.cl/publicaciones/xml/9/45609/Modulo4-full.pdf
DeMaio, T. et al. Improving Survey Quality Through Pretesting. Recuperado de: http://www.
census.gov/srd/papers/pdf/sm98-03.pdf
Departamento Administrativo Nacional de Estadística (DANE). (2011). Resolución 1503
de 16 de noviembre de 2011. Recuperado de: http://www.dane.gov.co/files/acerca/
Normatividad/Resolucion1503_2011.pdf
_ (2005). Guía y protocolo de pruebas de escritorio.
_ (2013). Sistema de Consulta de Conceptos Estadísticos.
_ (2013). 3er Censo Nacional Agropecuario. (2013).
Recuperado de: http://www.dane.gov.co/cna/index.php/acercadecenso/pilotos
Instituto Nacional de Estadística e Informática. (2012). IV Censo Nacional Agropecuario
2012. Plan Directriz. Recuperado de: http://www.fao.org/fileadmin/templates/ess/
ess_test_folder/Workshops_Events/Census_Peru_2012/Technical_documents/Census_
guidelines_Peru.pdf
Organization for Economic Co-operation and Development (OECD). (2013). Glosario de
Términos Estadísticos. Recuperado de: http://stats.oecd.org/glossary/detail.asp?ID=4899
_ (2003). Quality Framework and Guidelines for OECD Statistical Activities.
Recuperado de: http://search.oecd.org/officialdocuments/displaydocumentpdf/?cote=std/
qfs(2011)1&doclanguage=en Organización de las Naciones Unidas. (2007).
Encuestas de hogares en los países en desarrollo y en transición. Recuperado de: http://
unstats.un.org/unsd/publication/seriesf/seriesf_96s.pdf

Organización de las Naciones Unidas para la Agricultura y la Alimentación. (1998). Censos
Agropecuarios y Género – Conceptos y Metodología. Recuperado de: http://www.fao.org/
docrep/004/x2919s/x2919s06.htm#bm6.2.11
Real Academia de la Lengua. (RAE). Diccionario de la lengua española. Recuperado el 18
de noviembre 2013, de: http://lema.rae.es/drae/?val=test.
Statistics Division Economic and Social Commission for Asia Pacific Region. (2010). Guidelines
for cognitive and pilot testing of questions for use in surveys. Recuperado de: http://www.
unescap.org/stat/disability/Disability-question-testing-guidelines.pdf

10 lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (20)

Similar a 10 lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

Similar a 10 lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas (20)

Último

Último (15)

10 lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas