Evaluación del impacto social de las Lanzaderas de Empleo

PROYECTOS DE EMPLEABILIDAD JOVEN FUNDACIÓN TELEFÓNICA
Elaborado por
Redcrea
PROGRAMA DE EMPLEABILIDAD
JOVEN DE FUNDACIÓN TELEFÓNICA
EVALUACIÓN DEL
IMPACTO SOCIAL DE LAS
LANZADERAS DE EMPLEO

EVALUACIÓN DEL

E
l problema del desempleo juvenil en España
presenta importantes desafíos. El 46% de
los jóvenes se encuentra en situación de
desempleo, lo que perjudica su desarrollo
personal y profesional. Desde el 2014 Fundación
Telefónica viene realizando diferentes acciones
bajo el Programa de Empleabilidad Joven ‘Todos
Incluidos’, cuyo objetivo es mejorar las capacidades,
competencias y habilidades de jóvenes en desventaja
social para incrementar sus oportunidades de
inserción socio-laboral.
El presente ‘Informe de Evaluación de Impacto
Social’ de las Lanzaderas de Empleo y
Emprendimiento Solidario, una de las actuaciones del
Programa, responde a la convicción y determinación de
Fundación Telefónica de afrontar con el máximo rigor el
problema del desempleo juvenil. Desde su concepción,
el Programa de Empleabilidad Joven de Fundación
Telefónica se sustenta sobre tres líneas estratégicas: la
intervención directa, la generación de conocimiento y
la movilización. A su vez se articula sobre los siguientes
principios de actuación:
• El desempleo juvenil es una problemática
que perjudica el desarrollo futuro de
cualquier sociedad y debe ser abordado
con implicación y compromiso.
• La intervención social debe estar
enfocada en promover oportunidades
reales de inserción al mundo laboral.
Evaluar para conocer
y mejorar la batalla
contra el desempleo
juvenil
• Co-responsabilidad de los diferentes
agentes sociales implicados en el
proceso de transformación social.
• Intervención público-privada, y en red,
es decir, articula procesos de cooperación
entre todos los agentes sociales e
institucionales públicos y privados que
deben comprometerse en la protección y
desarrollo de la juventud.
• Alineación y articulación con
las políticas públicas. Cualquier
intervención social que se desarrolle debe
estar apoyada sobre las políticas públicas
y debe contribuir con ellas.
En este escenario entendemos que todo proyecto de
intervención social requiere de un proceso riguroso de
evaluación de su impacto para identificar los aspectos
clave que contribuyen en la mejora de las condiciones
de vida de las personas.
Es por ello que resulta de vital importancia poner el
acento en que el presente ‘Informe de Evaluación de
Impacto Social’ responde a tres necesidades y objetivos
fundamentales: conocer los efectos y cambios
producidos y atribuibles al proyecto ‘Lanzaderas de
Empleo y Emprendimiento Solidario’; compartir la
experiencia para que pueda ser replicada y contribuya a
promover la cultura de evaluación de impacto social
en el desarrollo de proyectos sociales; y rendir cuentas
de manera transparente a la sociedad.
Deseamos que el estudio sirva para enriquecer
conocimientos y permita ampliar la comprensión del
problema del desempleo juvenil, e inspire a otras
instituciones públicas y privadas a sumar esfuerzos
para combatir con firmeza este problema. Es una
obligación y un compromiso que debemos asumir con
firmeza, convicción y determinación.
Emilio Gilolmo
Vicepresidente Ejecutivo de Fundación Telefónica
Sobre este informe
Informe de Evaluación
4
IMPACTO SOCIAL DE LAS LANZADERAS DE EMPLEO

F
ijar un nuevo rumbo a las políticas de inserción
laboral, más acorde al escenario económico actual,
al perfil de las personas desempleadas y a las
necesidades de las empresas. Con este objetivo
pusimos en marcha en 2013 el programa Lanzaderas de
Empleo en Fundación Santa María la Real.
Contábamos con un antecedente de éxito: las
Escuelas Taller, que han funcionado durante varias
décadas con más de 700.000 participantes. Sin
embargo, la situación requería un giro de estrategia, un
salto cualitativo, porque a los problemas del presente y
del futuro no les podemos aplicar recetas del pasado.
Por eso surgen las lanzaderas, para aportar nuevas
soluciones o alternativas a la lacra social del
desempleo, que pasan por eliminar las etiquetas
peyorativas asociadas al paro y por centrar el foco
de atención en las personas desempleadas, para
devolverles la confianza, la autoestima y la motivación;
para hacerlas visibles y convertirlas en protagonistas
de una nueva estrategia que reclama más compromiso,
proactividad y solidaridad de todos los actores que
intervienen y participan en el mapa del fomento del
empleo.
Bajo esta premisa, en 2013 comenzaron a funcionar
las cinco primeras lanzaderas, las primeras
experiencias piloto en Aguilar de Campoo (Palencia)
y Cantabria, con equipos muy variopintos de personas
desempleadas que, guiados por un coordinador o coach,
se reunían varios días a la semana para reforzar sus
competencias, mejorar sus habilidades, complementar
Lanzaderas de
Empleo, una nueva
receta contra el
desempleo
sus conocimientos y conseguir un trabajo para todos.
Los buenos resultados obtenidos facilitaron la extensión
del modelo durante los dos siguientes años, logrando la
implicación de especialistas, voluntarios y empresas
de diversos sectores; administraciones públicas y
entidades privadas como Fundación Barclays, Obra
Social “la Caixa” y especialmente Fundación Telefónica,
el principal socio y colaborador de Santa María la Real en
este compromiso social.
El paro no es solo problema de las administraciones
públicas, sino de la sociedad en su conjunto, por lo
que necesitamos unir esfuerzos entre todos y fomentar
una cultura colaborativa para afrontar la situación.
La implicación real y efectiva de Fundación Telefónica
ha permitido que más de 1.100 jóvenes de 32
ciudades hayan tenido la posibilidad de participar
en 55 lanzaderas durante 2014 y 2015, en las que
han reforzado sus habilidades, fijado su objetivo
laboral, ampliado su red de contactos profesionales,
multiplicado sus oportunidades laborales y/o logrado
acceder al mercado laboral para demostrar su valía
profesional.
Los buenos resultados logrados, tanto a nivel
cuantitativo como cualitativo, se reflejan en este
informe de Impacto Social, que anima a ambas
entidades a seguir trabajando, promoviendo 500
Lanzaderas de Empleo durante los próximos años,
gracias también a la ayuda del Fondo Social Europeo.
Su implicación supone un gran espaldarazo para
situar a las Lanzaderas entre una de las medidas
eficientes en la lucha actual contra el desempleo; en
el reconcomiendo a una metodología innovadora que
se adecúa a las necesidades laborales y empresariales
del momento; a su rápido crecimiento y a sus buenos
resultados.
José María Pérez “Peridis”
Presidente de la Fundación Santa María la Real
5
programa de empleabilidad joven de fundación telefónica

autores del informe:
La Evaluación del Impacto Social del proyecto
Lanzaderas de Empleo y Emprendimiento Solidario ha
sido desarrollada por la Red de Recursos de Evaluación
y Aprendizaje –REDCREA– entre los meses de octubre
de 2014 y febrero de 2016.
La Red de Recursos de Evaluación y Aprendizaje,
Redcrea, es una compañía de servicios de consultoría,
investigación y de gestión de recursos técnicos,
especializada en el sector de la evaluación y el
aprendizaje organizacional.
Nuestro trabajo se enfoca en la promoción de una
cultura de la evaluación y en facilitar procesos de
aprendizaje, mejora y rendición de cuentas de las
organizaciones, de sus políticas, y de su articulación
con la ciudadanía.
El equipo principal de la evaluación ha estado
formado por:
Antonio Luján Martínez,
Eva Raboso Campos
Colaboradores:
Elena Rodríguez San Julián
Sociológica Tres - Consultoría especializada en
investigación social aplicada, evaluación de programas y
políticas sociales, estudios de mercado y opinión pública.
coordinación de la evaluación
Equipo de Fundación Telefónica
Matías Figueroa, Experto en Políticas de Infancia y
Licenciado en Trabajo Social.
Montserrat Pérez Ramírez, Licenciada en Pedagogía.
Equipo de Santa María la Real
Álvaro Retortillo Osuna, Doctor y Licenciado en
Ciencias del Trabajo.
Rocío Pérez Guardo, Doctora y Licenciada en Ciencias
del Trabajo.
agradecimientos:
Esteestudionosehabríapodidodesarrollar
metodológicamentesinelapoyoyapropiacióndel
procesoporpartedeloslasparticipantes,ydelequipode
coordinadores/as(Coach)deSantaMaríalaReal.
Agradecemosenconjuntoatodoelequipodela
FundaciónSantaMaríalaRealporelapoyoytrasparencia
enlarealizacióndeestudio.
Porotrolado,queremosreconocerelretoasumidopor
FundaciónTelefónicayelequipotécnicoresponsabledel
seguimientoyacompañamiento.Superfilcolaborativo
yfacilitadoreneldesarrollodelestudio ysucarácter
decididoaplantearyacompañarunaevaluacióncompleja
perorobustaensuanálisis,hansidoimprescindiblespara
laobtencióndelosresultadosqueaquísepresentan.
Equipo Redcrea
diseño e infografía:
Visual Thinking Comunicación y Creatividad
Sobre este informe
6

PROYECTOS DE EMPLEABILIDAD JOVEN FUNDACIÓN TELEFÓNICA
RESUMEN
EJECUTIVO
Elaborado por
Redcrea
PROGRAMA DE EMPLEABILIDAD
JOVEN DE FUNDACIÓN TELEFÓNICA
EVALUACIÓN DEL

1MEJORA DE LA EMPLEABILIDAD PARA JÓVENES DESEMPLEADOS
QUÉ SON LAS
LANZADERAS
DE EMPLEO
Lanzaderas de Empleo y Emprendimiento Solidario es un
programa destinado a personas desempleadas que busca mejorar su
capacidad de empleabilidad y su inserción en el mercado laboral.
Una lanzadera es un equipo
heterogéneo de personas
desempleadas que acceden de forma
gratuita y voluntaria a esta iniciativa
para reforzar sus competencias,
hacerse visibles y avanzar juntos para
conseguir trabajo.
Cuentan con el apoyo de sus
compañeros, con trayectorias
profesionales muy variopintas; y
con el acompañamiento de un
coach profesional. Sus
conocimientos y experiencias se
enriquecen y complementan, lo
que hace que aumente su
motivación y cambie su actitud.
Se reúnen a diario, con un
funcionamiento similar a una
empresa. Distribuyen sus tareas por
departamentos, y bajo una cultura
colaborativa, logran que su búsqueda
de trabajo sea más ordenada,
coordenada, evaluada y eﬁcaz.
Refuerzan la
comunicación y el
autoconocimiento
Entrenan
habilidades
transversales
Navegan
en el
entorno 2.0
Reciben
consejos
de expertos
Visitan
empresas
resumen ejecutivo
8

CÓMO FUNCIONAN LAS LANZADERAS
20 PARTICIPANTES:
Equipo heterogéneo de jóvenes menores de
35 años y que se encuentran en situación de
desempleo.
YA NO ESTÁN SOLOS:
Cuentan con un coordinador que les guía en
un ciclo de trabajo:
autoconocimiento-planiﬁcación-actuación.
TIENEN UN OBJETIVO:
Aumentar las posibilidades de encontrar
un trabajo o de desarrollar un proyecto de
emprendimiento.
Y UNA METODOLOGÍA:
Con un funcionamiento similar a una
empresa, distribuidos por departamentos,
bajo un cultura colativa.
ENTRENAN:
Habilidades y competencias transversales:
autonomía, trabajo en equipo, redes de
contactos, gestión del tiempo, organización...
Y TIENEN RESULTADOS:
Mejoran la actitud, la motivación y la
capacidad de empleabilidad, así como las
posibilidades de insertarse en el mercado.
LANZADERA DESEMPLEADOS COACH MEJOR EMPLEABILIDAD
2014/15
Más de
1.100
Jóvenes
55Lanzaderas en
32 ciudades
2016-19
Más de
11.350
Jóvenes
454Lanzaderas
resumen ejecutivo
9

2
PREGUNTAS CLAVE DEL ESTUDIO
ANTECEDENTES
Y OBJETIVOS DE
LA EVALUACIÓN
DE IMPACTO SOCIAL
¿Se contribuye
a resolver el
problema
de los
participantes?
¿Cuál es la tasa
de retorno del
programa por
cada euro
invertido?
¿Cuál fue el
efecto del
programa
sobre sus
participantes?
¿Los cambios
generados son
los que se
propusieron?
¿Los cambios
generados son
positivos o
negativos?
¿Los cambios
generados son
a consecuencia
del programa?
La evaluación de impacto social se ha llevado a
cabo por el interés de las instituciones
implicadas en obtener evidencias sobre los
cambios que estaba generando el proyecto
Lanzaderas en las y los jóvenes, si eran o no
los esperados, y si éstos eran atribuibles al
programa. Explicando además por qué, cómo y
en qué contexto la intervención logra sus
objetivos últimos, y qué retorno social de la
inversión se estaba obteniendo.
Este tipo de retos, novedosos en España, son
posibles e imprescindibles para mejorar,
innovar y aprender, pero también para rendir
cuentas y para la toma sustentada de
decisiones sobre las estrategias y políticas
sociales de las instituciones.
resumen ejecutivo
10

55,0% 47,3%
Hombres Mujeres
vs
3INSERCIÓN LABORAL
IMPACTO DEL
PROYECTO
LANZADERAS
Tasa de inserción laboral (%)
Contrataciones de más de
2 meses de duración.
INSERCIÓN LABORAL SEGÚN SEXO
El impacto neto del proyecto ha sido de 29,1 p.p. entre los
hombres frente a 9,3 p.p. entre las mujeres.
Los hombres han obtenido una mayor tasa de inserción*.
69,2%
33,9p.p.
INSERCIÓN POR EDAD
El grupo de 18 a 23 años es el
que mejor tasa de inserción
presenta al ﬁnal del programa:
Y es el grupo con un
mayor impacto neto:
*Tasa neta de inserción laboral
*% de personas que estaba trabajando en el momento de la toma de datos
20,9puntos porcentuales
IMPACTO
NETO
(signiﬁcativo
estadísticamente)
60,1%*
39,2%
GRUPO LANZADERASGRUPO DE COMPARACIÓN
resumen ejecutivo
11

4
IMPACTO DEL
PROYECTO
LANZADERAS
CALIDAD DEL EMPLEO OBTENIDO
Temporales
69,7%
Autónomos
2,7%
Indeﬁnidos
14,3%
Sin contrato
3,6%
Formación
9,9%
5,5meses
TIPO DE CONTRATO DURACIÓN DE CONTRATO
Contratos de
más de 2 meses:
SALARIO
Neto en euros/mes:
Duración media:
Mayor contratación
indeﬁnida a jornada
completa
Impacto de la Lanzadera
(diferencia con el grupo de comparación)
5,0p.p.
El salario de
jornada parcial
es más alto
Impacto de la Lanzadera
(diferencia con el grupo de comparación)
124
€/mes
84,9%
68,8%
Lanzadera Grupo de
comparación
1.040
607
Jornada
completa
Jornada
parcial
897
Todos
resumen ejecutivo
12

39,1%
61,5%*
34,1%
58,9%
30,6%
56,9%
Contratos de más de
2 meses de duración
Jornadas de más de
4 horas al día
Contratos con cobertura
y protección social
Trabajos bastante o muy
relacionados con sus estudios
Variación
Participantes de Lanzaderas Grupo de control
22,4 p.p.
24,8 p.p.
26,3 p.p.
32,24%
12,10%
Trabajos bastante o muy
relacionados con el que les
gustaría tener
33,72%
16,11%
Participantes de
Lanzaderas
Grupo de
control
Participantes de
Lanzaderas
Grupo de
control
La calidad de la inserción laboral es significativamente mejor en las y los
participantes, tanto en duración del contrato como de la jornada laboral, cobertura
y protección social, y sintonía con el trabajo que les gustaría tener.
*Tasa global de inserción laboral
resumen ejecutivo
13

El empleo tipo conseguido tras la
participación en las Lanzaderas:
Contrato
temporal
Por cuenta
ajena
6 meses
de duración
Seguridad
Social
MEJOR los participantes
en la Lanzadera
PEOR los participantes
en la Lanzadera
SATISFACCIÓN
CON EL EMPLEO
CONSEGUIDO
Satisfacción
general con
el empleo
Conciliación
con sus
obligaciones
familiares Conciliación
con su
tiempo libre
Estabilidad
que les
proporciona
Valoración
del salario
obtenido
Satisfacción
con el horario
de trabajo
Satisfacción
con el ambiente
de trabajo
Jornada
completa
Salario (n):
1.000 €/mes
Percepción de los
participantes en las
Lanzaderas y el grupo
de comparación.
resumen ejecutivo
14

5ÍNDICES: RESUMEN DE OTROS IMPACTOS DEL PROYECTO
OTROS
IMPACTOS
ALGUNOS IMPACTOS NETOS CONSEGUIDOS
Definición del proyecto
profesional, satisfacción
con su proyecto personal,
situación laboral y proyecto
de vida en general.
Mejora la definición de los objetivos y del proyecto profesional.
1. Proyecto personal
y profesional
Satisfacción con su calidad
de vida y la de su familia,
facilidad para ser
autosuficiente en el
medio plazo.
2. Calidad de vida
Probabilidad de encontrar un
empleo, accesibilidad al mercado
laboral, oportunidades reales
de conseguir un empleo.
3. Actitudes que inciden
en la empleabilidad
Eficacia del esfuerzo y
preparación para la búsqueda
de empleo, gestión del tiempo,
ajuste de competencias
al mercado laboral.
4. Aptitudes
relacionadas con
la empleabilidad
Los participantes están más satisfechos con su proyecto de vida en general.
Ha aumentado claramente en el grupo del proyecto una actitud positiva ante la
probabilidad de encontrar un empleo; están más motivados para buscar, han
superado miedos y tienen más confianza en sí mismos.
Mejora la eficacia con la que ahora realizan el proceso de búsqueda, y cambia la
estrategia respecto a cómo lo hacían antes de pasar por Lanzaderas: tienen una mayor
seguridad a la hora de realizar entrevistas, saben estructurar mejor su CV;
además buscan más información sobre la empresa a la que van a postular antes
de enviar su candidatura.
Impactos netos
Impactos netos significativos
estadísticamente
resumen ejecutivo
15

6
RETORNO
SOCIAL DE LA
INVERSIÓN
Fundación Telefónica
80%
20%
Entidades públicas locales y aporte voluntario
POR CADA EURO INVERTIDO
EN EL PROYECTO RETORNAN
2,8 EUROS A LA SOCIEDAD
Inserción laboral de los jóvenes.
Mejora de la empleabilidad.
Reincorporación al mundo laboral de los coach.
RATIO SROI
Valor actual
total de impacto
Valor de la
inversión
total
Impactos directos del proyecto
70%
Ingresos por aportaciones a Seguridad Social
e impuestos, ahorros por prestaciones sociales.
Impactos indirectos del proyecto
30%
1:2,8
resumen ejecutivo
16

7METODOLOGÍA:
ENFOQUE MIXTO
A. CUANTIFICAR EFECTOS DEL PROYECTO
CÓMO SE HA HECHO
El enfoque contra-factual, mediante el uso
de grupos de control o de comparación.
Particularmente útil para responder a ¿cuánto del cambio se debe a la intervención?
Integrante del grupo de comparaciónParticipante en Lanzaderas
Para estimar el contra-factual se ha utilizado el método de diferencias en diferencias
recopilando información de variables del impacto esperado tanto del grupo de participantes
como de un grupo de comparación, antes y después del proyecto. Para hacer el diseño más
robusto, el grupo de comparación fue elegido con especial atención, evitando el sesgo de
selección y asegurando la equivalencia con el grupo de proyecto, en las variables socio
demográficas y estructurales que se estimó que podían influir en los resultados del
programa. Igualmente se han verificando tendencias comparando los resultados entre dos
ediciones de Lanzaderas, que se desarrollaron en diferentes localizaciones geográficas, y se
han tenido en cuenta los cambios en el contexto que pudieran influir en los resultados de
inserción laboral.
ANTES DE
LANZADERAS
DESPUÉS DE
LANZADERAS
resumen ejecutivo
17

B. EXPLICAR EFECTOS (QUÉ Y POR QUÉ FUNCIONA)
El enfoque explicativo basado en la "teoría del programa", que sigue cada
paso de la lógica de intervención y se centra en los mecanismos o procesos
que conducen a los cambios observados.
C. AVERIGUAR EL VALOR SOCIAL DEL PROYECTO
Se ha trabajado con una adaptación de la metodología SROI (Social Return On
Investment), para abordar el análisis coste-beneﬁcio con un enfoque participativo
y basado en la contabilidad social.
Es particularmente adecuado para responder a las preguntas ¿por qué?, ¿cómo?
y ¿en qué contexto? una intervención funciona.
Se ha trabajado con estudios de caso, diseñando toda una batería de entrevistas,
cuestionarios y dinámicas grupales, estas últimas basadas en técnicas de animación
sociocultural, muy útiles para lograr una participación de calidad con las y los jóvenes.
DISEÑO
ROBUSTO
Permitiendo generar evidencias para atribuir
cambios observados al proyecto, y conﬁrmar
que no se hubieran producido sin ellos.
PROCESO
PARTICIPATIVO
Mejorando la calidad, credibilidad y la utilización
de los resultados.
INNOVACIÓN Permitiendo obtener datos relevantes de forma
creativa, logrando una alta participación de los
actores con una alta calidad.
ANÁLISIS
COSTE-
BENEFICIO
Cálculos sobre impactos netos,
atribuibles al proyecto.
Las condiciones de análisis y evaluabilidad del Programa han permitido
desarrollar una evaluación de impacto con unas características idóneas:
resumen ejecutivo
18

EVALUACIÓN DEL
Informe completo

Índice
Prefacio 22
I. Introducción 24
I.1. Objetivos y preguntas de la evaluación...................................................................................................24
II. El Objeto a evaluar: el programa Lanzaderas de Empleo y Emprendimiento
Solidario 26
II.1. Teoría del Programa...................................................................................................................................27
II.2. Mapa de efectos ........................................................................................................................................28
II.3. Mapa de actores: participación en la evaluación..................................................................................29
III. Metodología empleada en la evaluación 32
III.1. Enfoque teórico..........................................................................................................................................32
III.2. Diseño y pautas metodológicas aplicadas en la evaluación ............................................................33
IV. Línea del tiempo de los trabajos ejecutados 41
V. Sistematización de la información 42
V.1. Muestras: estrategia y resultados...........................................................................................................42
V.2. Muestras: comparabilidad de los grupos resultantes..........................................................................45
V.3. Perfil del participante.................................................................................................................................46
V.4. Sistematización de datos sobre índices e indicadores del impacto del proyecto..........................48
E2. PROYECTO PERSONAL Y PROFESIONAL, CALIDAD DE VIDA.............................................................67
E2.1 Proyecto personal y profesional ...........................................................................................................67
E3. EMPLEABILIDAD - ACTITUDES.................................................................................................................69
E4. EMPLEABILIDAD - APTITUDES.................................................................................................................72
E5. EMPLEABILIDAD - PUESTA EN PRÁCTICA..............................................................................................76
E6. INICIATIVA PERSONAL................................................................................................................................79
E7. AUTONOMÍA.................................................................................................................................................81
E8. TRABAJO EN EQUIPO.................................................................................................................................81
V.5. Bases del cálculo de Retorno Social de la Inversión.............................................................................86
20

VI. Resultados de la evaluación del impacto social 93
VI.1. Inserción laboral: grado de consecución y calidad..............................................................................93
VI.2. Otros impactos del proyecto ...............................................................................................................101
VI.3. Retorno social de la inversión (ratio SROI).........................................................................................110
VI.4. Otros resultados complementarios de la evaluación: análisis de procesos clave de las
Lanzaderas para la obtención de resultados e impactos.........................................................................110
VII. Conclusiones 118
VIII. Recomendaciones y buenas prácticas 122
IX. Equipo de la evaluación 124
X. Anexos 125
Anexo 1: Matriz global del análisis SROI .....................................................................................................126
Anexo 2: Ficha técnica estudio impacto contrafactual............................................................................132
Anexo 3: Indicadores y valores de las mediciones post test,................................................................. 134
ediciones 1 y 2 del proyecto Lanzaderas................................................................................................... 134
Anexo 4: Referencias de ratios SROI de programas de empleabilidad..................................................139
Anexo 5: Currículo Vitae REDCREA...............................................................................................................142
Datos de contacto...........................................................................................................................................142
21

Prefacio
L
os resultados de la evaluación de impacto
social que aquí se exponen, son el fruto de más
de un año de trabajo en el desarrollo de un
estudio que posibilitara pasar de impresiones
e intuiciones sobre la aparición de efectos y cambios
en las y los jóvenes participantes, a un ejercicio
sistemático de investigación que ofreciera datos
concluyentes sobre los cambios que estaba o no
generando el programa Lanzaderas de Empleo y
Emprendimiento Solidario.
Dicha premisa de atribución sistemática ha sido
uno de los principales hilos conductores que ha
marcado el presente estudio, y en cierta medida la
complejidad y el reto a la hora de responder a las
necesidades de análisis originales. Pero además es
necesario hacer hincapié en la importancia no sólo de
responder de forma adecuada preguntas, sino y sobre
todo en la necesidad de plantearse preguntas clave
sobre los verdaderos resultados, efectos y cambios
de una intervención que, a parte de una inversión
económica, pone en juego expectativas, proyectos
vitales, cambios en la forma de abordar problemas
y refuerzos de competencias claves en los jóvenes,
entre otros retos.
¿Se contribuye
a resolver el
problema
de los
participantes?
¿Cuál es la tasa
de retorno del
programa por
cada euro
invertido?
¿Cuál fue el
efecto del
programa
sobre sus
participantes?
¿Los cambios
generados son
los que se
propusieron?
¿Los cambios
generados son
positivos o
negativos?
¿Los cambios
generados son
a consecuencia
del programa?
22 Prefacio

Diseño robusto: enfoque mixto-análisis contra factual y explicativo.
Medidas pre y post proyecto, disponibilidad de grupo de
comparación (comprobando equivalencia y controlando variables),
combinación de técnicas, fuentes de datos, análisis sistemático
(estadístico y del discurso), trianglación de información.
Permitiendo generar evidencias
para atribuir cambios
observados al proyecto, y
confirmar que no se hubieran
producido sin ellos
Proceso participativo: se ha involucrado a las organizaciones
(SMLR, Fundación Telefónica), personal técnico (equipo SMLR y
coach), participantes, y otros grupos de interés desde las primeras
etapas y durante todo el proceso.
Mejorando la calidad,
credibilidad y la utilización de los
resultados
Innovación: al incorporar la medición post test de la edición previa
a la Lanzadera evaluada para verificar tendencias en los resultados.
Igualmente al emplear dinámicas grupales novedosas y adaptadas
a los diferentes grupos (participantes, coordinadores/as, equipo
técnico).
Permitiendo obtener datos
relevantes de forma creativa,
logrando una alta participación
de los actores con una alta
calidad (sistematicidad)
Análisis coste-beneficio: los resultados de la Evaluación del
Impacto Social del proyecto nos han permitido calcular con
solvencia la ratio SROM.
Cálculos sobre impactos netos
(atribuibles al proyecto)
En definitiva, superar la incertidumbre que en
numerosas ocasiones envuelve los resultados en
políticas, planes y proyectos sociales, poniendo en
relieve la necesidad y la posibilidad real de conocer
el impacto de una intervención de marcado carácter
social, a la vez que poder tomar decisiones con la
mayor claridad en el contexto y con las herramientas
metodológicas que mejor se adapten: en definitiva
¿qué realmente ha pasado?. Por tanto, uno de
los resultados de este informe, es que este tipo
de retos son posibles y que indudablemente son
imprescindibles para mejorar, innovar, aprender
y tomar decisiones sobre hechos y no sólo sobre
intuiciones, datos de seguimiento y/o cantidades de
gasto.
Hablamos de reto cuando quizás este tipo
evaluaciones deberían ser una dinámica habitual y
casi obligatoria en cualquier ejercicio de gestión en
intervención social. Hasta ahora son poco habituales
y consideramos que uno de los objetivos de su
difusión debe ser también el seguir avanzando en la
cultura de la evaluación en España.
Por último consideramos que el contexto en el
que ha estado inmerso el estudio de evaluación
de impacto ha podido ser clave para facilitar y
posibilitar unas condiciones adecuadas del proceso. A
continuación detallamos algunos de estos aspectos
que en nuestra opinión han podido marcar las
diferencias entre el “deseo de hacer” y el “poder
hacer” una evaluación de estas características:
23Prefacio

E
n el mes de octubre de 2014 se puso en marcha
la Evaluación del Impacto Social del proyecto
Lanzaderas de Empleo y Emprendimiento
Solidario, proceso que culminó en el mes de
diciembre de 2015, y cuyo recorrido y resultados se
recoge en el presente documento.
El proyecto es una iniciativa de la Fundación Santa
María la Real, apoyada por Fundación Telefónica,
destinada a mejorar la capacidad de empleabilidad e
inserción laboral. Se centra en uno de los colectivos
más afectados por la situación de desempleo que vive
el país: las y los jóvenes.
El encargo fue realizado por Fundación Telefónica
a la Red de Recursos de Evaluación y Aprendizaje,
Redcrea1
, que con esta iniciativa apostó por un
estudio riguroso del cambio y del valor social que se
esperaba lograr con un proyecto dirigido a mejorar las
capacidades de empleabilidad e inserción laboral de
jóvenes desempleados. El interés estaba, por tanto,
en poder contar con una medición de resultados de la
intervención en términos de impacto neto en la vida
de las personas.
Mencionar que consideramos que se trata de
una propuesta novedosa en España ya que se dio
la oportunidad de llevar a cabo una evaluación de
impacto social desde el inicio del proyecto, y no al
final de mismo, como suele ser frecuente en este
tipo de procesos. Así se han podido generar las
mejores condiciones para diseñar y desarrollar un
proceso de evaluación robusto metodológicamente,
siendo posible aplicar estrategias de análisis que
han permitido generar evidencias para atribuir
cambios observados al proyecto, y confirmar que
no se hubieran producido sin ellos. Además, tiene
el valor añadido de haber podido involucrar a las
organizaciones, personal técnico, participantes, y
otros grupos de interés desde las primeras etapas,
y durante todo el proceso, lo que sin duda ha
mejorado su calidad, credibilidad y la utilización de los
resultados.
1. Para ampliar información consultar página web, www.
redcrea.es , blog: redcrea.blogspot.com.es
I.1. Objetivos y preguntas de
la evaluación
El objetivo central de la evaluación era identificar,
medir y valorar los efectos o cambios que se esperaba
que se produjeran en los/as participantes, tras el
desarrollo de las Lanzaderas, analizando si el proyecto
había alcanzado sus propósitos.
De forma muy gráfica los propósitos centrales de la
evaluación eran:
Los resultados van a permitir a Fundación Telefónica,
a la Fundación Santa María la Real y al conjunto de
actores vinculados directa o indirectamente con
su actividad, contar con evidencias para la toma
sustentada de decisiones, la rendición de cuentas
y además esperamos que aporte a la construcción
colectiva de conocimiento sobre este sector en
particular.
Las preguntas de evaluación que delimitaron el foco y
alcance de la evaluación fueron2
:
2. Las necesidades informativas fueron aportadas
originalmente por Fundación Telefónica, y finalmente
trabajadas y consensuadas en una versión final junto
con la Fundación Santa María la Real y el equipo de
evaluación Redcrea.
3. Basado en el estudio de fuentes secundarias, y
sujeto a la disponibilidad de datos sobre indicadores
comparables con los de la evaluación.
4. Centrado en la lógica de intervención (teoría del
programa), especialmente en el análisis de los itinerarios
formativos y en el proceso de selección de participantes.
Propósitos centrales de la evaluación
Identiﬁcar
los efectos
Grado de
consecución
de los efectos
Valor neto.
Retorno social
de la inversión
Caracterización
Calidad
Tiempo aparición
Gráfico nº 1: Propósitos centrales
de la evaluación
I. Introducción
24 I. Introducción

Efectos
¿La intervención está produciendo los beneficios previstos?
¿Cómo impactó el proyecto y/o programa a los participantes?
¿Cuáles fueron los impactos en la población que no se ha insertado laboralmente?
Análisis del retorno social de la inversión, ofreciendo una narración que vaya más allá del dato numérico,
que permita entender la relación coste/ beneficio social.
Grado de consecución de los efectos
Retorno social de la inversión (SROI)
Calidad del proyecto frente a la del mercado en general3
Otras
Valor neto de los efectos (cuánto):
En relación
al ámbito laboral
Tasa de inserción laboral de los proyectos,
y en comparación con la del mercado
¿Los participantes de los proyectos tienen más facilidad
de incorporarse o reinsertarse en el mundo laboral?
¿Tiempo para salir de la condición de desempleo?
¿Cuáles fueron las razones
de éxito o fracaso en la
consecución de los resultados?
Interno: Análisis de los elementos críticos de la teoría
del programa en relación con resultados obtenidos: coherencia
entre estructura - procesos - resultados.
Externo: Análisis de cambios clave en el contexto nacional
y local relacionados con el empleo.
En relación a la mejora
de las condiciones de vida
¿Cómo cambia la visión de futuro de los participantes?
¿Qué habría que modificar
en el diseño del programa
para mejorar sus efectos?4
Centrado en estudio de la lógica de intervención (teoría del
programa), especialmente en el análisis de los itinerarios
formativos y en el proceso de selección de participantes.
Principales lecciones
aprendidas y
propuesta de mejoras
Análisis crítico de los principales resultados de la evaluación.
Valoración del plazo mínimo de participación en la lanzadera
para que la obtención de un empleo sea atribuible a la misma.
Caracterización / calidad de los efectos (en qué grado y cualidad):
En relación al
ámbito laboral
¿Cuáles fueron los impactos en la población que ha
conseguido trabajo? Aparte de los ingresos, ¿a qué
otros aspectos ha contribuido?
Determinar impactos a nivel micro (familiar)
En relación a la mejora
de las condiciones de vida
¿Cómo cambia la visión de futuro de los participantes?
25I. Introducción

II. El Objeto a evaluar: el programa
Lanzaderas de Empleo y
Emprendimiento Solidario
E
l proyecto Lanzaderas de Empleo y
Emprendimiento Solidario, desarrollado por la
Fundación Santa María la Real, es un proyecto
dirigido a jóvenes con el fin de mejorar su
capacidad de empleabilidad y su inserción en el
mundo laboral, tanto por cuenta ajena como a través
del desarrollo de iniciativas de emprendimiento.
Cada lanzadera tiene una duración de 5 meses y
participan 20 personas en cada una. Se desarrolla en
cuatro etapas o ediciones a lo largo de un total de 18
meses. En total se espera llevar a cabo 50 lanzaderas
en 25 localidades del país, lo que supone que 1.000
personas participarán en total en el conjunto del
proyecto.
La evaluación ha puesto el foco en la segunda
edición de lanzaderas, que abarca un total de 10
Lanzaderas en 10 localidades del territorio nacional
(Zaragoza, Pamplona, Badajoz, Huesca, Mérida,
Manacor, Calatayud, Seseña, Baeza y Gijón).
En el siguiente gráfico se presentan los
componentes básicos del proyecto completo:
Síntesis componentes básicos proyecto Lanzaderas de empleo
EstructuraProcesosResultados
Recursos y elementos organizativos
Equipo SMLR: 7 personas
(3 en Aguilar de Campoó,
4 en Madrid)
Coach: 1 por lanzadera
(25 en total)
25 localidades
Lanzaderas: 50
Participantes: 1.000
Presupuesto: 32.400 euros
por lanzadera (81% aporte
de Fundación Telefónica)
PROCESO PRINCIPAL
Coaching individual Trabajo en equipo
PROCESOS DE APOYO
AL PROCESO PRINCIPAL
PROCESOS
DE SOPORTE
Plan de acción
individual
Detectar necesidades/
autoconocimiento
Diseñar estrategias
concretas/ plan de
acción
Toma de decisiones/
puesta en práctica
Intermediación
laboral: eventos,
visitas, contactos
con empresas
Sesiones y talleres
complementarios
(en función de la
demanda y
posibilidades)
Captación y selección
de participantes
Localización y
constitución de lanzaderas
Selección y
formación de coaches
Coordinación entre
lanzaderas
Asistencia técnica
Seguimiento y evaluación
de lanzaderas
Comunicación y
difusión del
proyecto lanzaderas
Relaciones externas
Financiación y
alianzas
público-privados
Gestión
administrativas
Trabajo en equipo
(organización como
una cooperativa)
Fomentar la visibilidad del proyecto con el objeto
de que permita darse a conocer y potenciar las
posibilidades de apoyo y oportunidades de empleo
Fortalecer las capacidades de los jóvenes para mejorar sus
oportunidades de empleo a través de un proceso de trabajo que
potencie el desarrollo profesional y la autonomía personal
Propósito: Facilitar la inserción laboral por cuenta propia o por cuenta ajena de sus componentes, orientar su carrera profesional
y promover la adquisición y desarrollo de competencias clave, que no se trabajan normalmente en las etapas formativas.
Gráfico nº 2: Síntesis componentes básicos proyecto Lanzaderas de empleo
26 II. El Objeto a evaluar: el programa Lanzaderas de Empleo y Emprendimiento Solidario

Gráfico nº 3: Representación gráfica de la teoría del programa Lanzaderas
Durante la primera etapa de la evaluación se desarrolló
el diagnóstico de la intervención cuyos resultados fueron:
la teoría del programa, el mapa de impactos y el mapa de
actores involucrados. Que han sido los elementos clave
para el diseño y desarrollo de la evaluación.
II.1. Teoría del Programa
La teoría del programa que se presenta a
continuación se elaboró a partir de la información
Representación gráﬁca de la teoría del programa Lanzaderas
PERFIL DE ENTRADA
DE JÓVENES
GENERACIÓN DE
CONDICIONES
PROCESO
DE SELECCIÓN
CAJA DE HERRAMIENTAS
EFECTOS
DURANTE
EL PROCESO
EFECTOS/ CAMBIOS
EN LOS JÓVENES
IMPACTOS
EFECTOS/ CAMBIOS
EN LA SOCIEDAD
Selección y
formación coach
Conexiones tejido
empresarial/social
Alianzas
institucionales
Línea de tiempo
Bajas: contratación, emprendimiento, estudios
Abandono: enfermedad, falta de asistencia, deserción
Transversales:
Coaching individual
Formación áreas
clave/a demanda
Team building/
trabajo en equipo
Inteligencia
emocional-
autoconocimiento
(responsabilidad)
/tr. Equipo (clima)
Me
conozco
Actúo
Planiﬁco
Desrrollo comp.
emocionales
Búsqueda
activa de empleo
Trabajo y
gestión en
equipo
Intermediación
laboral
Gestión del
cambio
Comunicación
Fomento del
emprendimiento
Eventos
y visitas
Marca personal
Cobertura bajas (límite 2,5 meses)
Liderazgo
Team building
Comprensión del
mercado laboral
actual
facilitada por los principales grupos de interés;
poniendo el foco en los cambios que se esperaba que
los/as jóvenes experimentaran tras el paso por el
Proyecto. Se elaboró de forma participativa (talleres)
con el equipo responsable de las Lanzaderas de
Empleo y Emprendimiento Solidario (especialmente
en sesiones de trabajo con el equipo de la Fundación
Santa María la Real y los/as coach implicados en el
proyecto) y ha sido revisada, contrastada y validada
durante el proceso de evaluación del impacto social.
27II. El Objeto a evaluar: el programa Lanzaderas de Empleo y Emprendimiento Solidario

de ediciones previas de Lanzaderas en las primera
etapas de la evaluación, y se terminó de completar y
contrastar con el equipo de SMLR en Madrid.
El proceso comprendió un primer momento
de identificación de efectos /cambios en las y
los participantes, teniendo en cuenta una línea
temporal en su aparición; y un segundo momento de
valoración del nivel de atribución al proyecto de cada
uno de ellos.
II.2. Mapa de efectos
El mapa que se presenta a continuación es el resultado
de analizar el conjunto de efectos atribuibles al
programa, así como las variables que se han tenido
como referencia para la evaluación. El proceso de
identificación se inició con el equipo de SMLR en
Aguilar de Campoó y con un grupo de participantes
Mapa de efectos.
Diagnóstico
Poner en práctica
habilidades y
estrategias clave
en la búsqueda de
empleo
Compartir los
valores de las
personas
Interiorizar los
valores del
proyecto:
solidaridad, fe en
las personas,
trabajo en equipo
Generar redes:
Internas,
empresas,
entidades,
emprendedores,
Administraciones
públicas,
sociedad
Línea de aparición de efectos
Autoconocimiento
Activación de las
personas
Mejor deﬁnición y
enfoque del
proyecto
profesional de las
personas
***Autonomía
***Mejorar
condiciones de
empleabilidad
(actitudes y
aptitudes)
***Iniciativa
personal (hace
que las cosas
sucedan)
Mejora su
capacidad de
trabajar en equipo
***Mejorar
inserción laboral
(basado en las
condiciones del
mercado laboral)
Reducir riesgo
exclusión social
Sociedad
concienciada
sobre el problema
del desempleo
(Más
oportunidades de
acceso a un
empleo)
Contribuir al
proyecto de vida
de las personas
Nota: Se señalan en morado los cambios que se identifican con cambios en las personas que se espera se mantengan
una vez finalice el proyecto, y como resultado del mismo.
Gráfico nº 4: Mapa de efectos - diagnóstico:
La teoría que subyace al programa es que si se
constituye un grupo heterogéneo de jóvenes
(menores de 35 años), en situación de desempleo,
y que quieren aumentar sus posibilidades de
encontrar un empleo, o de desarrollar proyectos
propios como emprendedores/as; y se trabaja con
un/a coordinador/a que desarrolle tanto sesiones
de coaching individual como de trabajo en equipo,
en un ciclo de auto-conocerse - planificar - actuar,
adaptado a la necesidades individuales y del grupo,
entonces mejora la capacidad de empleabilidad y
las posibilidades de insertarse en el mundo laboral,
tanto por cuenta ajena como a través de iniciativas
de emprendimiento. El trabajo tanto individual como
colectivo, se desarrolla a partir de la creación de una
empresa o cooperativa entre las y los participantes
cuyo objetivo es la inserción laboral (misión
relacionada con la búsqueda de empleo para todos/
as los miembros), que permite poner en práctica
técnicas y recursos para desarrollar las capacidades y
habilidades necesarias para ser más empleable, como
son la autonomía, la iniciativa personal, capacidad y
proclividad al trabajo en equipo, actitudes positivas
y optimistas hacia la búsqueda de empleo y frente a
mercado laboral, así como aptitudes vinculadas con
la puesta en práctica de habilidades, herramientas,
manejo de redes de contactos, gestión eficiente del
tiempo, organización y planificación.
TEORÍA DEL PROGRAMA

II.3. Mapa de actores:
participación en la
evaluación
Para el equipo de Redcrea, el implicar a los diferentes
actores en los diferentes procesos de evaluación que
desarrollamos es fundamental. Por este motivo se
llevó a cabo en las primeras etapas (diagnóstico) el
proceso de identificación de actores y el análisis de
involucrados, analizando para cada uno de ellos la
participación que estaba prevista que tuvieran en
el proyecto, así como la influencia que tenían en la
aparición de resultados.
Análisis de involucrados
5
4
3
2
1
1 2 3 4 5
¿Qué grado de inﬂuencia
mantiene el actor en la
consecución de los efectos?
¿Qué capacidad tiene el proyecto
para involucrar al actor para
favorecer la aparición de efectos?
Involucramiento
Inﬂuencia
Servicio
público
de empleo
Centros
educativos
(universidades,
institutos)
Financiadores
Coach
Medios de
comunicación
Voluntariado
Emprendedor
Empresas
Coordinadores
Ayuntamientos
El resultado se muestra gráficamente a
continuación.
A partir de ahí se elaboró una propuesta de
participación de los diferentes actores en la
evaluación, no solo como fuentes de información,
sino como parte activa en la validación de la
teoría del programa, la identificación de efectos,
el acompañamiento del proceso de toma de
datos (apoyo en la gestión, coordinación, y
acompañamiento). Para ello, el equipo de evaluación
ha puesto a disposición de las entidades promotoras,
y ha desarrollado, numerosas presentaciones en
cada una de las fases de la evaluación, con el fin de
sensibilizar sobre la cultura de evaluación, compartir
el proceso, implicar y motivar a la participación.
Gráfico nº 5: Análisis de involucrados

En el cuadro 1 se muestra el alcance final de la
participación de los diferentes actores durante el
Actores (personas o
instituciones)
Participación en la evaluación
Jóvenes - Lanzaderas
• Identificación de efectos - mapa de efectos (jóvenes
participantes en ediciones previas a la evaluada)
• Valoración de procesos y cambios experimentados
(previstos y no previstos)
• Identificación de valores de proxies financieros propuestos
• Aporte en buenas prácticas y lecciones aprendidas
Coach
(coordinadores/as de las Lanzaderas)
• Informante clave sobre situación del contexto local
• Informantes clave sobre el desarrollo del proyecto en su
zona
• Valoración de efectos y cambios en los/as jóvenes
participantes en su Lanzadera
• Identificación de valores de proxies financieros
• Aporte en buenas prácticas y lecciones aprendidas
• Apoyo en la gestión de la evaluación (cuestionarios,
estudios de caso)
Instituciones públicas
(servicios de empleo, INE, etc.)
• Informante clave sobre situación del contexto local.
• Situación empresarial/laboral local.
• Fuente de datos oficiales: indicadores empleo/ inserción.
• Formulación y ajuste de necesidades informativas.
• Coordinación y acompañamiento del proceso de
evaluación.
• Participación en sesiones de presentación,
retroalimentación, contraste y devolución de resultados de
cada una de las etapas de la evaluación.
Revisión y aprobación de productos de la evaluación.
• Facilitador de incentivos - viabilidad grupos de comparación.
• Informantes clave: proceso de seguimiento del proyecto
(técnico - económico) y bases de datos.
Equipo técnico
Santa María la Real
• Aporte y validación del mapa de efectos, mapa de actores
y teoría del programa
• Informantes clave sobre el desarrollo global del proyecto.
• Informantes clave: proceso de seguimiento del proyecto
(técnico - económico) y bases de datos.
• Participación en sesiones de contraste y devolución de
etapas intermedias y resultados de la evaluación.
• Facilitación del desarrollo de la evaluación en las
lanzaderas seleccionadas como estudios de caso.
• Facilitación del acceso a participantes para el estudio
cuantitativo en grupos del proyecto y comparación.
Cuadro Nº 1: Participación de actores en la evaluación
desarrollo de la evaluación:

Talleres, sesiones de trabajo y
presentaciones
Para facilitar la participación, se abrieron espacios
colectivos desde el inicio, y durante el desarrollo de la
evaluación, en forma de talleres, sesiones de trabajo y
presentaciones, que han permitido cumplir el objetivo
previsto en este sentido.
PRESENTACIONES y
TALLERES
Evaluación impacto social
proyecto lanzaderas
Sesiones de
presentación, motivación
y planificación de la
evaluación
• Presentación evaluación al conjunto de organizaciones
implicadas (octubre 2014)
•Presentación de la evaluación a Santa María la Real (motivación
y preparación de condiciones) (noviembre 2014)
• Taller de diagnóstico – equipo SMLR Madrid y equipo SMLR
Aguilar (noviembre 2014)
• Introducción a la evaluación de Impacto Social – Área Social de
la Fundación Telefónica (enero 2015)
Guía – informe de diseño
de la evaluación
• Presentación del diseño de la evaluación proyecto Lanzaderas
(F. Telefónica y SMLR) (diciembre 2014)
• Transferencia y motivación a coach Lanzaderas (2ª edición de
Lanzaderas: enero 2015; 1ª edición de Lanzaderas: junio 2015)
Trabajo de campo
PRE test 2ª Ed.
Lanzaderas
•Presentación de resultados pre test de la evaluación proyecto
Lanzaderas (dos sesiones: F. Telefónica y SMLR) (abril 2015)
Trabajo de campo
POST test 1ª Ed.
Lanzaderas
•Coordinación y Presentación de resultados post test de la 1ª
edición del proyecto Lanzaderas (F. Telefónica) (septiembre 2015)
SROI
•Taller SROI basado en los resultados de la evaluación del
proyecto Lanzaderas (F. Telefónica) (octubre 2015)
Cuadro nº 2: Talleres, sesiones de trabajo y presentaciones durante el desarrollo
de la evaluación
En el cuadro 2 se resumen las sesiones realizadas
con los diferentes actores (previo a la presentación
del Informe Final de la evaluación):

III.1. Enfoque teórico
Por el tipo de evaluación solicitada (impacto social)
así como por el análisis de las preguntas concretas
de la evaluación (y en base a la experiencia previa
de Redcrea), se consideró que lo más adecuado era
trabajar con un enfoque metodológico mixto, en cual
se combina el enfoque explicativo, basado en la teoría
del programa, que es particularmente adecuado para
responder a las preguntas “¿por qué?” y “¿cómo?”
y “¿en qué contexto?” la intervención funciona; y
el enfoque contra-factual, útil para responder a
“¿cuánto?” del cambio se debía a la Lanzadera.
Para ambos enfoques nos hemos servido de
técnicas cualitativas y cuantitativas, aunque para
el enfoque contra-factual ha sido imprescindibles el
uso de herramientas cuantitativas, concretamente
la elaboración de cuestionarios específicos para
recopilar información tanto del grupo de participantes
como de un grupo de comparación, antes y después
del proyecto.
Además se ha trabajado con una adaptación de la
metodología SROI (“Social Return On Investment”),
incorporando elementos de SROI durante todas las
fases de la evaluación, para abordar el análisis coste-
beneficio con un enfoque participativo y basado en la
economía social.
De forma resumida, cada uno de los enfoques, y las
elecciones metodológicas en cada caso se resume en
el siguiente gráfico:
Abordaje metodología
Análisis
Contra factual
Análisis
Explicativo
Análisis coste - beneﬁcio Adaptación de la metodología SROI
Diseño cuasi-experimental: método de
diferencia en diferencias. Grupos de proyecto y de
comparación no equivalente pre-test, post-test.
Técnica: Cuestionario, aplicado de forma online.
Grupo experimental o de proyecto: censo
completo jóvenes lanzadera 2ª edición (200
participantes).
Grupo de comparación: se buscan grupos de
similar tamaño al grupo tratamiento y equiparar
grupos en las variables clave socio-laborales.
Estrategia: comparación de resultados de las
variables asociadas a los efectos que se esperan en
grupos (proyecto y comparación) antes y después
del proyecto. Control estadístico de variables
explicativas alternativas.
Diseño multi-método: combinación de técnicas y
fuentes de información. Triangulación de datos
procedentes de diversas fuentes.
Técnica: Estudios de caso (incluye grupos focales,
entrevistas semi-estructuradas, dinámicas grupales);
análisis documental y de bases de datos, cuestionarios,
entrevistas y dinámicas con equipo técnico del
proyecto.
Muestra: 4 estudios de caso
Criterios de selección: combinación y ponderación de
criterios externos (contexto socio económico,
geográﬁco, acceso a programas de inserción) e internos
(coach- coordinación, convocatoria y pre inscritos,
experiencia previa en la zona, característica del grupo).
Estrategia: aplicación de instrumentos,
sistematización y triangulación de datos.
Gráfico nº 6: Abordaje metodológico
III. Metodología empleada
en la evaluación
32 III. Metodología empleada en la evaluación

III.2. Diseño y pautas
metodológicas aplicadas
en la evaluación
III.2.1. Hipótesis de cambio a
contrastar con el diseño metodológico
propuesto
A partir del mapa de efectos y de la conceptualización
de cada uno de ellos, se plantearon las siguientes
hipótesis sobre los cambios a contrastar con la
evaluación:
HIPÓTESIS:
Tras el desarrollo de las Lanzaderas las personas
que han participado mostrarán resultados
significativamente diferentes y mejores que quienes
no han participado. Las diferencias antes y después
serán significativamente mayor entre las personas
participantes en:
a. Inserción laboral: las personas
participantes habrán conseguido un
empleo (por cuenta propia o ajena) en
mayor proporción que quienes no han
participado.
Para caracterizar la inserción, se analizará
además:
En el caso de las personas que han encontrado un
empleo:
• El modo en que se logró el empleo.
• La calidad del empleo: tipo de contrato,
tiempo de contrato, sueldo, horario,
movilidad, estabilidad, derechos /
protección y adecuación a la formación.
• Grado de adecuación a las expectativas
profesionales y personales.
• Nivel de satisfacción con el empleo.
• Tiempo en salir del desempleo.
En el caso de personas que han puesto en marcha
su proyecto empresarial:
• Nº de personas que se han planteado
esta opción laboral
• Grado de desarrollo del proyecto
empresarial.
En el caso de personas que no han encontrado
empleo:
• Situación en la que se encuentran:
estudios, buscando empleo, haciendo
trabajo voluntario, no pueden trabajar
por razón de enfermedad o accidente, o si
no están buscando trabajo.
NOTA: durante el desarrollo de la evaluación se ha
considerado oportuno introducir además el indicador
“tasa de reactivación laboral” como porcentaje de
personas que, aunque no estaban trabajando en el
momento de realizar la encuesta, si habían tenido
algún tipo de actividad laboral remunerada desde que
entraron en la Lanzadera.
Independientemente de la consecución de empleo, los
y las participantes mejorarán en:
b. Autonomía: las y los participantes en la
Lanzadera considerarán que tienen una
menor dependencia de otras personas a
la hora de actuar y tomar decisiones que
las que no han participado.
c. Iniciativa personal: las personas que
han participado en la Lanzadera tendrán
una mayor disposición a cambiar y
mejorar (focalizado en la formación
que necesitan), valorarán que tienen
una mayor iniciativa en la búsqueda de
oportunidades, y asumirán en mayor
medida su propia responsabilidad en la
solución del problema del desempleo.
d. Trabajo en equipo: la autovaloración
de la capacidad de trabajo en equipo, el
interés que tienen y la importancia que
le dan al trabajo colaborativo será mayor
en el grupo de participantes. Además
valorarán de forma positiva en mayor
medida la disponibilidad que tienen,
tras el paso por lanzaderas, de redes y
contactos para la búsqueda de un empleo
o para la puesta en marcha de iniciativas
de emprendimiento.
33III. Metodología empleada en la evaluación

e. Empleabilidad: las personas que han
participado mostrarán las siguientes
actitudes y aptitudes en mayor medida
que el grupo que no ha participado:
Actitudes:
• Se mostrarán más positivos ante la
posibilidad de encontrar un empleo.
• Tendrán la percepción de que cuentan
con mayores probabilidades de conseguir
un empleo.
• Percibirán que tienen un mayor
conocimiento del mercado laboral y lo
considerarán más accesible.
• Indicarán que han contado con mayores
oportunidades de acceder a un empleo.
Aptitudes:
• Afirmarán que cuentan con una mejor
definición de su proyecto profesional.
• Valorarán que cuentan con una mejor
planificación estratégica y gestión del
tiempo de cara a su inserción laboral.
• Abordarán en mayor medida actividades
dirigidas a mejorar sus competencias
técnicas y profesionales.
• Valorarán positivamente la relación entre
sus competencias y el mercado laboral que
les interesa.
Puesta en práctica:
• Se incrementará en número de ofertas de
empleo a las que se han presentado.
• Se incrementará el número de entrevistas
en las que participa (como fase avanzada
de un proceso de selección).
• Se amplía el tipo de actividades de
inserción que realizan.
• Contarán con una mayor tipología de
medios para la búsqueda de empleo y
presentación de candidaturas.
• Valorarán que llevan a cabo procesos de
búsqueda de empleo con mayor intensidad.
• Dedicarán un mayor nº de horas a la
búsqueda de empleo.
• Valorarán que están siendo más eficaces
en cuanto a sus esfuerzos en la búsqueda
de empleo.
f. De forma secundaria, los y las
participantes habrán mejorado en su
percepción y expectativas de futuro, tanto
laborales como vitales.
III.2.2. Análisis contra factual: diseño
cuasi experimental diferencia en
diferencias
Teniendo en cuenta el diagnóstico desarrollado del
programa, su caracterización y las hipótesis de cambio,
el diseño propuesto busca mantener una alta validez
interna dentro de las posibilidades metodológicas
que ofrece la intervención, es decir, controlar las
explicaciones alternativas a las hipótesis sobre efectos
y cambios que produce el proyecto, recurriendo a dos
fórmulas (F. Alvira, 2000):
• Realizar comparaciones entre grupos y en
el tiempo, que permitan ver diferencias
y anular el posible efecto de variables
explicativas alternativas.
• Utilizar el análisis estadístico para averiguar
los efectos del programa manteniendo
constantes o controlando el efecto de
posibles explicaciones alternativas.
Este segundo procedimiento se utiliza para
complementar el primero, para mejorar la validez
interna del diseño, con análisis estadísticos bi y multi
variable, que permite separar los efectos de unas y otras
variables.
El análisis previo de las condiciones que ofrecía el
proyecto reflejaron una clara idoneidad para plantear un
diseño robusto de tipo cuasi experimental con grupo de
comparación y medición pre-post test1
, con control de
variables explicativas alternativas, para el análisis de los
efectos en las y los participantes que se esperaba fueran
5. Terminología de Campbell, P y Stanley, J. (1988)
“Diseños experimentales y cuasi experimentales en la
investigación social”. Buenos Aires. Amorrortu Editores.
5

atribuibles al mismo 2
. La síntesis del diseño se explica en
el gráfico 7.
Pautas de análisis:
1. Selección de grupo de comparación:
una vez recogidos los cuestionarios del
pre test, se llevó a cabo la comparación /
semejanza entre los grupos de proyecto y
comparación respecto a variables básicas
no afectadas por el programa (variables
independientes: sexo, edad, etc.).
El estudio permitió verificar que
los grupos eran semejantes en
prácticamente todas las variables
6. El diseño cuasi experimental que se elaboró para la
evaluación fue el que mejor se ajustaba a las condiciones
reales que ha tenido proyecto, ya que en las primeras
etapas de la evaluación (fase de diagnóstico) se constató,
con el equipo técnico del proyecto en la Fundación SMLR,
que no era posible plantear una selección aleatoria de
participantes, condición necesaria para aplicar diseños
experimentales. Tampoco era posible trabajar por
ejemplo con un diseño de regresión discontinua, ya que
el programa Lanzaderas cuenta con un proceso complejo
de selección de candidatos/as con diferentes criterios y
baremos, por tanto sin un índice único de elegibilidad ni
una puntuación límite claramente definida (la estrategia
del diseño de regresión discontinua se basa en elegir
casos entorno a un punto de corte en un índice de
selección, a partir del cual participan o no en el proyecto)
socio demográficas y estructurales
contempladas. Sólo existían algunas
diferencias entre ellos, en las variables:
nivel de estudios (mayor proporción
de universitarios/as en el grupo del
proyecto), y tiempo en desempleo (9
meses en grupo del proyecto, frente a 13
meses en el de comparación).
2. Comparación pre-test: una vez
conformados los grupos se desarrolló el
análisis de diferencias entre los grupos en
todas aquellas variables relacionadas con
los procesos de cambio (impactos) que
se esperaban con el proyecto (variables
dependientes: inserción laboral, proyecto
profesional, actitudes - aptitudes
relacionadas con empleabilidad, puesta
en práctica de estrategias y técnicas para
la búsqueda de empleo, etc.).
El resultado del análisis fue que los
valores medios de los grupos eran
equivalentes en todas las variables
analizadas. Esto quiere decir que, en
el punto de partida del programa, no
se observaron apenas diferencias
significativas entre los grupos en las
variables que se esperaba que fueran
modificadas con la intervención.
Sólo se observaron algunas diferencias,
en la percepción de la probabilidad de
Abordaje metodología
Medición
pre
Intervención
Medición
post Análisis longitudinal (c):
diferencias pre-post
intra grupos
Medición
pre
Medición
post
Análisis
transversal (a):
diferencias pre
inter grupos
Análisis
transversal (b):
diferencias post
inter grupos
Análisis longitudinal (d):
diferencias pre-post
intra grupos
Grupo
comparación
Grupo
proyecto
Gráfico nº 7: Síntesis del diseño cuasi experimental (contra factual):
6

encontrar un trabajo en el plazo de un
año (menor en el grupo de comparación)
y en la definición del proyecto profesional
(superior en el grupo de comparación).
3. Comparación post-test: una vez
recogidos los cuestionarios, aplicados
tras 3 meses desde el final de la
intervención, se ha procedido a:
• Caracterizar en variables socio
demográficas y estructurales
relacionadas con el trabajo, de los dos
grupos finalmente obtenidos: proyecto y
comparación.
• Análisis de cambio en cada uno de los
grupos (diferencias pre-post)
• Análisis de cambio entre grupos
(diferencias en las diferencias): análisis de
la diferencia en el cambio en la situación
de inserción laboral.
Grupos de proyecto / comparación:
Para contar con un grupo de comparación se recurrió
a personas que se habían inscrito en el programa, que
cumplían los requisitos básicos de acceso al proyecto
en cuanto a edad (18 a 35 años) y desempleo, pero
que no habían sido seleccionadas por exceder el cupo
en cuanto a porcentajes previstos en cada lanzadera
en función del sexo, nivel educativo y/o rango de edad,
además del sector de actividad (selección intencional,
no probabilística).
Este grupo, se esperaba que fuera el idóneo para
constituir el grupo de comparación, y así ha sido, ya
que presenta características similares al grupo de
proyecto en términos globales (teniendo en cuenta
el conjunto de las Lanzaderas). Añadir que, aunque
había otro conjunto de variables adicionales que
determinaban la selección final de participantes
por parte de las y los coach (pro actividad, trabajo
en equipo y actitud emprendedora), eran variables
relevantes para el desarrollo de la Lanzadera (para
que el equipo “funcione” como tal) pero no han sido
determinantes en cuanto a diferencias o semejanzas
en el perfil de las personas seleccionadas y no
seleccionadas de cara al diseño de la evaluación.
En cualquier caso, una vez obtenidos los grupos,
se ha verificado la equivalencia en las variables
que podrían influir en los resultados del proyecto y
controlado estadísticamente aquellas en las que no
era posible la equiparación. Además se ha evitado el
sesgo que puede producir la motivación a participar
realizando el pre-test antes de que las personas
candidatas conocieran el resultado del proceso de
selección.
Para hacer el diseño más robusto, además se han
comparado los resultados del grupo de proyecto de
la 2ª edición de las Lanzaderas con una medición post
test de la primera edición de Lanzaderas3
, lo que
permitirá verificar tendencias en los resultados del
proyecto y controlar el efecto geográfico - contexto.
Técnica:
La técnica que se ha utilizado para recopilar datos
ha sido la encuesta mediante cuestionario aplicado
de forma online, generando información que se ha
organizado en torno a un plan de explotación de datos,
y procesado con programas informáticos de análisis
estadísticos (SPSS).
En ambos casos (pre y post test), se ha mantenido
las condiciones previstas en cuanto a:
• Tanto en el grupo proyecto como en el
de comparación los pre y post test se
aplicaron en el mismo tiempo y de la
misma forma, con el fin de eliminar el
efecto de “instrumento” (forma y tiempo
de aplicación de los test) e “historia”
(acontecimientos externos capaces de
influir en los efectos.).
• Los cuestionarios para la recogida de
información han sido prácticamente
iguales entre el grupo de control y el
grupo proyecto. Se han establecido
variables y dimensiones (empleabilidad,
actitudes, etc.) que permiten la
comparación, e hitos temporales
semejantes para ambos grupos
(preguntas referidas a periodos
equivalentes).
7. El proyecto Lanzaderas es una intervención que se
desarrolla en varias ediciones que se van solapando en
el tiempo. Esta circunstancia se ha aprovechado para el
proceso de evaluación: se han tomado mediciones al final
de la primera edición de Lanzaderas, y a continuación se
ha realizado el estudio completo de la segunda edición,
que era el objeto central de la evaluación.
7

III.2.3. Análisis explicativo: diseño
multi-método
El diseño para el estudio explicativo de los efectos
del proyecto se orientó a recopilar datos a través de
la interacción directa con los/as diferentes grupos
de interés y en campo, con herramientas de carácter
fundamentalmente cualitativo. El trabajo se llevó a
cabo de forma prioritaria con los grupos directamente
implicados en el desarrollo de las Lanzaderas (jóvenes,
coach, equipo técnico del proyecto), aunque también
con entidades y actores de apoyo relacionados con
los procesos y/o efectos del Programa. Además de
utilizar fuentes secundarias de bases de datos y
documentación relacionada con inserción juvenil y
empleabilidad.
De igual manera el análisis se realizó en dos fases:
antes y después del proyecto siendo el principal foco
de análisis el grupo de participantes seleccionados en
la Lanzadera y su coach o coordinador/a.
Para ello se diseñaron estudios de caso, llevándose
a cabo 4 estudios en sendas Lanzaderas, que fueron
seleccionadas en función de diferentes criterios, tanto
internos (perfil y experiencia del/la coach, desarrollo
del proceso de selección, experiencia previa en la
zona, perfil del grupo de participantes) como externos
(tasa de desempleo, sectores productivos, acceso a
programas de empleo).
Variables y herramientas en el desarrollo de
los Estudios de caso:
Al igual que el bloque de análisis contra factual, en
el desarrollo de los 4 estudios de caso, la evaluación
puso el foco en el análisis concreto de un paquete
de variables e indicadores (definidos y organizados
en la matriz de evaluación), así como en el diseño y
desarrollo técnicas y herramientas concretas para su
recopilación y valoración.
Redcrea tienen una amplia experiencia en el diseño
específico y el desarrollo de técnicas basadas en la
animación socio-cultural, dinámicas grupales que en
este caso hemos incorporado en los estudios de caso
sobre todo para trabajar con los/as jóvenes. Este tipo
de técnicas, basadas en la “experimentación o vivencia”
de determinadas situaciones, muy útiles para provocar
la participación y que afloren sentimientos, reflexiones
y que los/as participantes piensen sobre su práctica.
La lógica para el desarrollo de este tipo de
dinámicas grupales se representa en el siguiente
gráfico:
Gráfico nº 8: Lógica de desarrollo de dinámicas grupales:
Lógica de desarrollo de dinámicas grupales
Hito 1
Apertura-
crisis temática
Hito 2
Reﬂexión-
autovaloración
y auto percepción
rasgos
Hito 3
Reacción-acción
grupal. Resolución
de dinámicas grupales
Hito 4
Sistematización-
medición individual:
Escalas rasgos
Entrevistas diagnóstico
individuales
Pruebas prácticas
Mi auto percepción
Mi puesta en práctica
en grupo e individual
Una medición
estándar
Variables claves
hacia el cambio
con respecto a:
Caracterización rasgos,
variables, indicadores
claves en participantes

Síntesis principales herramientas estudios de caso
Dinámicas
grupales (7 tipos)
Grupos focales
Cuestionarios:
emprendimiento
e iniciativa
Escenarios de inserción laboral
Proyecto profesional y personal, entorno del joven
Estrategias de empleabilidad
Competencias clave relacionadas con iniciativa personal, autonomía y capacidad de trabajo en equipo.
Entrevista
semiestructurada
Dinámica
3D©Redcrea
(análisis de
procesos vs.
resultados)
Entrevista
semiestructurada
Análisis
documental
El resumen de las principales herramientas
utilizadas con cada grupo de actores y las variables
globales analizadas, se exponen a continuación4
:
III.2.4. Análisis coste-beneficio:
Retorno Social de la Inversión (SROI)
El Retorno Social de la Inversión (en adelante SROI,
Social Return On Investment), es una metodología
para medir y cuantificar el valor que crean las
intervenciones, entendiendo por “valor” un concepto
amplio, que incorpora costos y beneficios sociales,
medioambientales y económicos. Se basa en cálculos
de coste - beneficio y contabilidad social5
, incluyendo
elementos de participación (son los dos elementos
que diferencian al SROI de un coste- beneficio
tradicional).
Mide el cambio en formas que son relevantes para
las personas u organizaciones que lo experimentan
o contribuyen con él. Explica cómo se genera el
cambio midiendo los efectos (outcomes) sociales,
8 Dinámica 3D©Redcrea : Dinámica grupal que permite
de forma simultánea el aporte, interpretación y
contraste de datos relevantes a la hora de analizar la
lógica interna de la intervención y la coherencia entre
la implementación y los resultados esperados. Ver más
información en.
9. Estrategia usadas para medir la creación del valor
social.
medioambientales y económicos, y usa términos
monetarios para representar dichos efectos.
Esto permite calcular el ratio costo-beneficio. Por
ejemplo, un ratio de 1:3 indica que una inversión de 1€
genera 3€ de valor social.
En este caso, para el desarrollo del análisis se
trabajó con una adaptación de la metodología, que se
ha integrado perfectamente en el proceso que se ha
planteado tanto para el análisis contra factual como
explicativo, utilizando para el cálculo de la ratio coste
- beneficio social, gran parte de los resultados que
derivan de ellos.
A continuación se presenta el marco de trabajo para
el análisis finalmente desarrollado:
Gráfico nº 9: Síntesis principales herramientas estudios de caso
“Hay una creciente aceptación de que necesita-
mos mejores formas para cuantificar el valor so-
cial,económicoymedioambientalqueresultade
nuestras actividades. El lenguaje varía -‘impacto’,
‘retornos’, ‘beneficio’, ‘valor’- pero las preguntas
son las mismas en torno a qué tipo de cambio y
cuánto de ese cambio estamos haciendo”.
Guía SROI, pág.6
8
9

etapa
1: Establecer el alcance (qué)
y los actores clave
• Alcance del análisis:
• 2ª Edición Lanzaderas: 10 lanzaderas; 228 personas; 10
localidades.
• Fases incluidas: preparación (3 meses); desarrollo de la
lanzadera (5 meses); periodo análisis efectos (3-4 meses)
• Periodo de análisis: 1 año (noviembre 2014 a octubre
2015).
• Mapa de actores - identificar los que aportan / invierten en el
proyecto: costes del proyecto (aportes de F. Telefónica, SMLR)
y valorizados (aportes voluntarios en sesiones y talleres en las
Lanzaderas)
2: Mapa de impactos -
teoría del cambio
• Cuadro de inversiones en el proyecto (por fuente) ajustado
a periodo y acotación acordado, tanto monetario como
valorizado (ej. trabajo voluntario)
• Cuadro de productos del proyecto y efectos seleccionados
para su inclusión en el análisis coste-beneficio.
• Análisis de beneficios derivados de cada efecto para los
diferentes actores
3: Evidenciar los efectos y darles
valor (monetizarlos)
• Matriz con los siguientes elementos para cada efecto/cambio:
• Indicadores (cómo se mide)
• Fuente de información (de dónde se obtiene la
información)
• Cantidad (cuánto cambio ha habido)
• Duración del efecto (periodo estimado del beneficio)
• Proxie financiero (qué indicador financiero utilizamos
para valorar el cambio)
• Valor (€) (cuál es el valor del cambio)
• Fuente (de dónde se obtiene el valor del cambio)
PROXIES: Son aproximaciones del valor social de bienes que no
son comercializables para los diferentes grupos de interés, que
hemos obtenido de:
• Batería de proxies derivados del análisis documental
(informes o bases de datos SROI)
• Búsqueda de valores en fuentes secundarias.
• Consulta a informantes clave.
Cuadro nº 3: Marco de trabajo análisis coste-beneficio (SROI):

etapa
4: Establece el impacto (contra
factual)
CÁLCULO DEL IMPACTO, como proxie fianciero x cantidad
de efecto neto = total; proceso ejecutado para cada efecto,
sumando todos los resultados al final.
5: Calcular el Retorno Social de la
Inversión
• Cálculo del Valor Actual
• Ratio SROI
• Análisis de sensibilidad
6: Reportar, usar Informes e infografías con la información más relevante.
La recopilación de información se ha realizado
mediante la integración de elementos específicos en
las técnicas ya previstas para el análisis contra factual
y explicativo:
• Estudios de caso: incluyendo preguntas
específicas sobre inversión en las
actividades (tanto monetarias como
valorizados), sobre los beneficios que
derivan de cada efecto esencial de
proyecto para los diferentes actores
involucrados y sobre el valor de
diferentes proxies financieros.
• Cuestionario: resultados de indicadores
de los efectos esenciales a medir
incluidos en el análisis contra-factual.
• Análisis documental: informes de
seguimiento económico financiero del
proyecto (intermedios y final); análisis de
informes SROI de programas de empleo /
inserción laboral.

X
2014
XI
2014
XII
2014
I
2015
II
2015
III
2015
IV
2015
V
2015
VI
2015
VII
2015
VIII
2015
IX
2015
X
2015
XI
2015
XII
2015
diagnóstico
y diseño
pre test
L2
post test
L1 y L2
Sesión con el
Área Social de
post test
L2
Informestrabajo
de campo
IV. Línea del tiempo de los
trabajos ejecutados
Gráfico nº10: Línea del tiempo general de la evaluación
41IV. Línea del tiempo de los trabajos ejecutados

V.1. Muestras: estrategia y
resultados
Teniendo en cuenta el diseño elegido para la
evaluación, la estrategia para obtener los grupos
necesarios para el análisis contra factual (método de
diferencia en diferencias), fue optar por encuestar
al censo completo de candidatos/as (pre inscritos/
as) al inicio del Programa, y encuestar a todos/as las
personas que había completado el cuestionario inicial
al cabo de tres meses de finalizado. Formando así los
dos grupos: proyecto y comparación; y obteniendo de
cada uno de ellos una medición antes y otra después
del desarrollo del proyecto.
Por lo tanto, la incorporación de participantes
en el grupo de control ha sido mediante selección
intencional, es decir, no probabilística, formando
grupos lo más homogéneos posible en cuanto a
características socio demográficas y estructurales.
• El grupo experimental o proyecto estaría
compuesto por todos los participantes
en el programa, en todos y cada uno de
los municipios donde se desarrollara,
en las ediciones objeto de la evaluación.
Según las cifras esperada de participación
serían:
• Proyecto “Lanzaderas”- edición 1: 15
lanzaderas, 300 participantes - sólo post-
test.
• Proyecto “Lanzaderas”- edición 2: 10
lanzaderas, 200 participantes - pre- post-
test.
El que se buscara que todas las personas
participantes estuvieran presentes en el pre-
test y post-test del grupo experimental, ha
permitido descartar en el análisis efectos de
sesgo debidos al territorio, además de garantizar
una cierta permanencia del grupo experimental,
independientemente de las bajas que puedan
producirse en la medición post test.
Para dar una mayor robustez al diseño, y teniendo
en cuenta que se trata de un programa que cuenta
con ediciones que se van solapando en el tiempo,
se ha recurrido a un análisis post test de la primera
edición de las Lanzaderas, que ha permitido verificar
si se producen tendencias similares en los resultados
del proyecto. Se trata de una innovación dentro de
las estrategias que generalmente se proponen para
comprobar el supuesto de “igualdad de tendencias”,
ya que se suele recurrir (cuando es posible) a varias
mediciones antes del proyecto en ambos grupos,
varios grupos de comparación (sin proyecto), o pruebas
placebo.
Resultados muestra pre test:
La encuesta inicial (pre test) se llevó a cabo durante el
proceso de selección de participantes, pero siempre
antes de que supieran el resultado del mismo, para evitar
el sesgo de selección. Para ello se diseñó una estrategia
específica de gestión del cuestionario, que contó con la
colaboración del equipo técnico de Santa María La Real y
los/as coach del proyecto.
Una vez concluido el proceso de selección por parte de
Santa María la Real, se elaboraron listas de encuestados/
as teniendo en cuenta que los/as candidatos/as podían
resultar seleccionados, no seleccionados o quedar en
una lista de espera, para cubrir potenciales bajas durante
los dos primeros meses del desarrollo de la Lanzadera.
El listado de seleccionados/as constituyó el grupo de
proyecto (inicial), y el de no seleccionados/as el grupo
de comparación. La personas que quedaron en reserva
se distribuyeron entre ambos grupos, una vez se tuvo
constancia de las personas que pasaron a cubrir bajas en
las Lanzaderas, y por tanto pasar a ser participantes.
Para el análisis explicativo, complementario del
contra factual, se seleccionaron cuatro estudios
de caso teniendo en cuenta criterios: geográficos,
del contexto socio económico (tasa de desempleo,
sector productivo, población urbana y rural), acceso
a programas de inserción laboral, así como internos
del programa (experiencia del/la coach, experiencia
anterior en la zona, desarrollo del proceso de selección,
y características del grupo de participantes en la
Lanzadera).
El alcance del pre test se resume en el siguiente
cuadro:
V. Sistematización de la
información
42 V. Sistematización de la información

Grupos contra factual Estudios de caso Trabajo de campo
pre test
Censo:
N pre- inscritas = 492
N cuestionarios = 357
Tasa respuesta = 73%
Número de participantes:
59
Zaragoza = 16
Pamplona = 15
Seseña = 17
Mérida = 11
El grueso del trabajo de
campo se desarrolló durante
el periodo comprendido entre
el 20 de enero de 2015 y el 25
de febrero de 2015, a través de
la gestión de un cuestionario
online enviado al conjunto de
preinscritos/as con opción
de entrevista de selección al
Programa y a nivel nacional
(10 lanzaderas que conforman
la convocatoria del Programa),
y el desarrollo de 4 Estudios
de Caso en las Lanzaderas
específicas de Zaragoza,
Mérida, Pamplona y Seseña.
Grupo seleccionado (proyecto):
N seleccionadas = 188
Tasa de respuesta = 89%
Grupo comparación:
N no seleccionado / reserva = 302
(127 no seleccionados; 63 reserva)
Resultados muestra post test (edición
evaluada):
Una vez depurados los censos y reorganizada la
información, se realizó la encuesta final (post test)
entre todas las personas que participaron en el
programa, así como entre todas las personas que
formaron el grupo de comparación (no seleccionados/
as y reserva). La medición post test a través del
cuestionario se realizó 3 meses desde finalizada el
plazo máximo de la Lanzadera (duración 5 meses),
y los estudios de caso al final del desarrollo de la
Lanzadera.
La gestión del cuestionario se llevó a cabo de
forma diferenciada: por un lado en coordinación con el
equipo de SMLR, para el caso del grupo del proyecto;
y directamente desde el equipo de Redcrea en el caso
del grupo de comparación. El cuestionario requirió
un intenso trabajo de captación de participantes,
especialmente complejo en el caso del grupo de
comparación (correos electrónicos directos, campañas
de captación vía mail, mensajes de teléfono móvil, y
llamadas telefónicas).
En los estudios de caso la participación se redujo,
ya que al final de la Lanzadera el volumen de
participantes baja considerablemente, como proceso
natural de la misma (parte del grupo se inserta
laboralmente y deja de participar en la Lanzadera).
La participación en el post test se resume en el
siguiente cuadro:
Cuadro nº 4: Alcance medida pre test
43V. Sistematización de la información

6
.
6.
Grupos contra factual10 Estudios
de caso
Trabajo de campo post
test
Grupo proyecto:
Post test:
N participantes = 208
(envío cuestionario post test a todo
el censo de participantes)
Número de
participantes: 31
Zaragoza = 13
Pamplona = 9
Seseña = 6
Mérida = 3
(23% personas que
se han insertado
laboralmente)
Trabajo de campo se desarrolló
durante el periodo comprendido
entre el 8 de Junio de 2015 y el
17 de Octubre de 2015, en dos
etapas:
1ª) Al final del proyecto (del 8 al
17 de junio de 2015): desarrollo
de la recopilación de datos post
proyecto, en los 4 Estudios de
Caso en las Lanzaderas específicas
de Zaragoza, Mérida, Pamplona y
Seseña.
2º) A los tres meses de finalizado
el proyecto (del 17 septiembre
al 17 octubre de 2015): gestión
del cuestionario online enviado al
conjunto de participantes en las
10 lanzaderas que conformaron
la convocatoria del Programa
evaluado, y a la totalidad del grupo
de comparación (con pre test).
Emparejados pre - post = 135
N pre test = 167
N post test = 135
Tasa emparejamiento = 81 %
Grupo comparación:
N censados final = 175
Emparejados pre - post = 77
(solo se envío cuestionario post test a
los que habían completado el pre
test)
10 Como resultado del proceso, para el caso del análisis contra factual, se tuvo que optar no incluir la Lanzadera
de Manacor, al no lograrse una tasa de respuesta aceptable ni del grupo del proyecto (3 respuestas) ni en el de
comparación (ninguna respuesta).
Grupo proyecto
Trabajo de
campo
Número
participantes 331
Trabajo de campo
se desarrolló a
los tres meses de
finalizada la edición
del proyecto.
Durante el periodo
comprendido entre
el 10 de junio y el 9
de julio de 2015, a
través de la gestión
de un cuestionario
online enviado
al conjunto de
participantes en las
15 Lanzaderas.
Número
cuestionarios
170
Tasa de
respuesta
51%
Resultados muestra post test (edición
previa a la evaluada):
Durante el desarrollo de la evaluación se contó con
la posibilidad de encuestar al grupo que terminaba
la primera edición de las Lanzaderas. En este caso se
utilizó el censo completo de participantes de las 15
lanzaderas que constituyó dicha edición.
La gestión del cuestionario contó con la
colaboración de los/as coach, que contactaron
con los/as participantes tres meses después
de la finalización, con el intercambio constante
de información con el equipo de Redcrea para
monitorear la tasa de respuesta e ir tomando las
acciones oportunas de refuerzo y motivación.
La participación se resume en el siguiente cuadro:
Cuadro nº 5: Alcance medida post test
Cuadro nº 6: Alcance medida post test (1ª
Edición Lanzaderas)
10. Como resultado del proceso, para el caso del análisis
contra factual, se tuvo que optar no incluir la Lanzadera
de Manacor, al no lograrse una tasa de respuesta
aceptable ni del grupo del proyecto (3 respuestas) ni en
el de comparación (ninguna respuesta).

V.2. Muestras:
comparabilidad de los
grupos resultantes
El método de diferencia en diferencias requiere de
datos iniciales (línea de base) y datos recopilados
una vez finalizado el programa, tanto del grupo
que participa en el proyecto como de un grupo
de comparación para poder establecer relaciones
causales.
La diferencia antes - después del grupo que
participa en el proyecto permite controlar factores
internos, que no cambian significativamente en
el tiempo que dura el programa (sexo, edad, nivel
de estudios, etc.), ya que se compara al grupo con
sí mismo (se anula el efecto de las características
específicas del grupo que son constantes en el tiempo,
tanto las observadas como las no observadas); por
su parte con el grupo de comparación se controlan
los factores externos, que si pueden cambiar con
el tiempo, ya que se observan las diferencias antes
- después en un grupo que no ha participado en el
programa, pero que ha estado expuesto a las mismas
condiciones ambientales7
.
Al combinar las comparaciones simples antes-
después y participantes - no participantes se obtiene
una estimación del contra factual, o cambio en los
resultados del grupo del proyecto atribuibles al mismo.
En este caso, para mejorar la validez del diseño,
además se ha realizado un análisis de equivalencia
entre los grupos de proyecto y de comparación en
numerosas variable socio demográficas y otras que
pueden tener influencia en los resultados del proyecto
(basado en estudios previos de empleabilidad), así
como aquellas que formaban parte de los criterios de
selección, para controlar potenciales sesgos.
El resultado del análisis permite afirmar que los
dos grupos obtenidos (implicados en el análisis contra
factual) son equivalentes en la mayor parte de las
variables analizadas (17 en total). Las únicas variables
en las que presentan algunas diferencias son:
11 . También hay que tener en cuenta que se trata de
proyectos de corta duración (5 meses), por lo que es
más factible que el contexto se mantenga estable. En
cualquier caso, el contexto es un elemento considerado a
lo largo del estudio
• Nivel de estudios alcanzado: En esta
característica las mayores diferencias
observadas se encuentran en el nivel
de estudios universitarios: 57 % en el
grupo de proyecto frente al 33,3% en
el grupo de comparación; y en estudios
secundarios o inferiores, que en el grupo
de comparación representa el 41% de
las personas, frente a un 14,1% en el
grupo del proyecto.
• Edad: se trata de una condición en la
selección de participantes, por lo que el
grupo de proyecto es más homogéneo
en el intervalo de 24 a 29 años, que el
grupo de comparación, con más casos
en los extremos, por encima de 29 años
y por debajo de 24).
• Experiencia laboral previa:
superior en el grupo del proyecto
que el de comparación (88% y 70%
respectivamente), aunque la media
entre quienes tienen experiencia es
similar (4 y 4,2 años respectivamente).
• Prestaciones y ayudas por
desempleo: el 26% del grupo de
comparación recibe prestaciones o
ayudas por desempleo, frente a un 11%
en el grupo de proyecto.
Tras el análisis de las que presentan algunas
diferencias entre grupos, se ha considerado relevante
controlar la variable “nivel de estudios alcanzado”,
para lo cual se ha llevado a cabo una ponderación
estadística de las muestras para obtener resultados
ajustados del análisis contra factual.
Además se debe señalar que en la muestra
obtenida tras el emparejamiento de casos pre -
post disponibles, hay una mayor representación
de mujeres que de varones (60 % a 40%),
descompensación que es mayor en el grupo de
control, aunque la diferencia entre grupo de proyecto
y comparación no es significativa estadísticamente.
Igualmente se ha estudiado la potencial influencia del
género en los resultados (ver el apartado del informe:
VI.4.2 Análisis de resultados en función de variables
socio demográficas relevantes).
En el anexo nº 2 se encuentra la Ficha Técnica del
diseño contra factual.
11

V.3. Perfil del participante
Dado que se trata de un programa que tiene un
proceso de selección de participantes definido (los/
as candidatos/as tienen que cumplir una serie de
requisitos), previo a la exposición de los efectos e
impactos del Programa, se ha considerado importante
describir el perfil de entrada de las personas que
finalmente han participado en las Lanzaderas.
Partiendo del perfil que buscaba el proyecto, tal y
como se recoge a continuación:
Descripción en el documento de
formulación del proyecto:
“Los beneficiarios directos del proyecto son
personas desempleadas menores de 35 años, que
quieran aumentar sus posibilidades de encontrar
un empleo por cuenta ajena o desarrollar proyectos
propios de emprendimiento. Se crearán equipos
heterogéneos en cuanto a nivel educativo, titulación,
sexo y sector de actividad, con el propósito de facilitar
las sinergias entre los integrantes del equipo y evitar
la competencia directa entre las personas. Se trata de
un colectivo con una elevada tasa de paro que corre
un serio riesgo de desconexión de las estructuras
productivas y del sistema socioeconómico, con las
consecuencias psicosociales, económicas y vitales que
ello genera”.
La heterogeneidad es una característica que se
busca para los equipos de trabajo que conforman cada
Lanzadera; a título orientativo, las distribución para
cada una de las variables independientes sexo, edad y
nivel de estudios, que pretende el proyecto es la que
aparece en el gráfico 11.
Además, en las entrevistas (grupales) de incidentes
críticos que lleva a cabo el / la coach durante el
proceso de selección, se busca identificar actitudes
y comportamientos que tienen las personas
candidatas en cuanto a la búsqueda de empleo, el
emprendimiento por cuenta propia, el trabajo en
equipo y la solidaridad.
Las áreas de valoración se concretan en:
• Voluntariedad en la participación, interés
en la iniciativa
• Vocación emprendedora
• Proactividad en la búsqueda de empleo
• Orientación al trabajo en equipo
Sexo
HOMBRES
45%
MUJERES
55%
Edad
21 a 24
20%
18 a 20
10%
25 a 30
35%
31 a 34
35%
FP
grado
superior
30%
Universit.
30%
Bachiller/
FP gr.
medio
20%
ESO/
Graduado
escolar
20%
Estudios
• Orientación hacia las personas
• Compromiso de asistencia y participación
activa
Se seleccionan a las personas que mejor puntuación
obtienen en estos aspectos (valoración subjetiva del
coach), siempre que se alcancen las proporciones en
cuanto a edad, sexo y nivel de estudios. La última
decisión en cuanto a personas que se seleccionan es
Gráfico nº 11: Perfil objetivo de
participante en Lanzaderas

del coach, que valora además del perfil individual de
cada candidato/a, la idoneidad del grupo como tal.
Perfil obtenido en la 2ª edición de
Lanzaderas (edición evaluada):
A continuación se muestra la fotografía inicial de
las características del grupo de personas que han
participado en el proyecto evaluado8
, en variables
socio demográficas, y de empleabilidad (relacionadas
con la formación y la situación laboral).
El perfil del participante, por tanto, ha sido
ligeramente diferente al que se proponía en
Lanzaderas, especialmente en cuanto:
12. Perfil de las personas que fueron finalmente
seleccionadas para participar en las Lanzaderas y que
completaron el cuestionario pre test ( 167 personas;
83,5% del total de participantes ).
• Nivel de estudios alcanzado: se supera
en cerca de un 23% la proporción de
personas con estudios universitarios
(53% en lugar de 30% previsto).
• Edad: el grupo de edad de 18 a 20 años
está muy por debajo del perfil orientativo
del programa (1,8% en lugar de un 10%),
y de 21 a 24 son la mitad de los previsto.
El grupo tiende por tanto a concentrarse
en el rango de edad de 25 a 30 (cerca del
57%, en lugar del 35% previsto).
Características de los y las participantes proyecto
Lanzaderas de Empleo y Emprendimiento Solidario
Estudios
Nº de personas
con las que conviven
Nº de personas
que aportan ingresos
Es la persona que
más ingresos aporta
al hogar
2
1,3
NO
93,7%
Composición familiar
21 a 24
10,8%
18 a 20
1,8%
25 a 30
56,6%
31 a 34
30,7%
HOMBRES
47,9%
MUJERES
52,1%
Edad media
28,43 años
Otra formación
Universitarios
Ciclo formativo
grado superior
Ciclo formativo
de grado medio
Secundarios
Primarios o
inferiores
1,2%
52,6%
22,2%
8,4%
13,8%
1,8%
Convivencia
Compartiendo
con amigos
Con los padres
Con pareja
e hijos
Con pareja
Solo
Con otros
familiares
3,6%
53,0%
12,7%
22,3%
7,2%
1,2%
Situación laboral
Con experiencia
laboral previa
Experiencia
media (años)
Meses en
desempleo
Inscritos en
una oﬁcina
de empleo
Meses inscritos
Con prestación
Participó en otros
programas de
apoyo al empleo
89,2%
5,1
11,7
96,4%
9,8
25%
18,0%
Situación formativa
Situación respecto a
la búsqueda de empleo
Buscan empleo
intensamente
70,7%
Realizando algún
tipo de estudio o
formación
Grado universitario
37,1%
16,1%
Dedican 10,5
horas a la
semana a la
búsqueda
de empleo
Buscan empleo
con tranquilidad
27,5%
Gráfico nº 12: Perfil real participante Lanzaderas (2 ª edición)
12

Evaluación del impacto social de las Lanzaderas de Empleo

Evaluación del impacto social de las Lanzaderas de Empleo

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (12)

Destacado

Destacado (20)

Similar a Evaluación del impacto social de las Lanzaderas de Empleo

Similar a Evaluación del impacto social de las Lanzaderas de Empleo (20)

Más de Alfredo Vela Zancada

Más de Alfredo Vela Zancada (20)

Evaluación del impacto social de las Lanzaderas de Empleo