Primera fase de construcción de un marco metodológico para la evaluación de prospectiva tecnológica. First phase of construction of a methodological framework for the evaluation of technology foresight.

1. MARCO METODOLÓGICO PARA LA
EVALUACIÓN DE EJERCICIOS DE
PROSPECTIVA TECNOLÓGICA EN COLOMBIA.
Tesis para optar al título de Magister en Ingeniería Industrial – Gestión de la Innovación
Ing. Carlos Andrés Morales Machuca
Directora: Ing. Jenny Marcela Sánchez Torres PhD.

2. Agenda
• Descripción del problema
• Objetivo General
• Objetivos específicos
• Metodología
• Resultados

3. Problema
En el marco internacional se ha intentado desarrollar marcos de evaluación de
ciencia, tecnología e innovación para medir y evaluar el impacto de los resultados
de investigación sobre los procesos económicos, políticos, culturales, entre otros
(Duryea et al., 2007). Entre los diferentes procesos de la gestión de la innovación
se encuentra la práctica de la prospectiva tecnológica (Navarra, 2008), ejercicios
que se han puesto en conocimiento de los científicos colombianos en gestión de la
innovación.
Considerando que la Innovación es considerada uno de los ejes fundamentales del
plan de desarrollo nacional y que el Estado colombiano ha invertido una parte
importante de recursos para realizar ejercicios de prospectiva tecnológica y
afines, nace la pregunta: ¿cuál es el marco apropiado para evaluar el impacto de
estos ejercicios en diferentes sectores estratégicos sobre la construcción de
política pública en CT+I?

4. Objetivo general
El objetivo de este trabajo es desarrollar un marco
metodológico para evaluar los efectos causales a
corto, mediano y largo plazo de los ejercicios de
prospectiva tecnológica de un sector estratégico
en la construcción de política pública en CT+I en
Colombia.

5. Objetivos específicos
• Establecer las características de procesos de evaluación de
ejercicios de prospectiva realizados previamente en ámbitos
diferentes al colombiano. Construyendo un esquema
comparativo entre dichas evaluaciones identificando ventajas y
desventajas de estas.
• Proponer un patrón de marco lógico y los elementos para definir las preguntas
de evaluación.
• Proponer un esquema de Indicadores y una herramienta para la definición de los
mismos.
• Realizar una prueba del marco propuesto.

6. Metodología
En la primera fase se reconocerán los objetivos de los
programas en los que se enmarcaron los ejercicios de
prospectiva tecnológica y las metodologías de estos
últimos para construir un marco comparativo de
evaluaciones de impacto de ejercicios homogéneos en
otros contextos geográficos y/o temporales con el fin de
identificar las prácticas metodológicas (Blasco & Casado,
2009) aplicables al diseño del marco para el ámbito
colombiano.

7. Actividades
• Descripción del contexto institucional y organizacional,
identificación de los objetivos de la intervención, actividades
realizadas y por qué se supone que los ejercicios lograrán los
resultados.
• Identificar los ejercicios de evaluación de impacto para
ejercicios de prospectiva y/o vigilancia tecnológica en
contextos diferentes al colombiano.
• Caracterizar las evaluaciones identificadas y construir un
instrumento de comparación de características y técnicas.
• Identificar similitudes y diferencias de estos ejercicios
evaluados con respecto a los practicados en Colombia.

8. Resultados
Fase I

9. Observaciones de datos
PROGRAMA PROSPECTIVA EVALUACION
TOTAL 51 28
Evaluación Interna - Austria 1 -
First National Environmental Plan 4 -
Netherlands Horizon Scan 2007 1 -
Second cycle national technology foresight
process
1 -
Technology Foresight towards 2020 in China 1 -
The Key Technologies exercises 1 -
Third Korean Technology Foresights 1 -
Sexto programa marco de la Unión Europea - 7
First UK Foresight Programme 6 4
Séptimo Programa Marco de la Unión
Europea
15 4
Finnish Innovation System 3 2
STA's Technology Forecast Surveys 10 2
Colombian Technology Foresight Programme 2 1
Cuarto Programa Marco de la Unión Europea - 1
Dutch National Council for Agricultural
Research (NRLO) Programme
- 1
Greek National Technology Foresight
Programme
- 1
Hungarian Technology Foresight Programme 1 1
Quinto Programa Marco de la Unión Europea 1 1
Russian national S&T Foresight 2030 1 1
Second UK Foresight Programme - 1
Sistema Nacional de Innovación 2 1

10. Observaciones de datos
Origen de los evaluadores

11. Observaciones de Datos
Naturaleza de la Entidad

12. Observaciones de datos
Tipo de Entidad

13. Observaciones de datos
Evaluadores

14. Observaciones de datos
Métodos utilizados en evaluación

15. Observaciones de datos

16. Observaciones de datos
FOCOS DE EVALUACIÓN

17. Observaciones de datos
Temporalidad de evaluación vs Foco de evaluación

18. Elementos para la definición de focos de
evaluación
Impacto científico
Transferencia de conocimiento y Propiedad Industrial
Complemento a Políticas
Cooperación
Sector Público
Sector Industrial
Convenios
Organismos de Investigación Profesionalización de la Gestión de I+D
Internacionalización de la Investigación
Políticas regionales I+D
IMPACTO Y RESULTADOS
Fuente:
Evaluation Fp6 of the impact of the in the
RTD public system in Spain. Castrillo
Cancela 2010
Creación de conocimiento científico

19. Elementos para la definición de focos de
evaluación
Participación
Conexiones de cooperación
Alianzas
Costos
Identificación de focos y prioridades
(A través de las prospectivas evaluadas)
Base científica e industrial
Sistema de Información, asesoría y coordinación
PROCESOS, RESULTADOS
Fuente:
Evaluation of Norway’s participation in the
EU’s 5th Framework Programme. NIFU -
STEP 2004
Producción de conocimiento científico
Políticas

20. Elementos para la definición de focos de
evaluación
Criterios
Externos
Internos
Mayor enfoque en lo cualitativo
Mayor enfoque en lo cuantitativo
• Actores
• Procesos
• Objetivos
• Inputs/Outputs
• Resultados
• Efectos
• Impactos
Evaluación de mecanismos
de financiación principalmente
en términos cualitativos
Valor del dinero
Popper et al,2010
Fuente:
THE INTEGRATED APPROACH FOR
FORESIGHT EVALUATION: THE RUSSIAN CASE
Sokolova, 2013
Público
AcademiaPrivado
INTERCONEXIONES
• Oportunidad
• Eficiencia
• Efectividad
• Suficiencia
• Utilidad
• Importancia
• Relevancia
Georhiou and Keenan, 2006; Popper, 2010; Destatte, 2007
Dursun et al 2011; Rijkens-Klomp and Van Der Duin 2011

21. Conclusiones
• Los líderes en evaluación de actividad CTI y especialmente prospectiva
se encuentran principalmente en el Reino Unido y Finlandia.
• La lista esta encabezada por universidades públicas y centros de
investigación.
• Organismos internacionales y entidades gubernamentales encabezan la
lista de financiadores.
• Los focos de evaluación varían dependiendo de la profundidad de análisis
y objetivos.
• Las herramientas más utilizadas para evaluación son entrevistas,
encuestas y paneles de expertos.
• La mayoría de evaluaciones se enfocan en Impacto, Resultados y Nivel de
Éxito de tipo Ex-Post.