El documento analiza la metodología de evaluación de proyectos de ciencia y tecnología propuesta por INVERTEC. Explica que la evaluación es importante para definir prioridades, justificar el uso de recursos y obtener financiamiento. También destaca los desafíos que plantea evaluar proyectos C&T, como la incertidumbre sobre los resultados. Propone que la evaluación sea un componente de la gestión de proyectos y tenga en cuenta factores como el impacto, la pertinencia y la viabilidad.

1. Evaluación de Proyectos de C&T Análisis del Documento “Metodología de Evaluación de Proyectos de C&T” por INVERTEC

2. Evaluación de Proyectos de C&T ¿Porqué evaluar? Apoyo a la definición de prioridades y políticas Gran demanda por “accountability” y eficiencia de los recursos Justificar costos elevados en C&T Necesidad de retroalimentación Ex ante Análisis de cumplimiento de metas Exigencias de OI y nacionales para otorgar financiamiento

3. Evaluación de Proyectos de C&T Problemática de la evaluación de PC&T Basada en la estratificación y gestión de un análisis subjetivo Métodos complicados, + Tiempo en su implementación Precisión depende de supuestos El Desarrollo es difícil de anticipar Resultados, difícilies de predecir y de medir Controversia Resultados “generalmente” productos intermedios La priorización es crucial Gasto es discrecional

4. Evaluación de Proyectos de C&T Principios Fundamentales (2) Evaluación como componente del proceso de gestión Científico y Tecnológico Importancia del seguimiento de proyectos Propósitos relevantes de la evaluación Evaluación y tipos de proyectos El buen proyecto Tipos de Mecanismos Dificultades caracteristicas en la gestión de la evaluación Proyectos en la interfase Ciencia – Tecnología Claves de éxito de los procesos de evaluación Evaluación como contructor de valor real

5. Evaluación de Proyectos de C&T Evaluación como componente del proceso de gestión Científico y Tecnológico Proceso de gestión Convocatorio, evaluación, selección, etc... Caracteristicas Relevantes Define políticas, orienta, asigna recursos Dinámicas Diferentes Sistema abierto - cerrado Fase del ciclo CTI Nivel de incertidumbre – factores controlantes Requerimientos Principales Permanencia – Credibilidad – Confiabilidad etc...

6. Evaluación de Proyectos de C&T Importancia del seguimiento de proyectos Mejoran los proyectos Aumenta los niveles de exigencia Crea medios para analizar situaciones criticas Adaptación a las condiciones cambiantes Aumenta el flujo de conocimiento Retroalimenta Posibilita anticipar Permite identificar los efectos inesperados

7. Evaluación de Proyectos de C&T Propósitos relevantes de la evaluación Calidad Potencial y viabilidad de ideas Pertinencia Prioridades del país Relevancia Apliación, ruptura y creación de nuevos paradigmas Impacto Económico, social, institucional, ambiental Apropiabilidad

8. Evaluación de Proyectos de C&T Evaluación y tipos de proyectos Debe tener presente la naturaleza de lo evaluado. Desarrollo de infraestructura Formación de personal Investigación y Desarrollo Innovación tecnológica Tranferencia de tecnología Divualgación y valoración de la C&T Desafío: Superar el “sindrome de la simulación” que efectuan los actores

9. Evaluación de Proyectos de C&T El buen proyecto La imagen de un “buen” proyecto puede ser definida a través de la constitución de algunos componente significativos, tales como: Creación de Valor Formación de Equipos de Trabajo Ambito de impacto: vinculación y tranferencia Capacidades: equipamiento e infraestructura Metodologías y Herramientas Actores: forma de participación, aportes, alianzas Apalancamientos Efectos Inesperados Estas imágenes ayudan a orientar ya sea adhiriendo a ellas o a discrepando de ellas, sirviendoles de referente

10. Evaluación de Proyectos de C&T Tipos de Mecanismos Concurso Horizontal (o transversal) Concurso Vertical ( o selectivos) Necesarios cuando la demanda supera a la oferta Mayor transparencia al sistema Licitaciones Para aquellos proyectos que el Estado le interesa impulsar en forma particular. Estimular trabajos en temas considerados estratégicos Ventanilla Flexible, permite recibir en cualquier momento Negociación Directa Concursos de programas

11. Evaluación de Proyectos de C&T Dificultades caracteristicas en la gestión de la evaluación Temor frente al cambio Insuficiente compresión Complejidad Recursos insuficientes Efectos de falsas autoridades intelectuales Riesgo de burocratización Riesgo de desgobierno Riesgo de “clientización”

12. Evaluación de Proyectos de C&T Proyectos en la interfase Ciencia – Tecnología Son proyectos que vinculan a universidades, institutos tecnológicos y empresas, revisten características peculiares que es necesario tener presente en los procesos de evaluación: Naturaleza diferente: razón científica, acción tecnológica Espacio de integración Gran creación de Valor Circulación de talentos Ruptura de mitos: “científicos no les interesan los problemas de la industria” “empresarios no les interesa la ciencia”, “Cientificos no les interesa el dinero”. Potenciación de la actividad científica, tecnológica y económico - social

13. Evaluación de Proyectos de C&T Claves de éxito de los procesos de evaluación Valoración positiva a priori Gradiente de competencia favorables a sistemas de evaluación Atributos notables de la gestión Independencia, transparencia, eficiencia, respeto Logros efectivos Generación y difusion de proyectos “estrella” Desarrollo de cultura de valoración y evaluación entre los actores

14. Evaluación de Proyectos de C&T Evaluación como contructor de valor real La evaluación trasciende y supera lo evaluado, produciendo beneficios para una comunidad Gradiente de valor con respecto a activos sociales existentes Desencadenador de ideas-fuerza y nuevos paradigmas Articulador de eslabones aislados en cadenas y redes de valor Precipitador y dinamizador de cambios

15. Evaluación de Proyectos de C&T Bases de diseño de la metodología (3) Integridad y transparencia Sinergia Diversidad y pluralismo Confidencialidad Diseño Operacional Simple y riguroso; flexible y ágil; Bien promocionado Diseño Técnico

16. Evaluación de Proyectos de C&T Diseño Técnico = Metodología de Evaluación Permita evaluar con flexibilidad una gama amplia de proyectos Que acepte la existencia de “fronteras difusas” Sea adaptable a las orientaciones y tendencias de los “policy makers” Que contemple como criterios críticos de evaluación conceptos de: Impacto y Relevancia Pertinencia Rentabilidad Social Viabilidad de lograr los resultados propuestos

17. Evaluación de Proyectos de C&T Naturaleza de los proyectos Ciencia Básica Contribuir al conocimiento de la naturaleza y sociedad Ciencia Aplicada Generar conocimiento con una aplicabilidad eventual a la realidad del pais en m y l plazo Investigación Precompetitiva Desarrollar y aplicar en el c.p. Tecnologías de baja apropiabilidad y de amplio espectro en el S.P Tecnología Competitiva Generar y aplicar tecnologías de alta apropiabilidad para uso competitivo por una empresa o un grupo reducido de ellas.

18. Evaluación de Proyectos de C&T Naturaleza del proyecto Tipos de Metodologías Evaluación por Pares Evaluación Complementaria Consejo y Comité Evaluación Económica Ciencia básica o pura Tradicional Complemento con bibliometría y otros datos relevantes Científico - Tecnológico No aplica Ciencia con aplicaciones potenciales relevantes Investigación precompetitiva de baja apropiabilidad Participación de “no académicos” Análisis estratégico Académico, privado y gobierno Evaluación económica social Tecnología de mercado de alta apropiabilidad Conocedores mundo empresarial Evaluación integral interna o restringida (confidencial) Empresarial Evaluación económica privada

19. Evaluación de Proyectos de C&T Diferente tipos de metodología Priorización de los proyectos (lógica difusa) Descomponerlos en sus elementos constitutivos para darles una estructura jerárquica Evaluación por Pares Pertinencia (alineamiento con un planteamiento estratégico) Impacto y Relevancia (efectos directos e indirectos) Rentabilidad Social (beneficos) Viabilidad (probabilidad de éxito) Del Entorno, de postulantes, metodológicas, productivas Evaluación Económica-social análisis costo-beneficios Basada en supuestos razonables y realistas TIR, VAN, VAN/I, VAN/I&D, Probabilidad de éxito

20. Evaluación de Proyectos de C&T Evaluación económica-social (ejemplo TIR) Evaluación por pares (ejemplo algoritmo) Proyectos a aprobar

21. Evaluación de Proyectos de C&T Procesos Sustantivos (4) Actores del proceso Postulantes Comités Técnicos Consejos de Evaluación CONACYT Ejecutivos de cuenta Proceso Global de los Proyectos Convocatoria Ingreso Evaluación Análisis La formalización El Seguimiento La evaluación del impacto

22. Evaluación de Proyectos de C&T Flujograma Ingreso Proyecto Elegibilidad Evaluación Sale del Proceso Informe al Comité Reunión del Comité A reformular Aprobado Contrato y línea de base Ejecución y seguimiento Sí No No Perfil (optativo) Informe final y evaluación impacto

23. Evaluación de Proyectos de C&T Principales Etapas del proceso de evaluación de proyectos Clasificación Definición de los parámetros de Elegibilidad (1er filtro) Calibración del algoritmos de evaluación (relevancia) Bases y Formatos (presentación) Apoyo a la formulación (evaluación fluida e informada) Recepción de perfiles (2do filtro) Proceso de elegibilidad de proyectos Aplicación de evaluación “por pares” (3er filtro) Evaluaciones complementarias Análisis de los resultados y selección de proyectos Resultados Línea de base Firma de Convenios

24. Evaluación de Proyectos de C&T Criterios y algoritmo de evaluación de proyectos (5) Asignación de valores en función a su Naturaleza Asignación de criterios por la calidad Muy alto /muy bueno 5 Alto / bueno 4 Regular 3 Bajo/malo 2 Muy bajo / muy malo 1 No aplica N

25. Evaluación de Proyectos de C&T CRITERIOS DE EVALUACIÓN DE PERTINENCIA *En anexos se presenta una descripción del “Fondo Sectorial o Mixto” SUB-CRITERIOS MANDATORIOS DE CUMPLIMIENTO NECESARIO C CONCLUSIONES Y RECOMENDACIONES Pertinencia en relación a los objetivos del Fondo Pertinencia en relación a las políticas del Fondo (incluir descentralización y creación de nuevos grupos) Pertinencia en relación a las demandas específicas SUB-CRITERIOS CUYO CUMPLIMIENTO ADICIONA VALOR A LA PERTINENCIA C CONCLUSIONES Y RECOMENDACIONES El proyecto se acerca al criterio de política "D" definido por el Fondo El proyecto se acerca al criterio de política "E" definido por el Fondo El proyecto se acerca al criterio de política "F" definido por el Fondo El proyecto se acerca al criterio de política "G" definido por el Fondo

26. CRITERIOS DE EVALUACIÓN DE IMPACTO Y RELEVANCIA SUB- CRITERIOS DE IMPACTO CIENTÍFICO-TECNOLÓGICOS C CONCLUSIONES Y RECOMENDACIONES Potencial contribución a la creación de nuevo conocimiento significativo Originalidad de la propuesta en relación con el estado del arte actual Atención a la solución del problema o necesidad u oportunidad Ventajas comparativas de los resultados C&T esperados en comparación con resultados, productos o tecnologías competitivas. SUB- CRITERIOS DE IMPATO EN FORTALECIMIENTO DE CAPACIDADES C CONCLUSIONES Y RECOMENDACIONES Contribución a la creación de nuevos RRHH para la C&T (considere nivel y cantidad) Contribución a la creación de nueva infraestructura para la C&T (sin duplicar) Contribución a la creación de redes y alianzas estratégicas valiosas nacionales o internacionales SUB- CRITERIOS DE IMPACTO SOCIAL C CONCLUSIONES Y RECOMENDACIONES Potencial Contribución al mejoramiento efectivo de la calidad de vida en salud, educación, cultura, vivienda, seguridad u otros Aporte al acervo cultural del país. Conservación del medio ambiente, utilización óptimo de recursos naturales (rescate de especies en extinción) SUB- CRITERIOS DE IMPACTO ECONÓMICO C CONCLUSIONES Y RECOMENDACIONES Potencial Contribución al mejoramiento efectivo de la producción, las ventas, las utilidades, las exportaciones y la generación de empleo en el sector productivo. Desarrollo de nuevos productos o procesos. Mejoras en calidad, competitividad o eficiencia. Sustitución de exportaciones. Oportunidades que se aprovechan o potencian en el país.

27. CRITERIOS DE EVALUACIÓN DE RENTABILIDAD ECONÓNIMA SOCIAL SUB- CRITERIOS DE RENTABILIDAD ECONÓMICA-SOCIAL C CONCLUSIONES Y RECOMENDACIONES Los impactos directos previstos para el proyecto, comparados con los recursos solicitados. Nivel de cuantificación de los resultados del proyecto Los impactos indirectos y externalidades del proyecto, comparados con los recursos solicitados. Potencialización de recursos ofrecidos en especie Vs los recursos solicitados al Fondo Potencialización de recursos ofrecidos en efectivo Vs los recursos solicitados al Fondo Costos de la instrumentalización de los productos obtenidos Vs los recursos solicitados al Fondo.

28. CRITERIOS DE EVALUACIÓN DE VIABILIDAD SUB- CRITERIOS DE VIABILIDAD DEL ENTORNO C CONCLUSIONES Y RECOMENDACIONES Probablidad que el proyecto se desarrolle sin restricciones económicas, técnicas, ambientales, jurídicas o regulatorias que permitan predecir ...... Los factores de riesgo del proyecto están adecuadamente previstos y son manejables. Se han considerado todos los esfuerzos del entorno que pueden complementar la iniciativa, evitar duplicaciones y optimizar sinergias. Las articulaciones interinstitucionales y/o empresariales requeridas por el proyecto están claramente establecidas y son viables. SUB- CRITERIOS DE VIABILIDAD DE LOS POSTULANTES C CONCLUSIONES Y RECOMENDACIONES La experiencia y trayectoria de la o las instituciones/empresas solicitantes asegura el cumplimiento de los objetivos. La experiencia y trayectoria académica, técnica y de gestión del responsable del proyecto y de otros participantes asegura el cumplimiento de los objetivos. Solvencia financiera, infraestrctura y capacidad de cumplir con los compromisos económicos SUB- CRITERIOS DE VIABILIDAD DE LA METODOLOGÍA C CONCLUSIONES Y RECOMENDACIONES La metodología y el plan de trabajo/plan de negocios para la ejecución del proyecto permiten asegurar adecuadamente el logro de los objetivos. Calidad de la propuesta (formulación del estado del arte, objetivos, metas medibles, productos, etc.) La organización y gestión del proyecto es adecuada. SUB- CRITERIOS DE VIABILIDAD DE PRODUCTIVIDAD C CONCLUSIONES Y RECOMENDACIONES La transferencia tecnológica y difusión del proyecto entre sus usuarios potenciales (personas, empresas e instituciones) está adecuadamente prevista y diseñada, y es factible de lograr. La demanda por el producto o servicio está identificada, es significativa y capaz de internalizar el cambio tecnológico (probablidad de adopción). Claridad en términos de manejo de la propiedad intelectual. Capacidad emprendedora

29. Evaluación de Proyectos de C&T EVALUACIÓN GLOBAL MARQUE CON UNA X CONCLUSIONES Y RECOMENDACIONES EXCELENTE PROYECTO BUEN PROYECTO PROYECTO REGULAR MAL PROYECTO PROPOSICIÓN TÉCNICA MARQUE CON UNA X EXIGENCIAS, MODIFICACIONES C&T, ORGANIZACIONALES, DE GESTIÓN, MERCADO, AMBIENTALES, OTRAS APROBAR APROBAR CON MODIFICACIONES NO APROBAR

30. Evaluación de Proyectos de C&T Elementos para la guía de apoyo a evaluadores Definición de objetivos Definición de la Política Específica Marco Concpetual y metodológico Introducir criterios que permitan con facilidad sopesar de diferente manera los proyectos de acuerdo a su naturaleza Introducir criterios de pertinencia Introducir criterios de Impacto Introducir criterios de Viabilidad

31. Evaluación de Proyectos de C&T Formato Para Empresas (6) Presentacion General Titulo proyecto, naturaleza, razon social, etc. Pauta de Presentación Sintesis del proyecto Antecedentes de la organización Proyectos de Innovación Objetivo, justificación, merito innovador, plan de trabajo, metodologia, escalamiento, análisis de viabilidad, análisis de mercado, impactos esperados, personal relevante. Formación de RRHH Fortalecimiento de Capacidades C&T Presupuesto analítico Apoyos Públicos Curucula del personal relevante Anexos

32. Evaluación de Proyectos de C&T Formato Para IES o C de IyD Presentacion General Titulo, duración, naturaleza, beneficiarios, responsables, costos. Pauta de Presentación Sintesis del proyecto Antecedentes de la organización Proyectos de IyD Objetivo, justificación, estado de arte y merito C&T, plan de trabajo, metodologia, tranferencia tecnológica, escalamiento, análisis de viabilidad, entorno, impactos esperados, antecedentes personal relevante. Formación de RRHH Fortalecimiento de Postgrados Fortalecimiento de Capacidades C&T Presupuesto analítico Apoyos Públicos Curucula del personal relevante Anexos

33. Evaluación de Proyectos de C&T Elementos Generales Administración de proyectos Contabilidad, documentación, comunicados Causales de reformulación No reunir los requisitos, incompleta, baja calidad Contraparte y recorte No se infle los recursos solicitados Propiedad intelectual Definición de cómo apoyar a los beneficiarios Definición de a quien le corresponden la propiedad

34. Evaluación de Proyectos de C&T Prueba Piloto (7) (Conclusion) Se requerirán instructivos y formularios muy claros y explícitos. El evaluador debe disponer del algoritmo completo de evaluación, con los ponderadores ya definidos por el Comité. Debe analizarse la posibilidad, cuando hayan concursos muy “científicos”, de “customizar” las formatos y pautas, de manera que, respetando la metodología y el concepto general, se eliminen algunos términos “ofensivos”. Debe haber un cuidadoso trabajo en el Comité de cada Fondo, para definir su política, ajustar los parámetros del algoritmo, y diseñar convocatorias nítidas y precisas, congruentes con los criterios de evaluación. Dado el ambiente general, es fundamental que la adopción de este nuevo modelo de evaluación vaya acompañado de a) una fuerte campaña de difusión y explicación, con buena anticipación y b) de un proceso rápido y expedito de tramitación de solicitudes. Si hay tardanzas y deficiencias de gestión en el proceso, no hay modelo posible de evaluación que vaya a ser aceptado por la comunidad.

35. Evaluación de Proyectos de C&T Casos Internacionales (8) Argentina Pertinencia, Calidad intrínseca Uruguay (Potenciar la innovación) Pertinencia, Probabilidades de transferencia de resultados Colombia Pertinencia, el uso eficiente de los recursos Chile Pertinencia, viabilidad del proyecto