Jornada informativa Horizonte 2020 sobre Reto Social 5: Acción por el Clima, Medio Ambiente, Eficiencia de Recursos y Materias Primas. Oganizada por la Agencia en colaboración con la Universidad de Almería. Almería, diciembre de 2016.

1. Almería, diciembre 2016
La visión del evaluador
María Pat González Dugo

2. ¿QuéeselIFAPA? Instituto de Investigación y Formación Agraria y Pesquera de
Andalucía
Almería, diciembre 2016
Consejería de Agricultura, Pesca y Desarrollo Rural
Investigación, desarrollo, transferencia de tecnología y formación

3. Contenidodelapresentación
Almería, diciembre 2016
• El papel de los evaluadores
• Procedimiento de evaluación
• Criterios de evaluación
• Comentarios finales

4. Elpapeldelosevaluadores
Almería, diciembre 2016
expertos registrados en el portal del participante
trabajo personal, no en representación de una institución o
país
diversa procedencia y experiencia (academia,
empresa…)
disponibilidad ocasional para asignaciones de corta
duración (5-10 días)
Tareas:
• Evaluación de propuestas
• Seguimiento de acciones

5. Elpapeldelosevaluadores
Almería, diciembre 2016
-Comités de evaluación multidisciplinares
-No son expertos en TODO lo relacionado con el
proyecto (compromiso difícil entre dirigirse a un
experto y facilitar la comprensión de un no-experto)
-El tiempo para evaluar cada propuesta es
insuficiente para hacer una revisión en profundidad

6. Elpapeldelosevaluadores
Almería, diciembre 2016
INDEPENDENCIA, trabajo individual que no representa a un
país o institución
IMPARCIALIDAD, tratar por igual todas las propuestas y
evaluarlas sin tener en cuenta el origen o la identidad de los
solicitantes
OBJETIVIDAD, evaluar las propuesta tal como son, por sus
méritos y no por su potencialidad si se hicieran cambios
RIGOR, considerar únicamente los criterios de evaluación
oficiales y lo indicado en la convocatoria, y nada más
CONSISTENCIA, aplicar el mismo criterio a todas las propuestas
Respetar los plazos
Obligaciones y principios

7. Elpapeldelosevaluadores
Almería, diciembre 2016
CONFIDENCIALIDAD
-No discutir aspectos de la evaluación con nadie
-No contactar con socios, subcontratados o terceras partes del
consorcio
-No difundir nombres del comité de evaluación
-Mantener la confidencialidad de los documentos
Obligaciones y principios
CONFLICTO DE INTERESES
- Beneficiarse de cualquier manera, relación persona/familiar…
con algún solicitante
-Identificar el COI, informar a la Comisión
-Medidas: no participar en la evaluación de alguna propuesta
concreta ni en la fase de consenso

8. Elprocedimientodeevaluación
Almería, diciembre 2016
El proceso de evaluación en la práctica

9. Elprocedimientodeevaluación
Almería, diciembre 2016
Procedimiento similar en convocatorias de una o dos etapas

10. Elprocedimientodeevaluación
Almería, diciembre 2016
Receipt of
proposals
Individual
evaluation
Consensus
report
Finalisation
Evaluators
Individual
Evaluation
Reports
(Remote)
Consensus
Report
(Remote)
Evaluation Summary
Report
Eligibility check
Allocation of
proposals to
evaluators
Commission/Agency Commission/Agency
Second
stage
First stage (April-May)
Evaluación en dos-etapas

11. Elprocedimientodeevaluación
Almería, diciembre 2016
Receipt of
proposals
Individual
evaluation
Consensus
report
Finalisation
Evaluators
Individual
Evaluation
Reports
(Remote)
Consensus
Report
(Central)
Evaluation Summary
Report
Eligibility check
Allocation of
proposals to
evaluators
Commission/Agency Commission/Agency
Funding
decision
Second stage (September-October)
Evaluación en dos-etapas

12. Criteriosdeevaluación
Almería, diciembre 2016
Informe de evaluación individual:
puntuación
• De 0 a 5 en cada criterio:
•Excelencia (peso 100%, prioridad 2)
•Impacto (peso 100%, prioridad 1)
•implementación (peso 100%, prioridad 3)
• Debe superar el 3 en cada uno de ellos y
10 en total
• La puntuación debe ser coherente con
los comentarios
Poor
Fair
Good
Very Good
Excellent
0
1
2
3
4
5

13. Criteriosdeevaluación
Almería, diciembre 2016
• Clarity and pertinence of the objectives
• Soundness of the concept, including trans-disciplinary considerations, where relevant
• Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. ground-
breaking objectives, novel concepts and approaches)
• Credibility of the proposed approach
Excellence
• The expected impacts listed in the work programme under the relevant topic
• Enhancing innovation capacity and integration of new knowledge
• Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of
European and global markets; and, where relevant, by delivering such innovations to the markets
• Any other environmental and socially important impacts (not already covered above)
• Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR),
to communicate the project, and to manage research data where relevant
Impact
• Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources
• Complementarity of the participants within the consortium (when relevant)
• Appropriateness of the management structures and procedures, including risk and innovation management
Implementation
Scope of the proposal/Operational capacity. Se evalúan pero no se puntúan

14. Criteriosdeevaluación
Almería, diciembre 2016
Puntuación
The proposal fails to address the criterion or cannot be assessed due to
missing or incomplete information.
Poor. The criterion is inadequately addressed, or there are serious
inherent weaknesses.
Fair. The proposal broadly addresses the criterion, but there are
significant weaknesses.
Good. The proposal addresses the criterion well, but a number of
shortcomings are present.
Very Good. The proposal addresses the criterion very well, but a small
number of shortcomings are present.
Excellent. The proposal successfully addresses all relevant aspects of
the criterion. Any shortcomings are minor.
0
1
2
3
4
5

15. Criteriosdeevaluación
Almería, diciembre 2016
Fase de consenso
3 a 5 expertos por panel, se obtiene el informe final de
conseso que servirá para decidir la financiación
No es una re-evaluación y ni un promedio de puntuaciones,
se trata de llegar a un acuerdo considerando todas los
comentarios individuales
Se discuten comentarios positivos y negativos de todos los
revisores
Es importante que las puntuaciones individuales estén bien
justificadas (con hechos, comentarios precisos, uso de
ejemplos o referencias a puntos concretos de la propuesta)

16. Criteriosdeevaluación
Almería, diciembre 2016
Cada evaluador tiene acceso a los comentarios de todo el
panel antes de la reunión
Participa un moderador/observador/facilitador de parte de
la Comisión
Énfasis en la coherencia entre comentarios
positivos/negativos y puntuación
Si hay varios paneles, un miembro del comité participa en
otra reunión posterior con representantes de otros paneles
para llegar a una lista definitiva
Fase de consenso

17. Almería, diciembre 2016
-Claridad y concisión en elementos claves que responden
directamente a los aspectos a evaluar
-Evitar que tenga que interpretar o relacionar nuestra propuesta
con los objetivos y retos de la convocatoria. Usar el mismo
lenguaje e ideas clave, literalmente!
-Transmitir la idea de se conoce perfectamente el tema del
proyecto, desde todos los ángulos y que todo lo relevante e
incluso lo no relevante, está previsto (así confiará y puntuará mejor
los aspectos que menos conoce)
-Cuidar la estructura para facilitar la comprensión:
-lista de acrónimos si se usan muchos,
-estructuras agrupando conceptos o métodos,
-cajas para resaltar elementos clave …
PONERSELO FÁCIL y “VENDER” EL
PROYECTO AL EVALUADOR:
Comentariosfinales

18. Comentariosfinales
Almería, diciembre 2016
Una propuesta no se puede improvisar,deber ser una
buena idea, bien elaborada, Y ADEMÁS:
Encajar perfectamente con:
• ámbito y retos específicos de la convocatoria y
demostrarlo, no dejarlo a la interpretación del revisor
•y con los principios del H2020:
• Basado en abordar retos
• Enfocado al impacto y la innovación
• Trans-disciplinar y trans-sectorial
• papel relevante y activo de los usuarios finales
•Prestar atención a aspectos transversales: dimensión
socio-económica (SSH), RRI, género, cooperación internacional,
difusión open-access, desarrollo sostenible…

19. Almería, diciembre 2016
Gracias por su atención