Este documento apresenta um guia para avaliar o impacto do eLearning nas organizações em Portugal. O projeto foi financiado pela União Europeia e pelo governo português e teve como objetivo conceber, testar e disseminar uma metodologia de avaliação do eLearning. A metodologia inclui instrumentos e práticas de avaliação em várias fases, e foi testada em cinco organizações portuguesas. O resultado final foi um guia de avaliação do eLearning para organizações em Portugal.

1. eAvaliar
Guia para a avaliação do eLearning nas Organizações em Portugal
Ana Henriques
25 de Junho de 2009
Projecto co-financiado pelo:
UNIÃO EUROPEIA Governo da
Fundo Social Europeu República Portuguesa

2. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Coordenação
– Mário Figueira
Conselho Consultivo
– Roberto Carneiro
– Marc Rosenberg
Equipa Técnica
– Ana Henriques
– Fernando Baptista
– Gabriela Paleta
– Ruben Eiras
– Teresa Santos
Especialistas Nacionais
– Etelberto Costa
– José Lagarto
– Maria do Rosário Cabrita
Especialistas Internacionais
– George Siemens
– Ludo Pyis
– Marc Rosenberg
– Stephen Downes
Ana Henriques 25-06-2009 2

3. Estudo “eAvaliar”
Projecto co-financiado pelo:
Avaliação do eLearning nas organizações em Portugal
UNIÃO EUROPEIA Governo da
Fundo Social Europeu República Portuguesa
Propósito
Projecto que pretende apoiar os responsáveis por ofertas formativas
de eLearning na implementação de Sistemas de Avaliação do Impacto
do eLearning nas suas organizações (empresas, administração pública,
universidades), de forma a aumentarem a qualidade dos seus produtos
e serviços, como para adquirir maior capacidade competitiva no
mercado global.
A realização do presente estudo foi co-financiada pelo Estado
Português e Fundo Social Europeu, no âmbito do POEFDS – Programa
Operacional de Emprego, Formação e Desenvolvimento Social.
Ana Henriques 25-06-2009 3

4. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Objectivo Geral
Conceber, testar e disseminar uma metodologia, instrumentos e
práticas de avaliação do impacto organizacional das acções de
formação em eLearning, desenvolvidas pelas empresas,
administração pública e outras organizações em Portugal.
Ana Henriques 25-06-2009 4

5. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Público Alvo
Gestores e Coordenadores de formação
Técnicos de formação
Formadores
Responsáveis por ofertas formativas de eLearning nas organizações
Ana Henriques 25-06-2009 5

6. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Fases de realização
A avaliação do impacto do eLearning nas organizações a nível
Fase 1 internacional.
Caracterizar a avaliação do impacto do eLearning nas organizações
Fase 2 portuguesas.
Conceber uma metodologia para a avaliação do impacto do eLearning
Fase 3 nas organizações portuguesas.
Testar a metodologia, instrumentos e práticas concebidos em cinco
Fase 4 organizações portuguesas.
Conceber um Guia de orientação para a implementação da metodologia
Fase 5 de avaliação do impacto do eLearning nas organizações em Portugal
desenvolvida.
Fase 6 Editar um Guia de orientação para a implementação da metodologia de
avaliação do impacto do eLearning nas organizações em Portugal
desenvolvida.
Ana Henriques 25-06-2009 6

7. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Resultados esperados
Uma Metodologia de Avaliação do impacto organizacional das
sessões de formação em eLearning, incluindo instrumentos e
práticas inovadoras, testada em 5 organizações portuguesas;
Uma Análise das práticas de avaliação do eLearning
desenvolvidas pelas organizações portuguesas e identificadas pela
pesquisa por comparação com os modelos teóricos existentes;
Um Guia de Avaliação do impacto do eLearning nas
organizações em Portugal, com base na metodologia concebida e
testada.
Ana Henriques 25-06-2009 7

8. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Principais Fontes
- Kirkpatrick
- Jack Phillips
- Leif Edvinson
Ana Henriques 25-06-2009 8

9. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Organizações Participantes Nacionais
Organizações Participantes Internacionais
Ana Henriques 25-06-2009 9

10. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Principais conclusões (modelo):
Devemos medir:
– Satisfação dos formandos
– Aprendizagem e desempenho
Métricas do bussiness value do eLearning:
– Ganhos de negócio
– Capacidade de resposta e rapidez de entrega
– Optimização de custos
– Tempo de desenvolvimento das competências
Ana Henriques 25-06-2009 10

11. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Principais conclusões
– Avaliar é necessário
– Avaliar o eLearning exige metodologias específicas e integradas
e um conjunto de instrumentos que permitam às organizações
avaliar as suas iniciativas de eLearning e blended learning
– O eLearning acarreta mais colaboração e valor acrescentado em
conhecimento
– Avaliar o impacto do eLearning nas organizações portuguesas é
prioritário
– Novas Oportunidades e Plano Tecnológico necessitam da
modernização estrutural das instituições educativas/formativas
Ana Henriques 25-06-2009 11

12. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Metodologia do Guia eAvaliar
Passo 1 – Calculo do ROI da Formação em eLearning
1. Planear a Avaliação 2. Recolher dados 3. Analisar Dados 4. Reporting
Identificar os
Custos da
Solução
Nível 1: Reacção,
Nível 3: Aplicação/
Satisfação e Acção
Implementação
Planeadas
Recolher Recolher
Desenvolver Desenvolver Converter Desenvolver
dados dados Isolar os Calcular o
/Rever Planos de os dados os Relatórios
durante a depois da efeitos da Retorno do
Objectivos Avaliação e em Valores e Comunicar
implem. da implem. da solução Investimento
da Solução Dados Base Monetários Resultados
solução solução
Nível 5: ROI
Nível 2: Nível 4: Impacto
Aprendizagem no negócio
Identificar
os
Intangíveis
Ana Henriques 25-06-2009 12

13. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
1. Planear a Avaliação
a) Propósito da avaliação
Desenvolver
/Rever b) Extensão da avaliação
Objectivos
da Solução
c) Objectivos do Programa de Formação
Ana Henriques 25-06-2009 13

14. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
1. Planear a Avaliação
a) Plano de recolha de dados
Desenvolver
Planos de
b) Plano de análise do ROI
Avaliação e
Dados Base
c) Plano de Projecto
Ana Henriques 25-06-2009 14

15. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
2. Recolher dados
Inquéritos
Questionários
Nível 1: Reacção,
Nível 3: Aplicação/
Testes
Satisfação e Acção
Implementação
Planeadas
Recolher Recolher
Observação no posto de trabalho
dados dados
durante a depois da Entrevistas
implem. da implem. da
solução solução
Focus Groups
Nível 2: Nível 4: Impacto
Aprendizagem no negócio
Planos de acção e tarefas do programa
Contratos de performance
Monitorização da performance do negócio
Ana Henriques 25-06-2009 15

16. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
• Usar grupo de controlo / Linhas de tendência / Modelo
de previsão
3. Analisar Dados 1 • Estimativa de impacto pelos participantes
• Utilização de peritos / estudos existentes
• Calcular / estimar o impacto de outros factores
Identificar os
Custos da • Converter os dados de saída
Solução • Calcular o custo qualidade
• Usar os salários e beneficio dos participantes
• Usar custos históricos
2 • Utilizar peritos internos e externos
Converter
os dados • Bases de dados
Isolar os em Calcular o
efeitos da Retorno do • Estimativas
Valores
solução Monetário Investimento • Medidas flexíveis
s
• Custo do desenho e desenvolvimento do programa /
materiais / formadores / logística
3 • Transporte, alojamento e refeição dos formandos
Identificar • Salários e benefícios
os
• Custos administrativos
Intangíveis
4 • RBC (Rácio Benefício / custo)
• Maior satisfação cliente, confiança, satisfação no
5 trabalho
• Menos reclamações, conflitos
Ana Henriques 25-06-2009 16

17. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
4. Reporting
1 – Informação geral
2 – Metodologia do estudo
Desenvolver
os Relatórios
e Comunicar
Resultados
3 - Resultados
4 - Interpretação
5 - Evidências
Ana Henriques 25-06-2009 17

18. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Metodologia do Guia eAvaliar
Passo 2 – Calculo e medição do Capital Intelectual
Foi criado o modelo Scorecard Capital Intelectual cujo objectivo é medir e
gerir o Capital Intelectual nas Organizações, independentemente da sua
dimensão ou natureza da actividade.
Estrutura de indicadores do Scorecard Capital Intelectual dividida em:
• Capital Humano – inclui os activos de conhecimento (tácitos ou explicitos)
depositados nas pessoas
• Capital Estrutural – activos intangíveis dominados e detidos pela organização.
Esta estrutura foi redefinida tendo em consideração a organização em causa. Baseada no “Modelo
Nova” (Edvinson e Malone)
A obtenção dos indicadores contidos no Scorecard Capital Intelectual
é concretizada através de um inquérito aplicado à gestão de topo.
Ana Henriques 25-06-2009 18

19. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Metodologia do Guia eAvaliar
Passo 2 – Calculo e medição do Capital Intelectual
Metodologia:
• Inquérito à gestão
• Bateria de Índices
• Quadro provisório de indicadores
• Realização de uma medição experimental dos intangíveis da organização
(2ª etapa) com o quadro provisório
• Estabelece-se um sistema de indicadores idóneo para avaliar a qualidade
do Capital Intelectual da organização e os critérios de medidas
• Aplicação do algoritmo de cálculo do índice do capital intelectual
Ana Henriques 25-06-2009 19

20. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Metodologia do Guia eAvaliar
Passo 2 – Calculo e medição do Capital Intelectual
Descrição do Algoritmo de cálculo do Índice de Capital Intelectual
Ana Henriques 25-06-2009 20

21. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Bateria de Ferramentas do Guia eAvaliar
1. Questionário sobre a qualidade do
capital intelectual
2. Balanced Scorecard Capital Intelectual
– Painel de Resultados Gerais
3. Balanced Scorecard Capital Intelectual
– Monitor de avaliação por indicador
4. Plano de Recolha de dados
5. Diagrama de planeamento de avaliação
6. Questionário de avaliação da satisfação
7. Questionário de avaliação da reacção e
transferência de conhecimentos para o
posto de trabalho
Ana Henriques 25-06-2009 21

22. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Testemunhos
“(…) Gerir começa e sempre começará por medir. Por isso, é indispensável medir o
impacto nas organizações de todas as inovações tecnológicas / metodológicas e, ente
elas, o eLearning.”
Rogério Carapuça
Presidente da Novabase
“(…)Por este conjunto alargado de imperativos a adopção de práticas sistemáticas de
avaliação do eLearning nas organizações portuguesas surge como indissociável do
desafio nacional de edificação de um Portugal competitivo, moderno e actor interveniente
na nova ordem internacional determinada pela globalização e pelo valor estratégico do
conhecimento”.
Roberto Carneiro
“(…) No final, os esforços de eLearning bem sucedidos e sustentáveis não são
caracterizados pela qualidade técnica do programa ou do design pedagógico, mas pela
capacidade da organização em demonstrar valor. Esperamos que estas opções de
avaliação lhe dêem ideias sobre como construir um sistema de medição directamente
sobre as práticas de eLearning. Quando demonstrar que o eLearning não só contribuiu
para uma melhor aprendizagem, mas também para o valor do Capital Humano da sua
organização, vai verificar que o seu negócio não pode viver sem si.”
Marc Rosenberg
Ana Henriques 25-06-2009 22

23. Estudo “eAvaliar”
Avaliação do eLearning nas organizações em Portugal
Obrigada!
Novabase Consulting
Av. D. João II, Lote 1.03.2.3
Parque da Nações
1998-031 Lisboa - Portugal
Telefone: (351) 213836300
ana.henriques@novabase.pt
aprendernanet@novabase.pt
http://www.novabase.pt
Ana Henriques 25-06-2009 23