1) O documento discute várias abordagens para avaliar a qualidade no e-learning, incluindo padrões como ISO/IEC 19796-1:2005 e o Observatório Europeu da Qualidade, bem como modelos como o Modelo de Sucesso de E-learning e o Modelo de Klein. 2) As abordagens tentam incluir todos os aspectos da avaliação da qualidade no e-learning, mas permanecem muito genéricas e deixam a aplicação concreta para os desenvolvedores individuais. 3) Outros modelos, como o Modelo de Su

1. Pedagogia do E-Learning
Concepção e Avaliação em e-Learning
Abordagens para uma avaliação de qualidade em e-learning
Maria Pietronilla Penna
**Università degli Studi di Cagliari, Facoltà di Scienze della Formazione
maria.pietronilla@unica.it
Vera Stara
*Università Politecnica delle Marche, Facoltà di Ingegneria, DEIT
v.stara@univpm.it
Resumo
O e-learning continua caracterizado por muitas questões, como por exemplo: Quem deve garantir a
sua qualidade? A qualidade da avaliação de e-learning é uma tarefa difícil que envolve a
intervenção humana e que não se baseia apenas em metodologias fáceis e reproduzíveis. Este
trabalho é dedicado à reflexão de diferentes abordagens e critérios que podem ser utilizados para a
qualidade da avaliação neste domínio: ISO/IEC19796-1:2005, Observatório Europeu da Qualidade
(OEQ) e alguns modelos importantes como o E-learning Modelo de Sucesso (Holsapple e Lee-
Post, 2006), Modelo de Klein et al’s (2006) e LCD. Desta análise podemos concluir que, apesar
destas tentativas, a qualidade da avaliação de e-learning continua, ate agora, uma questão em
aberto, e continuamos a precisar de garantir que um curso em e-learning é eficaz quer para o
aprendente, quer para os outros actores envolvidos.
Palavras-chave: qualidade de e-learning, avaliação, factor de qualidade de e-learning
1. Introdução
As forças económicas, sociais e tecnológicas revolucionam diariamente o processo ensino
-aprendizagem em organizações, universidades e escolas. Considerando a evolução deste
processo de ensino – aprendizagem várias expressões diferentes tem sido utilizadas para
caracterizar esta inovação. Dentro delas encontramos o “e-learning”, “aprendizagem distribuída”,
“aprendizagem on-line”, “aprendizagem baseada na web” e “aprendizagem à distância” (Wentling e
tal., 2000).
De acordo com o Centro para as Estatísticas em Educação do Departamento Nacional de
Educação dos Estados Unidos, 90% 2 anos e 89% 4 anos de instituições públicas ofereceram
cursos de educação à distância em 2000-2001 com 1.472.000 e 945.000 matriculados
respectivamente, num total de 3.077.000 matriculados. Nessas escolas, 90% oferecia cursos na
internet utilizando instruções assíncronas por computador, e 88% indicava planos para começar ou
aumentar o uso da Internet como o principal meio entrega das instruções (Wait & Lewis, 2003).
1

2. Pedagogia do E-Learning
Concepção e Avaliação em e-Learning
Estas estatísticas suportam a ideia de que a educação a distância baseada na Internet é a
tecnologia do e-learning dominante e que a Internet causou uma dramática mudança na educação
em geral e na educação à distância em particular.
O uso das tecnologias da Internet para proporcionar a formação tem sido anunciado como a
“revolução do e-learning” (Galagan, 2000). O e-learning é essencialmente o trabalho na rede capaz
de transferir competências e conhecimento utilizando aplicações electrónicas no processo de
aprendizagem. As aplicações e processos de e-learning incluem aprendizagem baseada na Web,
aprendizagem baseada no computador, salas de aula virtuais e colaboração digital. Os conteúdos
são entregues via Internet, intranet/extranet, cassetes de áudio ou vídeo, TV satélite, e CD-ROM.
O e-learning é preferido por várias razões: é provido de um consistente e worldwide treino, reduz o
ciclo de tempo de entrega, aumenta a conveniência dos alunos, reduz a sobrecarga de informação,
melhora o controlo e é menos dispendioso (Welsh et all, 2003). Neste sentido, este trabalho visa a
reflexão sobre a complexidade, e talvez mais importante, da qualidade da avaliação de e-learning.
É um recurso para a análise das vantagens e limitações das abordagens mais importantes
introduzidas para avaliar a qualidade em e-learning.
Em primeiro lugar o que significa “qualidade em e-learning”? A visão predominante (de acordo com
os resultados de um levantamento realizado por Ehlers e tal., 2005) é que a qualidade diz respeito
à obtenção de melhores resultados da aprendizagem (50%), juntamente com “com algo que é
excelente em desempenho” (19%). Essa compreensão essencialmente pedagógica foi mais
difundida do que opções relacionadas com a melhor relação custo / benefício ou de marketing.
Além disso, devemos ter em conta que «a qualidade em e-learning" tem uma dupla importância na
Europa. Em primeiro lugar, o e-learning está associado em muitos planos e documentos de
reflexão com um aumento na qualidade das oportunidades educacionais, garantindo uma
adaptação bem-sucedida à sociedade da informação. Este contexto é chamado “qualidade através
do e-learning". Em segundo lugar, há um debate distinto mas associado sobre como melhorar a
qualidade do e-learning em si e neste caso, o contexto é chamado “qualidade para o e-
learning"(Ehlers et al., 2005).
2. Qualidade para o E-learning
Segundo Pawlowski (2003), a qualidade no domínio do e-learning não é associada com uma
medida bem definida. É variável no que diz respeito ao âmbito, perspectiva e dimensão. Apesar
deste problema, a qualidade da avaliação está a tornar-se numa questão de crescente importância,
como o mostrou o interesse da ISO/IEC19796-1:2005 e o Observatório Europeu da Qualidade
(OEQ). ISO/IEC 19796-1:2005 é um quadro para descrever, comparar, analisar e implementar
abordagens de gestão e garantia de qualidade. Servirá para comparar as diferentes abordagens
2

3. Pedagogia do E-Learning
Concepção e Avaliação em e-Learning
existentes e para as harmonizar, de modo a convergirem para um modelo comum de qualidade. O
seu principal componente é o quadro de referência para a descrição de Abordagens de Qualidade
(QRDAQ).
É composto dos seguintes itens: descrição de um esquema de gestão da qualidade, um modelo do
processo definindo os processos básicos a serem considerados na gestão da qualidade no
domínio das TIC como suporte a aprendizagem, educação e formação, e uma declaração de
conformidade para o formato de descrição. ISO/IEC19796-1 descreve os processos como um ciclo
de vida do e-learning. É um modelo de referência com um alto nível de abstracção, que deve ser
adaptado a cada organização. O modelo será utilizado como um quadro para a descrição,
comparação e análise das abordagens orientadas para o processo da qualidade (Hirata, 2006). Ele
consiste essencialmente de duas partes:
• Um esquema de descrição para as abordagens da qualidade.
• Um modelo de processo como classificação de referência.
O Modelo de Descrição é um esquema interoperacional para descrever abordagens de qualidade
(tais como linhas orientadoras, guias do desenho, requisitos). Ele documenta todos os conceitos de
qualidade de forma transparente. O Modelo do Processo é um guia com os diferentes processos
desenvolvido em cenários de aprendizagem. Ele inclui os processos relevantes dentro do ciclo de
vida da informação e comunicação nos sistemas de aprendizagem, educação e formação. O
Modelo do Processo é dividido em sete partes. Os sub-processos estão incluídos, fazendo
referência a uma classificação de processos. Quanto ao grupo de trabalho sobre a qualidade, ele
está baseado em três subtarefas, desenvolvendomais ferramentas e suportes:
Parte 2: "Modelo de Qualidade" vai harmonizar os aspectos dos sistemas de qualidade e as suas
relações e fornecer orientação para todos os seguidores. Ele não irá executar qualquer aplicação
particular, mas focar-se-á nos seus efeitos. O modelo será extensível para os requisitos de
determinadas comunidades.
Parte 3: "Métodos de Referência e Métricas" irá harmonizar os formatos para descrever os
métodos e métricas para a gestão e garantia da qualidade. Ele irá fornecer uma colecção de
métodos de referência que pode ser usados para gerir e garantir a qualidade em diferentes
contextos. Além disso, essa parte irá fornecer uma colecção de métricas e indicadores de
referência que podem ser usados para medir a qualidade em processos, produtos, componentes e
serviços.
3

4. Pedagogia do E-Learning
Concepção e Avaliação em e-Learning
Parte 4: "Guia das Melhores Práticas e Implementações" irá fornecer critérios harmonizados para a
identificação das melhores práticas, linhas orientadoras para a adaptação, implementação e uso
deste guia, e irá conter um rico conjunto de exemplos de boas práticas.
Segundo o OEQ, um quadro comparável e adaptável tem que ser definido e aplicado de acordo
com uma estrutura de abordagem da qualidade para um mercado europeu e mundial comum de
produtos e serviços educacionais. O repositório do OEQ é baseado nesta abordagem e conceito. O
objectivo principal é fornecer uma plataforma abrangente para que desenvolvedores, gestores,
administradores, decisores e alunos encontrem uma abordagem de qualidade adequada às suas
necessidades. A OEQ fornece um quadro conceitual para a descrição e harmonização dos critérios
de qualidade. Ou seja, ele sugere um quadro de referência com os padrões de qualidade europeu.
O projecto está directamente ligado aos grupos de padronização do CEN / ISSS (Oficina de
Aprendizagem Tecnológicas) e ISO / IEC JTC1 SC36, com objectivo de transferir os resultados das
comissões padrão para os usuários e vice-versa. Por isso, fornece um repositório na Internet para
a gestão da qualidade, garantia de qualidade e abordagens da qualidade de avaliação de e-
learning. Além disso, fornece recomendações para a utilização da gestão da qualidade, garantia de
qualidade e métodos de avaliação de qualidade para diferentes grupos-alvo (usuários finais, por
exemplo, HE administradores, desenvolvedores) e para fins específicos (por exemplo, melhoria de
processos, transparência dos produtos, propósitos de domínio específico, necessidades nacionais,
regionais e locais).
O projecto do OEQ espera que as seguintes linhas orientadoras possam contribuir para a
qualidade do e-learning em 2010:
(a) os alunos devem desempenhar um papel fundamental na determinação da qualidade dos
serviços de e-learning;
(b) a Europa deve desenvolver uma cultura de qualidade na educação e formação;
(c) a qualidade deve desempenhar um papel central na política de educação e formação;
(d) a qualidade não deve ser a preservação de grandes organizações;
(e) o suporte das estruturas deve ser estabelecido para fornecer competência, serviço orientado
para a assistência das organizações de desenvolvimento de qualidade;
(f) os padrões abertos de qualidade devem ser desenvolvidos e amplamente implementados;
(g) a investigação interdisciplinar da qualidade deve estabelecer-se no futuro como uma disciplina
académica independente;
4

5. Pedagogia do E-Learning
Concepção e Avaliação em e-Learning
(h) investigação e prática devem desenvolver novos métodos de intercâmbio;
(i) o desenvolvimento da qualidade deve ser concebido em conjunto por todos os envolvidos;
(j) os modelos de negócio adequados devem ser desenvolvidos para os serviços no domínio da
qualidade.
Como verificámos a partir das breves descrições das duas abordagens apresentadas, ambas
tentam incluir todos os aspectos a ter em consideração na avaliação da qualidade em e-learning. O
problema destes quadros, no entanto, decorre da sua generalidade. Ou seja, eles pressupõem a
ocorrência do processo com indicações concretas em falta. Por outro lado, cada uma delas
requererá, para ser correctamente desenhada ou controlada, um grande conhecimento teórico e
experimental em domínios como a psicologia, ciência da informação, engenharia de software e
sociologia. Não só esse conhecimento não esta correntemente disponível, como também será
difícil torná-lo acessível num futuro próximo. Portanto, essas abordagens soam como listas de
recomendações genéricas, cuja aplicação concreta é deixada apenas para a fantasia (e não para a
ciência) de desenhadores individuais.
3. Factores de qualidade no E-learning
Outras abordagens estão a tentar desenvolver os seus próprios critérios, mas estão a ser usados
a nível nacional, regional, local (Wirth, 2005) ou ainda, consistindo apenas em modelos como os
vão ser descritos a seguir. O E-Learning Success Model (Holsapple e Lee-Post, 2006) é uma
descrição de um processo dedicado a avaliar e medir o sucesso. Sucesso em E-learning é definido
como uma construção multifacetada para ser avaliada em três fases sucessivas: concepção do
sistema, a entrega do sistema e resultados do sistema. Conforme mostrado na fig.1, na primeira
fase, o objectivo é conseguir o sucesso na concepção do sistema, maximizando as três áreas da
qualidade: qualidade do sistema, qualidade da informação e qualidade do serviço. A segunda
etapa é alcançar o sucesso de entrega do sistema, maximizando os índices de utilização e
satisfação do utilizador. A última fase é alcançar o sucesso do sistema, maximizando os benefícios
. Cada área de sucesso é quantificada como uma única medida numérica, agregando as
avaliações do seu conjunto de atribuição de factores obtidos através de instrumentos de pesquisa.
O sucesso global de E-learning pode, então, ser avaliado para cada área. Uma pontuação baixa
para qualquer área indica uma deficiência nessa área e os esforços podem ser despendidos para
remediar a deficiência. O modelo descrito acima sugere que um factor crítico de sucesso de E-
learning é a disponibilidade on-line do aluno. A selecção de alunos para cursos on-line é baseada
em avaliar as suas respostas com referência a quatro níveis de competência: habilitação
académica, competência técnica, aptidão do estilo de vida e da preferência para a aprendizagem
5

6. Pedagogia do E-Learning
Concepção e Avaliação em e-Learning
através do E-learning. O perfil de um aluno preparado para “estudo online” é caracterizado por um
elevado grau de prontidão em todos os quatro níveis. O nível de disponibilidade dos alunos on-line
têm um impacto definitivo sobre o seu bom desempenho e o nível de satisfação num curso de E-
learning.
Fig. 1. Modelo de Sucesso E-learning
Pelo contrário, o modelo apresentado na Figura 2 assume que os resultados do curso são uma
consequência directa da motivação para a aprendizagem (Klein et al., 2006). Motivação para
aprender é um factor determinante das escolhas feitas individualmente para se comprometer, para
se empreender, para insistir em actividades de aprendizagem. É influenciada pelas características
do aluno, características de instrução e entraves/limitações e facilitadores? (entraves e facilitadores
são eventos ambientais ou condições que se acredita existir ou ser encontrado e pensado para
impedir ou facilitar o progresso). A limitação e ser capaz de, são características influenciadas pelo
próprio aluno e pelas características de instrução.
6

7. Pedagogia do E-Learning
Concepção e Avaliação em e-Learning
Fig. 2. O modelo conceptual de Klein et al. (2006)
Este modelo destaca o papel central das duas, motivação para aprender e percepções do aluno,
de características como barreiras ou encorajadores: reforçar a percepção de formandos de
capacitadores e as preocupações sobre o potencial barreiras são estratégias importantes para
melhorar a motivação para aprender que, por sua vez, facilita o caminho para resultados positivos.
Segundo Klein et al. (2006) um melhor entendimento de como impacto do uso da tecnologia na
entrega de instrução na eficácia do estudo, exige o exame de mecanismos que podem contar as
diferenças de aprendizagem, tais como motivação para aprender, bem como efeitos directos da
tecnologia na aprendizagem.
Uma perspectiva diferente tem sido adoptado por Lopes et al. (2007), que identificam cinco
dimensões que comprometem a eficácia do estudo on-line: motivação e auto-eficácia do estagiário,
o conteúdo do estudo, o nível de comunicação entre formador e formando, o ambiente
organizacional e facilidade de uso do site on-line recursos. No que diz respeito a esta última
dimensão, uma estratégia específica de garantir a facilidade de uso: The Learner Centered Design
(LCD). A abordagem do LCD baseia-se no conhecimento dos utilizadores e das suas diferentes
características: como os alunos preferem aprender, como eles estão aprendendo a informação,
sob pressões que os alunos apresentem no seu dia-a-dia, a sua motivação ou incentivo para
participar na aprendizagem on-line, que as restrições que enfrentam, o que acomodações
especiais de que necessitam, como eles se sentem confortáveis em utilizar as aplicações, que
experiência eles têm com o E-learning (Miller 2005). Compreendendo perfis de alunos é a melhor
maneira de criar projectos úteis, estilos e tons, mas, quando o estudo é dado através da
aprendizagem on-line, existem algumas preocupações de design especial, que representam outros
potenciais benefícios no planeamento. Eles começam a partir de uma etapa comum: selecciona-se
uma técnica de entrega ou da combinação de técnicas a fim de definir, a priori, um design de
7

8. Pedagogia do E-Learning
Concepção e Avaliação em e-Learning
interface de utilizador. Design de interface do curso é de extrema importância (Jones 1994), porque
tem um impacto positivo ou negativo sobre o desempenho do utilizador (Tselios et all 2001). Em
seguida, deve ser desejável usar fontes de tela amigável e web-cores seguro, a fim de criar um
padrão aparência consistente e fornecer rápido tempo de download e ajudar os utilizadores,
fornecendo printer-friendly pages. Segundo Norman (1998) a interface deve ser também interactiva
e fornecer feedback, não especificar objectivos, motivar, comunicar uma sensação contínua de
desafio, oferecer as ferramentas apropriadas, evitar qualquer factor incómodo de interromper o
fluxo de aprendizagem. LCD deve ter em conta que os alunos são sensíveis à legibilidade do texto
no ecrã. Portanto, formatação e espaçamento do texto, bem como as cores são importantes. Além
de um olhar comum ajuda os usuários a distinguir curso de páginas externas ligadas hiper-páginas.
As pessoas não gostam de estudar os textos do ecrã e os alunos não querem ir mais longe do que
três cliques a partir da página principal, assim, precisam de um quadro de navegação sempre
disponível. Alunos estão sempre em busca de algo novo dentro da web. Por isso, é importante
actualização de conteúdo com frequência das notícias e também dar uma indicação directa do que
é novo, logo que possível (Van Rennes et al., 1998).
4. Conclusão
O E-learning está a progredir a partir da utilização de base de TIC para a aprendizagem de novas
formas de educação e formação que enfatizam a criatividade e a colaboração e novas exigências
da sociedade do conhecimento. Isto, por sua vez, requer uma mudança significativa de ênfase,
longe de um foco em tecnologia, conectividade e Internet, no sentido de uma maior consideração
do contexto de aprendizagem, e da necessidade de colaboração, comunicação e inovação. No
entanto, essa mudança requer uma quantidade de conhecimento até agora não plenamente
disponível. Esta é a causa para a dificuldade em avaliar e-aprendizagem de qualidade. Ou seja,
por um lado, temos muito quadros interessantes, como os de ISO/IEC19796-1: 2005, e da EQO,
mas que consiste essencialmente na lista de sugestões e receitas sem indicações sobre a
aplicação prática. Por outro lado, nós temos um número de modelos, como os esboçados na
secção anterior, cada um associado a indicações concretas, mas uma diferente da outra no que diz
respeito às hipóteses de base e aos contextos de aplicação. Em tal situação, a qualidade da
aprendizagem electrónica continua a ser uma questão em aberto, e ainda nos falta alcançar um
e-learning com as melhores práticas que nos garanta um curso eficiente para o aluno e os outros
actores envolvidos. Tal garantia, contudo, não pode ser só baseada na prática, é necessário mais
investigação científica e pesquisas ad hoc envolvendo especialistas em educação, E-learning e
equipas de designers.
8