Trabalho colaborativo dos alunos do MPEL04 - UC CAEL

1. Approaches to E‐learning Quality Assessment
ABORDAGENS À AVALIAÇÃO DA QUALIDADE EM E‐LEARNING
Maria Pietronilla Penna
** Università degli Studi di Cagliari, Facoltà di Sienze della Formazione
maria.pietronilla@unica.it
Vera Stara
* Università Plitecnica delle Marche, Facoltà di Ingegneria, DEIT
v.stara@univpm.it
Resumo
O campo do e‐learning ainda se carateriza por apresentar muitas questões em aberto,
tais como: Quem deve garantir a sua qualidade? A avaliação da qualidade em e‐
learning é uma tarefa difícil, que envolve intervenção humana e não pode ser baseada
somente numa metodologia simples e reprodutível. Neste sentido, este artigo é
dedicado a discutir diferentes abordagens e critérios que poderiam ser utilizados para
uma avaliação da qualidade dentro deste domínio: ISO/IEC19796‐1: 2005, European
Quality Observatory (EQO) (Observatório Europeu da Qualidade) e alguns modelos
importantes, tais como o Modelo de Sucesso em e‐learning (Holsapple e Lee‐Post,
2006), o modelo de Klein et al (2006) e LCD. A partir desta análise, podemos concluir
que, apesar dessas tentativas, a avaliação da qualidade em e‐learning permanece, até
agora, uma questão em aberto, e ainda são necessárias boas práticas em e‐learning
que garantam um curso eficaz para os alunos e outros atores envolvidos.
Palavras‐chave: Qualidade em e‐learning, avaliação, fator de qualidade do e‐learning
1. Introdução
Forças económicas, sociais e tecnológicas revolucionam diariamente os processos de
ensino e aprendizagem nas organizações, universidades e escolas. No que se refere a
esta evolução do ensino e aprendizagem, no entanto, têm sido usadas diferentes
expressões para caracterizar a inovação. Entre eles, podemos citar "e‐learning",
"aprendizagem distribuída", "aprendizagem on‐line", "aprendizagem baseada na web"
e "ensino a distância" (Wentling et al., 2000). Segundo o Centro Nacional de Estatística
para a Educação (National Center for Education Statistics) do Departamento da
Educação nos EUA (US Department of Education), 90% das instituições públicas 2‐
years e 89% das 4‐years ofereceram cursos de educação a distância em 2000‐2001
com matrículas no montante de, respetivamente, 1.472.000 e 945.000 de um total de

2. 3.077.000 matrículas. Dessas escolas, 90% ofereceram cursos via Internet, usando a
instrução assíncrona baseada em computador, e 88% indicaram planos para iniciar ou
aumentar a utilização da Internet como principal meio de entrega de instrução (Waits
& Lewis, 2003). Estas estatísticas confirmam a ideia de que a educação a distância
baseada na Internet é a tecnologia mais prevalecente no e‐learning e de que a Internet
causou mudanças drásticas na educação em geral e no ensino a distância em
particular.
Como consequência, a utilização de tecnologias da Internet para fornecer formação
tem sido anunciada como a "revolução do e‐learning ” (Galagan, 2000). E‐learning é,
essencialmente, a transferência de habilidades e conhecimentos através da rede, e
refere‐se ao uso de aplicações e processos eletrónicos para a aprendizagem.
Aplicações e processos em E‐learning incluem aprendizagem baseada na Web,
aprendizagem baseada em computador, salas de aula virtuais e colaboração digital. O
conteúdo é entregue através da Internet, intranet/extranet, áudio ou vídeo, televisão
por satélite e CD‐ROM.
E‐learning é o preferido por uma variedade de razões: ele fornece uma formação
consistente e, a nível mundial, reduz o ciclo de tempo de entrega, aumenta a
conveniência do aluno, reduz a sobrecarga de informações, melhora o rastreamento e
reduz despesas (Welsh et all, 2003). Neste sentido, este artigo dedica‐se a discutir a
questão complexa e, talvez mais importante, da avaliação da qualidade em e‐learning.
Esta última tem sido tratada por via do recurso a uma análise das vantagens e
limitações das principais abordagens introduzidas para avaliar a qualidade do e‐
learning.
Antes de mais, o que significa "qualidade do e‐learning"? A visão predominante (de
acordo com os resultados de um levantamento realizado por Ehlers et al., 2005) é que
a qualidade é a obtenção de melhores resultados na aprendizagem (50%), juntamente
com algo que é excelente no desempenho (19%). Esta compreensão essencialmente
pedagógica foi mais difundida do que opções relacionadas com a melhor relação
custo‐benefício ou de marketing. Além disso, devemos ter em consideração que "
qualidade em e‐learning" tem uma dupla importância na Europa. Em primeiro lugar, e‐
learning está associado em vários documentos de reflexão e de planos com um
aumento na qualidade das oportunidades educacionais, garantindo uma bem‐sucedida
adaptação à sociedade da informação. Esse contexto é chamado de 'qualidade através
do e‐learning'. Em segundo lugar, há um debate separado, mas associado, sobre como
melhorar a qualidade do e‐learning em si e, neste caso, o contexto é chamado de
"qualidade para o e‐learning" (Ehlers et al., 2005).
2. A qualidade para o e‐learning
De acordo com Pawlowski (2003), a qualidade no campo do e‐learning não está
associada a uma medida bem definida. É variável no que diz respeito ao âmbito, à
perspetiva, à dimensão. Apesar deste problema, a avaliação da qualidade está a
tornar‐se uma questão de importância crescente, como mostrou o interesse da
ISO/IEC19796‐1: 2005 e do Observatório Europeu da Qualidade (OEQ). A
ISO/IEC19796‐1:2005 é um enquadramento para descrever, comparar, analisar e
implementar uma gestão da qualidade e abordagens de garantia de qualidade. Vai

3. servir para comparar as diferentes abordagens existentes e para as harmonizar de
forma a convergirem para um modelo comum de qualidade. A sua principal
componente é o Quadro de Referência para a Descrição de Abordagens de Qualidade
(QRDAQ).
Consiste nos seguintes itens: um esquema de descrição para a gestão da qualidade;
um modelo do processo definindo os processos básicos a serem considerados na
gestão da qualidade no domínio da aprendizagem, educação e formação suportadas
pelas TIC, e uma declaração de conformidade para o formato da descrição. A
ISO/IEC19796‐1 descreve os processos como um ciclo de vida do e‐learning. É um
modelo referenciado com um alto nível de abstração, que deve ser adaptado a uma
dada organização. O modelo será utilizado como um enquadramento para a descrição,
comparação e análise das abordagens de processos orientados para a qualidade
(Hirata, 2006). Consiste essencialmente em duas partes:
• Um esquema de descrição para abordagens da qualidade.
• Um modelo de processo como classificação de referência.
O Modelo de Descrição é um esquema para descrever interoperativamente
abordagens de qualidade (tais como linhas orientadoras, guias de design, requisitos) e
documenta todos os conceitos de qualidade de forma transparente. O Modelo do
Processo é um guia dos diferentes processos de desenvolvimento de cenários de
aprendizagem e inclui os processos relevantes dentro do ciclo de vida dos sistemas de
informação e comunicação para a aprendizagem, educação e formação. O Modelo do
Processo é dividido em sete partes. Os subprocessos estão incluídos fazendo
referência a uma classificação de processos. Em relação ao grupo de trabalho sobre a
qualidade, está atualmente baseado em três subtarefas subsequentes, desenvolvendo
mais ferramentas e suporte:
Parte 2: O "Modelo de Qualidade" harmonizará os aspetos dos sistemas de qualidade
e as suas relações, e fornecerá orientação para todos os intervenientes. Não vai impor
uma implementação particular mas, ao invés, focar‐se‐á nos seus efeitos. O modelo
será extensível aos requisitos de determinadas comunidades.
Parte 3: As " Referências de Métodos e Métricas" harmonizarão os formatos para
descrever os métodos e as medidas para a gestão e garantia da qualidade. Fornecerá
uma coleção de métodos de referência que poderá ser usada para gerir e garantir a
qualidade em diferentes contextos. Além disso, essa parte fornecerá uma coleção de
medidas e indicadores de referência que poderá ser usada para medir a qualidade em
processos, produtos, componentes e serviços.
Parte 4: As "Boas Práticas e o Guia de Implementação" fornecerão critérios
harmonizados para a identificação das melhores práticas, linhas orientadoras para a
adaptação, implementação e uso deste padrão, e conterá um rico conjunto de
exemplos de boas práticas.
Em relação ao OEQ, tem que ser definido e aplicado um enquadramento comparável e
adaptável visando estruturar abordagens da qualidade para um mercado comum

4. Europeu e global para produtos e serviços educacionais. O repositório do OEQ é
baseado nesta abordagem e conceito. O objetivo principal é fornecer uma plataforma
detalhada para que desenvolvedores, gestores, administradores, decisores e alunos
encontrem uma abordagem de qualidade adequada às suas necessidades. O OEQ
fornece um enquadramento conceptual para a descrição e a harmonização das
abordagens de qualidade. Ou seja, sugere um enquadramento de referência como um
padrão de qualidade Europeu. O projeto está diretamente ligado aos grupos de
padronização do CEN/ISSS (Workshop de Tecnologias de Aprendizagem) e ISO/IEC JTC1
SC36, com o objetivo de transferir resultados das comissões de padronização para os
utilizadores e vice‐versa. Assim, disponibiliza um repositório baseado na Internet para
a gestão da qualidade, garantia de qualidade e abordagens da avaliação da qualidade
no campo do e‐learning. Além disso, fornece recomendações para a utilização da
gestão da qualidade, garantia de qualidade e abordagens de avaliação da qualidade
para diferentes grupos‐alvo (p. ex. utilizadores finais, administradores de HE,
desenvolvedores) e para fins específicos (p. ex. melhoria de processos, transparência
de produtos, objetivos de domínio específico, necessidades nacionais / regionais /
locais). O projeto do OEQ espera que as seguintes linhas orientadoras possam dar
forma à qualidade do e‐learning em 2010:
(a) os alunos devem desempenhar um papel na determinação da qualidade dos
serviços de e‐learning;
(b) a Europa deve desenvolver uma cultura de qualidade na educação e na formação;
(c) a qualidade deve desempenhar um papel central na política de educação e
formação;
(d) a qualidade não deve ser do domínio exclusivo das grandes organizações;
(e) devem ser estabelecidas estruturas de suporte para fornecer assistência
competente e orientada para o desenvolvimento da qualidade das organizações;
(f) os padrões de qualidade abertos devem ser mais desenvolvidos e amplamente
implementados;
(g) a investigação interdisciplinar da qualidade deve estabelecer‐se no futuro como
uma disciplina académica independente;
(h) a investigação e a prática devem desenvolver novos métodos de intercâmbio;
(i) o desenvolvimento da qualidade deve ser concebido em conjunto por todos os
envolvidos;
(j) devem ser desenvolvidos modelos de negócio adequados para os serviços no
domínio da qualidade.

5. Como é possível verificar a partir das breves descrições das duas abordagens acima
apresentadas, ambas tentam incluir todos os aspetos a ter em consideração na
avaliação da qualidade do e‐learning. O problema destes enquadramentos, no
entanto, decorre da sua generalidade. Ou seja, eles pressupõem a ocorrência de
processos onde faltam indicações concretas. Por outro lado, cada uma delas requer,
para estar corretamente concebida ou controlada, um profundo conhecimento teórico
e experimental em domínios como a psicologia, ciência da informação, engenharia de
software e sociologia. Não apenas esse conhecimento não está atualmente disponível,
como também será difícil torná‐lo acessível mesmo num futuro próximo. Portanto,
essas abordagens soam como listas de recomendações genéricas, cuja aplicação
concreta é deixada apenas à fantasia (e não à ciência) de alguns designers.
3. Fatores de qualidade do e‐learning
Outras abordagens estão a tentar desenvolver os seus próprios critérios, mas eles
estão a ser usados a nível nacional, regional, local (Wirth, 2005) ou consistem apenas
em modelos como os descritos a seguir.
O Modelo de Sucesso do E‐learning (Holsapple e Lee‐Post, 2006) é uma descrição de
um processo dedicado a medir e avaliar o sucesso. Sucesso em e‐learning é
definido como uma construção multifacetada a ser avaliada em três fases sucessivas: a
conceção do sistema, o sistema de entrega e os resultados do sistema.
Conforme se pode ver na Figura 1, na primeira etapa, o objetivo é alcançar o sucesso
da conceção do sistema, maximizando as três dimensões da qualidade: qualidade do
sistema, qualidade da informação e qualidade de serviço. A segunda etapa é atingir o
sucesso do sistema de entrega, maximizando a utilização e as dimensões de satisfação
do usuário. A meta final visa o alcançar do resultado do sistema com sucesso através
da maximização da dimensão dos benefícios líquidos. Cada dimensão de sucesso é
medida como uma única medida numérica, agregando as avaliações de seu conjunto
de fatores de atribuição obtidos através de instrumentos de pesquisa.
O sucesso global de e‐learning pode então ser avaliado para cada dimensão. Uma
baixa pontuação para qualquer dimensão de sucesso indica uma deficiência nessa área
e os esforços podem ser gastos em concordância a fim de remediar a dita deficiência.
O modelo acima descrito sugere que um fator crítico de sucesso no e‐learning é a
disponibilidade on‐line dos alunos. A seleção de alunos para cursos on‐line é baseada
na avaliação das respostas com referência a quatro medidas de preparação:
preparação académica, competência técnica, estilo de vida adequado e com
preferência para uma aprendizagem para o e‐learning. O aluno capacitado para
estudar online é caraterizado por um elevado nível em todas as quatro competências.
A capacidade dos alunos de estudarem online tem um impacto decisivo no sucesso do
desempenho no curso e satisfação em e‐learning.

6.
Conceção do sistema
Sistema de entrega
Qualidade do sistema
Utilização
1. Fácil utilização
2. Amigável 1. PowerPoints Resultados do sistema
3. Estável 2. Áudio
4. Seguro 3. Script Benefícios líquidos
5. Rápido 4. Fóruns de discussão Aspectos Positivos
6. Recetivo 5. Estudos de caso 1. Melhorar a
6. Problemas de aprendizagem
prática 2. Poderes
Qualidade da 7. Tutoriais de 3. Economia do tempo
informação qualidade 4. Sucesso académico
8. Tarefas
1. Bem organizada
2. Bem apresentada 9. Exame de prática Aspectos Negativos
1. Falta de Contato
3. Do tamanho certo
2. Isolamento
4. Escrita de forma
3. Problema de
clara
Qualidade
5. Útil
Satisfação do 4. Dependência de
6. Atualizada
Utilizador tecnologia
1. Satisfação Global
2. Experiência
Qualidade do serviço
agradável
1.Imediato 3. Sucesso Total
2. Recetivo 4. Recomenda a outros
3. Justo
4. Conhecedor
5. Disponível
Fig. 1. Modelo de sucesso do E‐learning
Ao contrário do modelo apresentado na Figura 2 que assume que os resultados do
curso são um resultado direto da motivação para aprender (Klein et al., 2006). A
motivação para aprender é um fator determinante das escolhas que os indivíduos
fazem para interagir, participar e persistir em atividades de aprendizagem. Ela é
influenciada por caraterísticas do aluno, características de instrução e barreiras
percebidas e que possibilitam (barreiras percebidas e que possibilitam são eventos ou
condições ambientais que se acreditam existir ou ser encontradas e pensadas para
impedir ou facilitar o progresso). As perceções das barreiras e de incapacitadores são
por si influenciadas pelo aprendente e pelas características instrucionais.

7.
Fig. 2. O modelo conceitual de Klein et al. (2006)
Este modelo destaca o papel central da motivação do aluno para aprender e da
perceção de características quer sejam barreiras ou facilitadores: melhorar a perceção
dos facilitadores dos estagiários e dar resposta às preocupações sobre potenciais
barreiras são estratégias importantes para aumentar a motivação para aprender que,
por sua vez, facilita o caminho para resultados positivos. Segundo Klein et al. (2006)
uma melhor compreensão do impacto que o uso da tecnologia tem na eficácia do
ensino requer a análise dos mecanismos que podem dar conta das diferenças na
aprendizagem, tais como a motivação para aprender, bem como efeitos diretos da
tecnologia na aprendizagem.
Uma perspetiva um pouco diferente foi adotada por Lim et al. (2007), que identificam
cinco dimensões que afetam a eficácia da formação on‐line: a motivação e a auto
eficácia do formando, o conteúdo do ensino, o nível de comunicação entre formador e
formando, o ambiente organizacional e a facilidade de uso dos recursos on‐line do
Website. Quanto a esta última dimensão, uma estratégia específica pode garantir a
facilidade de uso: Aprendizagem centrada no aluno (LCD).
Uma abordagem LCD baseia‐se no conhecimento dos utilizadores e suas diferentes
características: como é que os alunos preferem aprender, como é que eles estão a
aprender a informação, a que pressões estão os alunos sujeitos no seu dia‐a‐dia, qual a
sua motivação ou incentivo para se empenharem na aprendizagem on‐line, quais os
constrangimentos que enfrentam, que necessidades especiais têm, em que medidas
eles se sentem confortáveis com as aplicações on‐line usadas, que experiência têm
eles com e‐learning (Miller 2005).
Conhecer o perfil dos alunos é a melhor maneira de criar projetos úteis, estilos e tons,
mas, quando se ensina on‐line, existem algumas preocupações de design, que
representam outros potenciais benefícios da planificação. Estas preocupações
começam a partir de uma etapa comum: a seleção de uma técnica de entrega ou da
combinação de técnicas a fim de definir, a priori, um design de interface de utilizador.
A conceção da interface do curso é extremamente importante (Jones, 1994), porque

8. tem um impacto positivo ou negativo sobre o desempenho do utilizador (Tselios et all ,
2001).
Então, é desejável usar fontes de visualização amigáveis e cores seguras para a web, a
fim de criar um padrão consistente e proporcionar tempos rápidos de download e
ajudar os utilizadores, fornecendo páginas para impressão. Segundo Norman (1998)
a interface deve ser interativa e fornecer também feedback, ter objetivos específicos,
motivar, dar uma sensação contínua de desafio, oferecer as ferramentas apropriadas,
evitar qualquer fator de irritação que possa interromper o fluxo de aprendizagem.
LCD deve ter em conta que os alunos são sensíveis à legibilidade do texto no ecrã. Por
isso a formatação e espaçamento do texto, bem como as cores, são importantes. Além
disso, um aspeto comum ajuda os utilizadores a distinguir as páginas do curso de
páginas externas hiperligadas. As pessoas não gostam de estudar os textos no ecrã e
também não querem ir mais longe do que três cliques a partir da página principal, por
isso é necessário ter uma barra de navegação sempre disponível. Os alunos estão
sempre em busca de algo novo dentro da web. Por isso, é importante atualizar com
frequência, conteúdo e notícias e também dar uma indicação direta do que é novo,
logo que possível (Van Rennes et al., 1998).
Conclusão
O e‐learning tem vindo a progredir desde a utilização básica das Tecnologias da
Informação e da Comunicação no domínio da aprendizagem para novas formas de
educação e formação que enfatizam a criatividade e a colaboração, bem como novas
habilidades para a sociedade do conhecimento. Esta, por sua vez, requer uma
mudança significativa de perspetiva, longe de um enfoque na tecnologia,
conectividade e Internet, para uma maior consideração do contexto da aprendizagem
e da necessidade de colaboração, comunicação e inovação. No entanto, esta mudança
requer uma quantidade de conhecimentos até então não totalmente disponíveis. Este
é o motivo para a dificuldade na avaliação da qualidade do e‐learning. Ou seja, por um
lado, temos quadros muito interessantes, tais como os de ISO/IEC19796‐1: 2005, e do
EQO, mas que consistem essencialmente numa lista de sugestões e prescrições sem
indicações para uma implementação em termos práticos. Por outro lado, temos uma
série de modelos, como os esboçados na secção anterior, cada um associado a
indicações concretas, mas diferentes uns dos outros no que diz respeito às hipóteses
de base e aos contextos de aplicação. Neste sentido, a qualidade do e‐learning
permanece uma questão em aberto, e ainda precisamos de um e‐learning que garanta
as melhores práticas que justifiquem que um curso seja eficiente para o aluno e para
os demais atores envolvidos. Mas tal garantia, contudo, não se pode somente basear
na prática. Precisamos, nesta perspectiva, de novas investigações científicas e de
pesquisas ad hoc que envolvam especialistas em educação, equipas e designers de e‐
learning.

9. Bibliografia
Ehlers U.D., Goertz L., Hildebrandt B., Pawlowski J.M. (2005). Quality in e‐learning.
Cedefop Panorama series; 116. Luxembourg: Office for Official Publications of the
European Communities, 2005.
URL: http://www2.trainingvillage.gr/etv/publication/download/panorama/5162_en.pd
f .
Galagan, P.A. (2000). The e‐learning revolution. Training & Development, v54 n12
p24‐30 Dec 2000.
Hirata K. (2006). Information model for quality management methods in e‐learning.
Proceedings of the Sixth International Conference on Advanced Learning
Technologies
(ICALT'06). URL: http://csdl2.computer.org/comp/proceedings/icalt/2006/2632/00/26
3201147.pdf
Holsapple C.W., Lee‐Post A. (2006). Defining, Assessing, and Promoting E‐learning
Success: An Information Systems Perspective. Decision Sciences Journal of Innovative
Education Vol. 4 Number 1 January 2006.
Jones M.G. (1994). Visuals information access: a new philosophy for screen and
interface design. In Imagery and visual literacy: selected readings from annual
conference of the international visual literacy association, Tempe, October 12‐16,
264‐272.
Klein H.J., Noe R.A., Wang C. (2006). Motivation to learn and course outcomes: the
impact of delivery mode, learning goal orientation and perceived barriers and
enables. Personnel Psychology 59, 665–702.
Koper E.R.J. (2001). Modelling Units of Study from a Pedagogical Perspective: the
pedagogical meta model behind EML. URL: http://eml.ou.nl/introduction/docs/ped‐
metamodel.pdf .
Lim H., Lee S.G.,_, Nam K. (2007). Validating E‐learning factors affecting training
effectiveness. International Journal of Information Management 27 (2007) 22–35.
Miller M.J. (2005). Usability in E‐learning.
URL:http://www.learningcircuits.org/2005/jan2005/miller.htm.
Norman D. (1998). The invisibile computer. Cambridge MA, MIT Press.
Pawlowski J.M. (2003). The European quality observatory (EQO): structuring quality
approaches for e‐learning. Proceedings of the 3rdIEEE International Conference mon
Advances Learning Technologies (ICALT’03).

10. Tselios N. K., Avouris N. M., Dimitracopoulou A., Daskalaki S. (2001). “Evaluation of
Distance‐learning Environments: Impact of Usability on Student Performance”.
International Journal of Educational Telecommunications, Vol. 7, No. 4, pp.355–378.
Van Rennes L., Collis B. (1998). User interface design for WWW‐based courses:
Building upon student evaluations. ED428731.
Waits, T.,&Lewis, L. (2003). Distance education at degree‐granting postsecondary
institutions: 2000–2001, NCES 2003‐017.Washington, DC: National Center for
Education Statistics, U.S. Department of Education.
Welsh E.T., Wanberg C.R., Brown K.G., Simmering M.J. (2003). E‐learning: emerging
uses, empirical results and future direction. International Journal of Training and
Development 7:4.
Wentling T.L., Waight C., Gallaher J., La Fleur J., Wang C., Kanfer A. (2000). E‐learning ‐
A Review of Literature. URL: http://learning.ncsa.uiuc.edu/papers/elearnlit.pd.
Wirth M.A. (2005). Quality Management in E‐learning: Different Paths, Similar
Pursuits. 2nd International SCIL Congress. URL: http://www.scil.ch/congress‐
2005/programme‐10‐11/docs/workshop‐1‐wirth‐text.pdf .