Avaliacao ambientes virtuais

Avaliação em ambientes virtuais de aprendizagem

Josué Laguardia
Margareth Crisóstomo Portela
Miguel Murat Vasconcellos
Fundação Osvaldo Cruz

Resumo

A demanda por avaliações de projetos de aprendizagem virtual a dis-
tância tem requerido o emprego de conceitos e métodos que transcen-
dem o campo exclusivo da Educação, destacando-se a multiplicidade
de marcos teóricos e abordagens técnicas empregados nas estratégias
avaliativas de aprendizagem online. A despeito da hegemonia dos mé-
todos quantitativos na avaliação das tecnologias de informação e
comunicação, o emprego de métodos qualitativos nas avaliações de
ambientes virtuais tem crescido ao longo das duas últimas décadas. A
combinação de métodos quali-quantitativos possibilita uma melhor
compreensão dos fenômenos subjacentes ao uso das tecnologias para
a aprendizagem online. Dado que a educação em ambientes virtuais
refere-se a experiências de aprendizagem que utilizam recursos
hipermidiáticos em ambientes apoiados por uma tecnologia de comu-
nicação online, optou-se neste artigo enfocar alguns tópicos relativos
à avaliação de tecnologias de informação e de aprendizagem nesses
ambientes, aprofundando a discussão no que tange aos métodos re-
levantes à avaliação tanto dos ambientes virtuais de aprendizagem
quanto da aprendizagem nesse meio. Essa opção se deve tanto ao re-
conhecimento das especificidades das práticas pedagógicas da EaD
que colocam em evidência a relação entre educação e comunicação,
viabilizadas por meio das tecnologias de informação e comunicação,
quanto aos diversos papéis, negativos e positivos, atribuídos às
tecnologias de comunicação e informação na Educação.

Palavras-chave

Avaliação – Ambiente virtual de aprendizagem – Tipos de avaliação
– Métodos quali-quantitativos.

Correspondência:
Josué Laguardia
Rua do Russel, 404 apto. 504
22210-010 – Rio de Janeiro – RJ
e-mail: jlaguardia@cict.fiocruz.br

Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 513

Evaluation in virtual learning environments

Josué Laguardia
Margareth Crisóstomo Portela
Miguel Murat Vasconcellos
Fundação Osvaldo Cruz

Abstract

The demand for evaluations of projects of virtual distance learning
has required the use of concepts and methods that go beyond the
strictly educational field, with emphasis on the multiplicity of
theoretical frameworks and technical approaches employed in the
assessment strategies of online learning. Despite the hegemony of
quantitative methods in the evaluation of the technologies of
information and communication, the use of qualitative methods in
the assessment of virtual environments has increased throughout the
last decades. The combination of qualitative-quantitative methods
allows a better understanding of the phenomena underlying the use
of technologies for online learning. Given that education in virtual
environments relates to learning experiences that make use of
hypermediatic resources within environments supported by an online
communication technology, we have opted in the present article for
focusing on topics associated to the evaluation of information and
learning technologies in these environments, furthering the
discussion concerning the methods relevant to the assessment both
of the virtual learning environments and of the learning within this
medium. This choice is due to the recognition of the specificities of
the practices of distance learning, which stress the relationship
between education and communication, made possible through the
new information and communication technologies. It also recognizes
the various roles, positive and negative, attributed to the information
and communication technologies in education.

Keywords

Evaluation – Virtual learning environment – Types of evaluation –
Qualitative-quantitative methods.

Contact:
Josué Laguardia
Rua do Russel, 404 apto. 504
22210-010 – Rio de Janeiro – RJ
e-mail: jlaguardia@cict.fiocruz.br

514 Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007

As mudanças na ordem econômica e bilidade, do controle e da responsabilidade do
social, o desenvolvimento de novas tecnologias estudante sobre os seus processos de aprendi-
de informação e comunicação, a relativização e zagem e da flexibilização das instituições, es-
revitalização das culturas locais e a padroniza- truturas administrativas, currículos, estratégias
ção e homogeneização política, cultural e e métodos de aprendizagem (Peters, 2004).
tecnológica são apontadas como agentes de Mena, Rodríguez e Diez (2001) destacam
transformação dos sistemas de ensino e das que o contexto atual de reestruturação da ad-
modalidades educacionais (Belloni 2002; 2003). ministração pública requer a adequação das
No campo econômico, as demandas sobre o estruturas e dos processos de capacitação aos
sistema educacional se voltam para a produção requerimentos institucionais e o desenvolvimen-
de um conhecimento descontextualizado, ori- to de programas de aprendizagem sob uma
entado ao capital humano e com estudantes perspectiva situacional. Na visão desses autores,
criativos, inovadores, flexíveis e dispostos a o papel destacado da EaD nesse novo enfoque
aprender ao longo de toda a vida (Löfsted et de capacitação profissional deriva da sua capa-
al. , 2001). Além disso, a constituição de uma cidade de oferecer respostas apoiadas em uma
economia pós-industrial baseada no conhecimen- avaliação precoce e permanente dos problemas
to requer que os níveis individuais e coletivos de ou das necessidades detectados, da impossibi-
conhecimento disponíveis sejam desenvolvidos e lidade de dispor de capacitadores peritos que
gerenciados de modo que os processos orga- englobem todas as áreas do conhecimento e
nizacionais e de trabalho alcancem uma combi- regiões geográficas no marco da administração
nação sinérgica entre os dados, o poder de pública e, principalmente, do fato de que os
processamento da informação das tecnologias de agentes públicos devem ser formados e capa-
informação e a capacidade criativa e inovadora citados em seus lugares de trabalho, aprovei-
dos seres humanos. tando a possibilidade de refletir sobre suas
Essas mudanças nos processos de traba- próprias experiências cotidianas, transferindo
lho que exigem o desenvolvimento de habilida- permanentemente os conhecimentos e constru-
des metacognitivas e de competências para indo espaços de aprendizagem. No âmbito da
aprender cooperativamente, apoiadas em conteú- saúde, as mudanças no modelo assistencial e no
dos contextualizados e na experiência individual, desenho institucional, com alterações na clien-
afinam-se com os propósitos da educação a tela-alvo, na escala de oferta e na definição de
distância e impulsionam o seu crescimento competências profissionais, demandam uma re-
(Wentling et al., 2000; Carvalho; Misoczky, 2001; forma pedagógica baseada nos pressupostos da
Struchiner; Giannella, 2002). Nesse cenário, a educação aberta e a distância (Torrez, 2005).
educação a distância (EaD) constitui “parte de Todavia, a expansão dos cursos em EaD
um processo de inovação educacional mais digital não é acompanhada por uma avaliação
amplo que é a integração das novas tecnologias dessas iniciativas. O relatório do Word Bank
de informação e comunicação nos processos Institute (Valcke; Leeuw, 2000) destaca que o
educacionais” (Belloni, 2002; p. 123), uma número de avaliações de cursos, treinamentos
modalidade de aprendizagem mais flexível, apoi- de curta duração, seminários e oficina de espe-
ada nos pressupostos de autonomia individual e cialistas na área de Educação digital a distân-
liberdade intelectual. Ela também se mostra mais cia é limitado, sendo ainda mais reduzido nos
adequada à realidade do aluno adulto inserido no países em desenvolvimento. Esse relatório su-
mercado laboral, atendendo às diferentes necessi- blinha a ausência de estudos que avaliem a
dades de formação e capacitação dos profissionais articulação entre os cenários pedagógicos e os
sem retirá-los do local de trabalho. Por sua vez, tais modelos de aprendizagem subjacentes; o im-
características requerem a ampliação da acessi- pacto das avaliações nos tomadores de decisão;


o gerenciamento de redes de aprendizagem; e a negativos e positivos, atribuídos às tecnologias
importância dos mecanismos de capital social, de comunicação e informação na Educação
compromisso e confiança, bem como os cursos (Barreto, 2004).
de curta duração e os programas de capacitação.
Dyson e Campelo (2003) argumentam que as Avaliação de tecnologia de
restrições de tempo e a ausência de um conhe- informação e educacional
cimento especializado são fatores impeditivos
para que a maioria dos formuladores de inicia- A avaliação pode ser definida como a apli-
tivas de EaD através da internet empreenda es- cação sistemática de procedimentos metodológicos
tudos mais detalhados de avaliação. para determinar, a partir dos objetivos propostos e
No Brasil, a exigüidade de estudos ava- com base em critérios internos e/ou externos, a
liativos das experiências em EaD tem limitado a relevância, a efetividade e o impacto de determi-
constituição de um conhecimento mais apro- nadas atividades com a finalidade de tomada de
fundado sobre a adequação das abordagens decisão. Em comum, as definições de avaliação
pedagógicas, os custos de investimento em a vêem como um julgamento de valor a respeito
tecnologia, especialmente nas modalidades vir- de uma intervenção ou sobre qualquer um de
tuais, assim como os fatores associados, dire- seus componentes, tomando como referência
tamente ou não, ao desempenho dos alunos. um padrão estipulado e cujo propósito é auxi-
Faz-se assim premente a discussão sobre as liar os processos decisórios. Vale ressaltar que
questões teóricas envolvidas nesses estudos. A essa intervenção pode ser constituída por um
integração entre as diversas disciplinas que tra- “conjunto de meios (físicos, humanos, financei-
tam da avaliação de tecnologias de informação ros, simbólicos) organizados em um contexto
e a sua interface com a Educação, bem como específico, em um dado momento, para produzir
a necessidade de orientar os profissionais en- bens ou serviços com o objetivo de modificar
volvidos na avaliação de projetos de aprendiza- uma situação problemática” (Contandriopoulos et
gem virtual a distância, definiram o objetivo al., 1997, p. 31). Para esses autores, o modelo te-
desse artigo, que é apontar, a partir de uma re- órico-conceitual vigente considera a avaliação
visão da literatura nacional e internacional em pe- como um processo de negociação entre os ato-
riódicos especializados e sítios de busca na res envolvidos na intervenção a ser avaliada.
internet, os aspectos conceituais e metodológicos Na avaliação de tecnologias, suas diver-
que norteiam os protocolos de estudo nesse cam- sas definições contemplam, de acordo com
po. Por se tratar de experiências de aprendizagem Panerai e Mohr (1989), as repercussões das
que utilizam recursos hipermidiáticos em ambien- tecnologias nos seus distintos níveis e o grau
tes apoiados por uma tecnologia de comunicação de planejamento dessas repercussões, com
online, optou-se enfocar alguns tópicos relativos destaque para a natureza benéfica ou adversa
à avaliação de tecnologias de informação e de das suas conseqüências. Brender (1998) vê a
aprendizagem, aprofundando a discussão no que avaliação de tecnologia como uma atividade
tange aos métodos relevantes à avaliação tan- prévia à tomada de decisão acerca da sua apli-
to dos ambientes virtuais de aprendizagem cação e/ou difusão, sublinhando seu papel
quanto da aprendizagem nesse meio. Essa op- como instrumento político que busca preencher
ção se deve tanto ao reconhecimento das a brecha entre o potencial tecnológico e as
especificidades das práticas pedagógicas da EaD necessidades e os desejos econômicos e soci-
que colocam em evidência a relação entre edu- ais. Ammenwerth et al. (2003) ressaltam que no
cação e comunicação, viabilizadas através das campo das tecnologias de informação e comu-
tecnologias de informação e comunicação nicação (TIC), ademais do seu caráter político,
(Sartori, 2002), quanto aos diversos papéis, a avaliação não deve ficar restrita apenas à

516 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...

tecnologia, mas se estender à interação entre TIC e de recursos para a execução do estudo.
e os usuários no processamento da informação Ammenwerth, Iller e Mansmann (2003) argumen-
dentro de um dado contexto socioambiental, tam que esses estudos estão, em geral, restritos a
pois essa interação determina como ocorre a in- variáveis predefinidas, valorizando a significância
corporação das tecnologias aos processos de tra- estatística e simplificando as relações mais amplas
balho. Por essa razão, a avaliação de um recurso e complexas encontradas na realidade, o que re-
de informação deve ser orientada pelos problemas sultaria em uma limitação na compreensão dos
apontados pelos usuários, cobrir todo o ciclo de eventos causais e intervenientes. As abordagens
vida do recurso, articular a metodologia aos pro- quantitativas se apóiam em formulações derivadas
pósitos e objetivos da investigação, apontar os da teoria da variância estatística e da concepção
efeitos esperados e inesperados e gerar informa- de agência causal que requer a identificação de
ções que sejam úteis à tomada de decisão. alguns elementos como antecedentes, necessários
Brender (1998) sugere uma avaliação construtiva e suficientes para a ocorrência de outros elemen-
de ciclo de vida cujos usuários-alvo dessa meto- tos tidos como resultado. Em decorrência disso, a
dologia são aqueles sob o domínio de aplicação visão dos resultados da tecnologia nas organiza-
do sistema futuro ou seus representantes e que ções está vinculada ao pressuposto de que tanto
sua aplicabilidade deve ser independente da abor- a tecnologia (imperativo tecnológico) quanto os
dagem de desenvolvimento do sistema, proven- seres humanos (imperativo organizacional) são os
do aos usuários a informação necessária para a antecedentes ou agentes de mudanças e não
tomada de decisão quanto ao seu uso. que as mudanças emergem das interações com-
Todavia, na seleção das estratégias e técni- plexas e indeterminadas entre esses agentes
cas mais adequadas ao estudo de avaliação, os (perspectiva emergente). As características
pesquisadores se defrontam com questões que têm tecnológicas, organizacionais e dos usuários, bem
sido debatidas há décadas no campo da avaliação como as necessidades da informação, são perce-
de tecnologias de informação, tais como qualita- bidas como estáticas, independentes e objetivas,
tivo versus quantitativo, pragmatismo versus pre- em vez de construtos interativos e dinâmicos,
ocupações metodológicas, avaliador como árbitro como conceitos com atributos e sentidos que
versus avaliador como facilitador (Oliver, 2000). A mudam ao longo do tempo e que podem ser
investigação quantitativa (objetivista ou positivista) definidos diferentemente de acordo com a visão
baseia-se nos pressupostos da existência de um e a vivência dos participantes individuais.
modelo válido do mundo, explicável pelo conhe- Kaplan e Duchon (1998) destacam que a
cimento de alguns dos seus componentes, e da pesquisa norte-americana em sistemas de infor-
existência da verdade, medida a partir dos atribu- mação caracteriza-se pela abordagem experi-
tos dos componentes dos modelos (Moehr, 2002). mental, com a formulação de hipóteses testadas
A investigação quantitativa requer, além da em experimentos controlados sob o pressupos-
escolha do desenho de estudo (o experimento to que a ciência só progride por meio de teste
laboratorial é tido como ideal), a definição da de hipóteses (ganhos incrementais) e pelo uso
pergunta de pesquisa e do sistema sob investi- de estratégias de controle experimental e esta-
gação, a seleção de métodos, o desenvolvimento tístico. Na opinião desses autores, essas pesqui-
de instrumentos de mensuração, a coleta dos sas removem os efeitos contextuais que são
dados e a análise e divulgação dos resultados. importantes para o entendimento da ação dos
Entretanto, a definição das perguntas do estu- fatores intervenientes no sucesso ou fracasso
do depende tanto da habilidade em respondê-las de uma intervenção com o propósito de gerar
quanto da disponibilidade de instrumentos ca- resultados generalizáveis e reprodutíveis. As
pazes de medir as características que definem os análises desses estudos tratam os objetos da
construtos, de pessoal capacitado para usá-los pesquisa de duas maneiras: tomando a tecnologia


como um fator determinante e os usuários perimentais e econômicas, alegando que a so-
como entes passivos ou assumindo que os ciedade está em constante construção pela
usuários e as organizações são atores em um interação dos indivíduos.
consórcio racional para alcançar determinados A propósito dos desenhos de estudo, vale
resultados por meio do uso da tecnologia. Em destacar a classificação utilizada por Friedman e
ambos os casos, a natureza da tecnologia e dos Wyatt (1997), que agrupa os diversos tipos de
usuários é considerada estática e possuidora de desenho em duas categorias, objetivistas e
um caráter essencial e imutável, e o ganho de subjetivistas, cada uma contendo quatro tipos de
objetividade é obtido às expensas de uma com- abordagens. No grupo dos estudos objetivistas,
preensão mais profunda do que ocorre. encontram-se as abordagens baseadas na compa-
Por sua vez, a abordagem qualitativa ração e nos objetivos, a abordagem de facilitação
(interpretativa ou subjetivista) busca descobrir da decisão e a abordagem livre de metas. A abor-
o que as pessoas querem ou necessitam saber dagem baseada na comparação emprega estudos
por meio de uma descrição do sistema, do experimentais ou quasi-experimentais, na qual o
ambiente e dos efeitos da interação sistema- recurso sob estudo é comparado a uma condição
usuário-ambiente, tal como são percebidos controle ou de contraste e a relação causal é atri-
pelas pessoas, tomando como base o raciocínio buída a partir da associação estatística. O ensaio
indutivo e a observação cuidadosa e detalhada. randomizado é tido como o único método que
As críticas ao enfoque subjetivista baseiam-se permite estimar pequenos benefícios atribuíveis à
na afirmação de que suas interpretações são intervenção e o número de participantes depen-
dependentes do pesquisador (subjetividade) e de da variação interindividual das medidas utili-
que os resultados são válidos, na maioria das zadas, do efeito mínimo esperado, da significância
vezes, apenas para casos individuais. estatística e do poder do estudo. Os usuários são
A incorporação de pressupostos objetivistas selecionados e alocados a um dos dois grupos:
e subjetivistas na avaliação resulta em quatro tipos usa ou não determinada tecnologia (Wyatt; Wyatt,
de abordagens: experimental, pragmática, econô- 2003). Embora os estudos experimentais pareçam
mica e naturalística (Puma, 1999). A avaliação definitivos quando propostos, eles se apóiam em
experimental incorpora a idéia positivista de uma escolha intuitiva, arbitrária ou política das
aplicar a metodologia das ciências naturais à questões e o que é medido é freqüentemente o
engenharia dos programas, utilizando um dese- que pode ser medido. Além disso, as variáveis
nho de estudo do tipo ensaio clínico para medidas e avaliadas de maneira mais acurada nes-
alocação randômica de grupos percebidos como ses estudos e utilizadas para estimar as medidas
similares e comparação dos grupos a partir da de resultado são aquelas que mais dificilmente
exposição de um deles a uma estratégia ou pro- estão relacionadas aos efeitos do recurso sob
grama. A avaliação pragmática enfoca a utilida- estudo. Na abordagem baseada em objetivos,
de, a viabilidade política, a oportunidade e o busca-se determinar se o recurso atende aos
custo dos programas, é direcionada aos obje- objetivos estipulados no início do seu desenvol-
tivos e práticas de trabalho dos tomadores de vimento, enquanto que, na abordagem de fa-
decisão e emprega desenhos de estudo quasi- cilitação da decisão, a avaliação está orientada
experimental ou estudo de caso. A avaliação para a solução de questões importantes pelas
econômica, freqüentemente conduzida de ma- pessoas que podem tomar decisões sobre o fu-
neira separada da avaliação geral, introduz a turo do recurso. Na abordagem livre de metas,
informação sobre os custos do programa como a avaliação é propositalmente cega aos efeitos
um critério e suas ferramentas incluem análises esperados do recurso.
de custo-benefício e custo-efetividade. Por fim, No grupo subjetivista, os estudos são
a avaliação naturalística rejeita as avaliações ex- classificados em abordagem quase-legal, críti-


ca de arte, revisão profissional e responsiva/ as potencialidades técnicas e a análise do custo
iluminadora. A abordagem quase-legal estabe- do projeto e da sua produção (avaliação seletiva)
lece um julgamento do recurso em que propo- ou então para conhecer o comportamento da
nentes e oponentes do recurso oferecem teste- tecnologia em um determinado contexto de
munhos que são examinados à maneira de um aprendizagem e suas possibilidades de inter-rela-
tribunal. A abordagem de crítica de arte se ção com outros elementos curriculares (avaliação
sustenta em métodos formais de crítica e no relativa ao contexto). Para Pons (1998), a abor-
princípio do crítico como conhecedor experien- dagem empírico-analítica na tecnologia educacio-
te e respeitado que aponta os benefícios e as nal, com descrições da realidade objetivadas e ex-
limitações do recurso. A abordagem de revisão plicações funcionais que buscam estabelecer uma
do profissional emprega um painel de pares tipologia de relações causais, tem resultado em
experientes que avalia o recurso tecnológico uma tipificação dos fenômenos e das situações
no ambiente onde se encontra instalado. A estudados, uma visão instrumental da ciência apli-
abordagem responsiva/iluminadora busca repre- cada à realidade educacional, um entendimento
sentar os pontos de vista dos usuários do re- dos meios de aprendizagem como dispositivos uti-
curso ou outras partes significativas do ambi- lizados para uma finalidade instrutiva e uma opção
ente onde opera o recurso, tem como meta eficientista da educação.
compreender, em vez de julgar, e seus métodos Oliver (2000) afirma que a adoção de
derivam da etnografia. As vantagens das abor- abordagens utilitárias que enfatizam a avaliação
dagens subjetivistas residiriam no menor tempo de tecnologias educacionais como um meio e
gasto para a realização desses estudos, a ade- não um fim em si mesma, a descrição das van-
quação para a compreensão do modo como tagens e limitações dos métodos qualitativos e
funciona um recurso em um determinado ambi- quantitativos, a preocupação com a autenticida-
ente, o porquê desse funcionamento e como é de da avaliação e a mudança para um modelo
utilizado pelos usuários (aspectos cognitivos). situado de aprendizagem têm fomentado o uso
No que diz respeito às tecnologias edu- de metodologias híbridas. Essas metodologias
cacionais, Almenara (1998) destaca que a sua combinam abordagens qualitativas e quantitati-
avaliação, assim como as TIC, apresenta um vas com a triangulação dos resultados, fortale-
caráter processual que envolve a tomada de cendo a credibilidade dos achados dos estudos
decisões progressivas acerca da determinação avaliativos. A triangulação na avaliação significa
do objeto a ser avaliado, a temporalização, o emprego de múltiplas fontes de dados, obser-
especificação dos motivos e das necessidades e vadores, métodos ou teorias na investigação de
a determinação das técnicas e estratégias a se- um mesmo fenômeno, apoiando um achado com
rem empregadas, bem como a sua execução e a ajuda de outros (validação), complementando
concretização em um produto. A avaliação de os dados com novos resultados, encontrando
uma tecnologia educacional pode contemplar novas informações e adicionando peças ao que-
os critérios para a sua utilização didática, as bra-cabeça geral (completude). Ammenwerth,
possibilidades cognitivas proporcionadas, os Iller e Mansmann (2003) dividem a triangulação
aspectos técnicos e estéticos, a adequação aos em quatro tipos que podem ser aplicados ao
usuários, a rentabilidade econômica e o aper- mesmo tempo: de dados, de investigador, de
feiçoamento do projeto ergonômico. Essa ava- teorias e de métodos. A triangulação de dados
liação pode ser realizada a partir da análise das utiliza várias fontes de dados com respeito ao
características técnicas e didáticas intrínsecas à tempo, ao espaço ou às pessoas – por exem-
tecnologia (avaliação do produto), comparan- plo, profissionais entrevistados em diferentes
do-a com outras tecnologias a partir de crité- locais ou questionários aplicados em períodos
rios de viabilidade para o alcance de objetivos, distintos de tempo. A triangulação de investi-


gador ocorre quando vários observadores ou as análises de dados qualitativos podem tanto
entrevistadores com formações metodológicas servir de base para formulação de questionári-
e profissionais específicas tomam parte em um os estruturados quanto para a validação da
estudo, coletando e analisando os dados jun- pesquisa quantitativa, provendo diferentes pers-
tos. A triangulação de teorias é a análise dos pectivas do mesmo fenômeno social. Além dis-
dados com base em várias perspectivas, hipó- so, o pesquisador deve estar atento às modifi-
teses ou teorias. A triangulação de métodos uti- cações ocorridas no contexto no qual foi
liza vários métodos para coleta e análise dos implementada uma tecnologia educacional e
dados. A triangulação pode ser classificada tam- que podem ter implicações no resultado da
bém em dois subtipos – triangulação intramétodo, avaliação. Como aponta Almenara (1998), as
combinando abordagens dentro da mesma tradi- vantagens de uma dada tecnologia educacional
ção de pesquisa, e intermétodo, combinando podem ser devidas às
abordagens qualitativas e quantitativas.
O uso de abordagens quantitativas pode [...] modificações paralelas que haviam sido
ser útil quando se baseiam em uma teoria feitas no currículo e no programa acadêmi-
estabelecida e quando é importante que as co, no papel dos professores ou simples-
relações individuais sejam quantificadas e vali- mente na análise e tratamento que haviam
dadas. Em contrapartida, a abordagem qualita- sido feitos dos conteúdos para apresentá-
tiva é mais adequada quando não há uma te- los e readaptá-los às características do
oria disponível, quando novas relações devem novo meio e dos alunos que receberiam a
ser descobertas e sua aplicação está referida à informação. (p. 263)
avaliação de estruturas organizacionais, resis-
tência do usuário, definição de papéis ou pa- Tipos de avaliação de
drões de comunicação. Uma visão integradora ambientes virtuais de
dos paradigmas subjetivista e objetivista na aprendizagem
avaliação de uma tecnologia educacional é
proposta por Jones (2004) com o uso da abor- De modo geral, a avaliação de ambien-
dagem fenomenográfica na avaliação da apren- tes virtuais de aprendizagem pode tomar como
dizagem em rede ( networked learning ). Essa base para sua investigação as condições em
abordagem associa entrevistas individuais (da- que a aprendizagem se realiza (estrutura), os
dos qualitativos) e inventários de aprendizagem modos pelos quais os estudantes são capazes
(dados quantitativos), combinando na análise de interagir sendo apoiados nas suas atividades
as diferentes experiências e compreensões que (processos) e o alcance dos objetivos e das
são caracterizadas em categorias de descrição, metas propostos (resultados). Contudo, a medi-
logicamente relacionadas entre si e formando ação da tecnologia na aprendizagem propicia
uma hierarquia em relação a um dado critério. formas inovadoras de conhecimento e possibi-
Esse conjunto ordenado de categorias de des- lidades de documentação e análise para a ava-
crição é denominado o espaço de resultado liação. Esses ambientes oferecem os meios para
para as concepções do fenômeno. avaliações das habilidades metacognitivas, das
A fim de dispor das vantagens dessas duas estratégias de aprendizagem e do histórico das
estratégias, recomenda-se que sejam combinadas mudanças ocorridas no desempenho dos estu-
de modo que os métodos qualitativos sejam usa- dantes ao longo do curso, provendo evidências
dos para preparar estudos quantitativos e as acerca dos processos envolvidos nas atividades
medidas quantitativas apóiem a argumentação educativas em espaços digitais e subsídios sobre
qualitativa. Pope e Mays (2000) destacam o ca- a efetividade das tecnologias educacionais
ráter complementar dessas abordagens, nas quais (Gibson, 2003; University of Warwick, 2004).


As avaliações de ambientes virtuais de e à adequação dos conteúdos aos objetivos
aprendizagem podem ser classificadas, de acor- propostos. A avaliação do ambiente de aprendi-
do com Valcke e Leeuw (2000), em cinco tipos. zagem deve considerar a abordagem teórica que
Na avaliação interna e análise do desempenho, orienta o seu desenho, as oportunidades ofereci-
as estratégias mais utilizadas são os inquéritos das aos alunos para discussão e trabalho em gru-
e a construção de indicadores relacionados à po, a organização e o acesso ao conteúdo, a fa-
atuação do aluno ao longo do curso e as cilidade de navegação e o controle do aprendiz. Na
modificações resultantes da aprendizagem, avaliação do desenho da interface de aprendiza-
embora poucos indicadores sejam específicos gem, a sincronia/assincronia das comunicações, o
para Educação digital a distância ou adequados aspecto intuitivo no uso, a disponibilidade da
para avaliar o impacto das tecnologias no de- barra de navegação e o layout da tela são alguns
sempenho dos alunos. Para Valcke e Leeuw dos aspectos a serem investigados.
(2000), esses indicadores refletem muitas vezes A satisfação do usuário e a usabilidade
a perspectiva dos países industrializados, haven- (avaliação ergonômica) têm ganhado a atenção
do a necessidade de se desenvolver indicadores nas avaliações de tecnologias devido à carga de
mais específicos ao contexto dos países em trabalho mental e prático a que está submeti-
desenvolvimento e com metas mais coletivas. do o usuário quando opera fisicamente um
Na avaliação interna e no monitora- sistema de TIC – por exemplo, o número de
mento das atitudes e percepções dos estudan- teclas digitadas para completar uma determina-
tes juntamente com a avaliação do desempenho da ação; o montante de informação memoriza-
da equipe, os estudos têm utilizado estratégi- da necessária para realizar uma operação ou
as quantitativas (por exemeplo, inquérito) ou recuperar uma informação; dificuldade para
qualitativas (entrevista ou grupos focais) com realização de correções nos dados existentes. Os
questionários estruturados, semi-estruturados e aspectos cognitivos (compatibilidade de um sis-
roteiros para caracterizar a satisfação do usu- tema TIC com os processos cognitivos reais
ário, a participação e interação e as opiniões e envolvidos na capacidade do usuário de realizar
atitudes com respeito ao uso das tecnologias. uma atividade) e de funcionalidade (adequação
Considerados como um fator crítico no suces- de um sistema de TIC dentro dos processos de
so da aprendizagem baseada na tecnologia, os trabalho da organização) são também elementos
níveis de interação podem ser analisados sob as importantes na avaliação ergonômica.
perspectivas aprendiz-aprendiz, aprendiz-tutor, Wentling et al. (2000) vê a informação
aprendiz-conteúdo e aprendiz-interface (Hill et sobre a satisfação do usuário como um compo-
al., 2003). Um destaque especial deve ser dado nente importante da efetividade da aprendiza-
à interação aprendiz-tutor, a retroalimentação do gem online e recomenda a sua coleta porque
tutor às dúvidas do aprendiz e a habilidade desse essas medidas dão subsídios às equipes de
tutor para o desenvolvimento de um alto nível produção e organização do curso, permitem
de presença social, pois essas ações contribuem uma análise discriminada segundo determina-
significativamente para a efetividade instrucional dos subgrupos de alunos e as reações positivas
e a satisfação do usuário, com impactos na ao curso ajudam a ganhar ou a manter o apoio
motivação e aprendizagem. O desenho do cur- organizacional para futuras capacitações. Além
rículo, o ambiente de aprendizagem e a interface disso, a aquisição de conhecimento no processo
de aprendizagem são itens a serem considerados de aprendizagem está baseada nas expectativas
nas avaliações internas. A análise do desenho dos alunos – mais/menos útil no processo de
curricular deve contemplar os aspectos relativos aprendizagem, no alcance ou não dos objetivos
à organização dos conteúdos, à vinculação en- do curso e os fatores associados a isso, a rele-
tre atividades prescritas e os temas abordados vância e aplicação do que foi aprendido, ao


desempenho nos exames e testes, o tempo para às instituições convencionais, apresentam menor
completude do curso. custo por estudante, porém o custo-efetividade
Vale ressaltar que no tocante à adequa- em termos de custos por graduado é menor do
ção da tecnologia aos usuários, os profissionais que seria esperado devido à baixa taxa de con-
que desenvolvem e implementam ambientes clusão e ao maior tempo médio de estudo.
virtuais de aprendizagem se defrontam com Na avaliação externa com abordagem
desafios similares aos enfrentados pelos cons- dos coordenadores e promotores (stakeholders),
trutores de sistemas de TIC. Esses desafios dios objetos de estudo são a variedade de níveis,
zem respeito à configuração de um ambiente os conflitos de interesses e o envolvimento dos
de aprendizagem segundo um modelo pedagó- responsáveis pelos cursos dentro da proposta
gico associado a uma determinada concepção de EaD digital. O quinto tipo engloba outros
de educação, à construção de um sistema ten- métodos e abordagens de avaliação, tais como
do em mente um usuário-prototípico, que pode a seleção e o uso de mídias adequadas à EaD
corresponder ou não ao estilo cognitivo e de digital; avaliação da qualidade para garantia de
aprendizagem, ao padrão de uso do sistema e disponibilidade de acesso, igualdade de opor-
às necessidades dos usuários atuais ou para tunidades, relevância e adequação dos cursos e
situações de aprendizagem que têm lugar em dos materiais; análise dos escores dos aprendi-
contextos diversificados, rapidamente modificáveis zes, taxas de conclusão ou evasão. Outras es-
e com resultados incertos. Mesmo em um ambiente tratégias empregadas na avaliação de EaD digi-
de aprendizagem cuidadosamente elaborado, as tal são a certificação ISO; auditorias; análise de
percepções dos aprendizes podem não ser compa- parceiros; revisão de especialistas; análise de
tíveis com as intenções dos formuladores do am- impacto e investigações psicológicas em comu-
biente. Nos ambientes virtuais de aprendizagem, a nicações mediadas por computador em ambien-
causa dessa incompatibilidade é associada à tes virtuais, que estão relacionadas à efetividade
contraposição, por um lado, entre o conhecimen- ou aos processos de grupo.
to relacionado às teorias de aprendizagem, os Freqüentemente empregado na avaliação
princípios de desenho instrucional e a pesquisa na da aprendizagem em programas de treinamen-
aprendizagem dos estudantes de nível superior e, to empresarial, o modelo de quatro níveis de
do outro lado, ao corpo de conhecimento relati- Kirkpatrick (1998) tem sido utilizado na avali-
vo ao uso das tecnologias de aprendizagem online. ação da aprendizagem em ambientes virtuais de
O terceiro tipo de avaliação, externa com aprendizagem (Dixon, 2001), particularmente
enfoque no ambiente sociocultural, tem como nas experiências de eLearning. No nível 1 (re-
objetivo a identificação da formação de uma ação), que mede a satisfação do aluno com os
rede interinstitucional de recursos intelectuais e distintos aspectos do curso, o aluno deve ser
físicos e a participação de agentes locais na inquirido com perguntas que possibilitem deter-
constituição de comunidades de aprendizagem minar se as suas expectativas foram alcançadas,
vinculadas a canais de comunicação e interação. se o que foi aprendido no curso é importante
Esse tipo de avaliação contempla análises de para o seu trabalho e se o instrutor foi um
custo-benefício e custo-efetividade em que se facilitador efetivo para a aprendizagem. A im-
comparam as experiência de EaD com métodos portância dessa avaliação deve-se à reação dos
tradicionais, com diferentes definições e perspec- estudantes que pode influenciar a transferência
tivas de custo e benefício, identificação dos do que aprenderam para o seu trabalho e o
custos ocultos e estimativa de modelos de cál- interesse dos seus colegas em participarem de
culo que podem influenciar os resultados dos treinamentos futuros. Na avaliação do nível 1
estudos. Valcke e Leeuw (2000) afirmam que as de um curso online , podem ser empregados
instituições de EaD digital, quando comparadas questionários online, votação dos conteúdos do


curso pelos estudantes, discussão na internet Dois aspectos significativos da avaliação
sobre os materiais e métodos do curso, comen- de cursos online – a avaliação da aprendiza-
tários anônimos depositados em uma caixa de gem e a avaliação do desempenho dos partici-
sugestão virtual ou remetidos por correio ele- pantes – são cotejados no modelo proposto
trônico aos tutores e coordenadores ao longo por Benigno e Trentino (2000). O nível 1 (re-
do curso. No nível 2 (aprendizagem), busca-se ação e ação planejada) corresponde às fases de
avaliar, por meio de pré e pós-testes objetivos avaliação intermediária e final do curso e tem
e pareados, as competências estipuladas pelo o intuito de conhecer a satisfação dos partici-
curso, se a aprendizagem teve lugar e se as pantes e como eles pretendem aplicar o que foi
metas do curso foram atingidas. Nos ambientes aprendido no curso. O nível 2 (aprendizagem)
virtuais de aprendizagem, essa avaliação pode mede o que o participante aprendeu por meio
ser realizada com o uso de testes, simulações e de testes, ensaios individuais, atividades práti-
jogos que devem ser incluídos como materiais cas, simulações e desenvolvimento de projetos.
requeridos do curso. A análise de cada um dos O nível 3 (aplicação no local de trabalho) é reali-
itens do teste pode apontar onde houve ou não zado após o término do curso. Os benefícios gan-
uma mudança de conhecimento ou atitude. A hos pela organização corresponderiam ao quarto
avaliação de nível 3 (aplicação), realizada em nível e podem ser vistos de diferentes ângulos –
um período posterior ao término do curso, econômicos, na satisfação do usuário de um ser-
determina em que extensão os novos conheci- viço, nos custos da produção. Entretanto, esses
mentos, habilidades e atitudes aprendidos no autores destacam que os níveis de satisfação de-
curso foram transferidos para o trabalho e iden- tectados não garantem que o conhecimento e as
tifica as questões que poderiam estar impedin- habilidades ensinados tenham sido realmente
do essa transferência. Benigno e Trentin aprendidos nem tampouco os resultados positivos
(2000) assinalam que esse nível da avaliação é no nível da aprendizagem asseguram que os par-
crucial quando os conteúdos do curso são de ticipantes sejam capazes de aplicar corretamente o
natureza metodológica, uma vez que as avali- que eles aprenderam.
ações feitas em períodos anteriores apreendem
apenas o nível de compreensão e não a capa- Métodos de avaliação de
cidade de transferir a aprendizagem para o ambientes virtuais de
local de trabalho. As razões para que o conhe- aprendizagem
cimento aprendido não seja aplicado podem
ser devidas ao esquecimento, a falhas na apli- Na avaliação de ambientes virtuais de
cação, a falta de incentivo ou oportunidade aprendizagem, é necessário dispor de dados
para utilizá-lo. Nos cursos online, a avaliação de sobre as características individuais dos partici-
nível 3 pode tomar a forma de observações, pantes, do ambiente de aprendizagem, da par-
opiniões de futuros instrutores ou registros de ticipação, da comunicação, dos materiais e da
desempenho. O nível 4 (resultado) mede os re- tecnologia utilizados (Benigno; Trentin, 2000).
sultados do treinamento, tais como retorno do O uso de questionários é provavelmente o método
investimento, melhoria organizacional, redução mais amplamente utilizado nos diversos tipos de
do absenteísmo e melhoria da motivação. Nos avaliação de cursos online. Eles podem ser apli-
níveis 3 e 4, Kirkpatrick (1998) recomenda o cados no momento da matrícula para obter os
uso de grupos de comparação, o controle dos dados sobre as características sociodemográficas
fatores ambientais, a avaliação antes e depois dos alunos, as experiências e os conhecimentos
do curso e em períodos regulares, uma vez que prévios adquiridos nos assuntos cobertos pelo
as mudanças podem ocorrer em períodos dis- curso, experiência prévia em cursos a distância e/
tintos. ou online, razões para se matricular, expectati-


vas com respeito ao curso, condições do ambien- quantitativa da participação dos estudantes no
te de aprendizagem (logística) e conhecimento em ambiente virtual de aprendizagem pode limitar-
tecnologia de informação e comunicação. Um dos se à constatação de quais exercícios foram re-
achados mais importantes desse questionário de alizados e as notas obtidas ou estender-se à
entrada é a informação sobre natureza do ambien- avaliação das mensagens trocadas e aos níveis
te de aprendizagem onde o estudante participará de participação, que podem ser mensurados
no curso a distância, pois dá ao tutor uma imagem por meio de técnicas sociométricas – por exem-
do cenário físico onde ocorre essa aprendizagem. plo: o índice de participação e o índice de
O questionário aplicado no final do cur- centralidade (Benigno; Trentin, 2000). A análise
so aborda as questões relativas a conteúdos, qualitativa dessa participação deve ir além da
abordagem educacional adotada, materiais usa- simples verificação (sim/não) ou do modo
dos, aspectos organizacionais (logística) dos como ele lidou com os principais tópicos em
alunos, aspectos técnicos relativos ao uso da uma dada unidade do curso online para incluir
Internet e de outras tecnologias e o desempenho a observação geral do desempenho do grupo
do tutor. As respostas podem ser obtidas por na aprendizagem para alcançar uma interação
meio de questões abertas e fechadas, escalas de construtiva. Além das técnicas específicas de
pontuação (Likert ou smile sheets ), listas de análise de conteúdo, Benigno e Trentin (2000)
checagem ou uma combinação de diversos es- sugerem um instrumento menos rigorosamen-
tilos e as respostas detalham os principais aspec- te científico, mas prático e fácil para uso pelos
tos que influenciam a satisfação do usuário. tutores – o grid qualitativo. Quatro elementos
Os questionários podem ser aplicados são considerados nessa ferramenta: o número
presencialmente, enviados pelo correio, preen- de mensagens enviadas por cada estudante, as
chidos online ou por telefone e apresentam as características de interatividade das mensagens,
seguintes vantagens: facilidade de codificação a extensão na qual a mensagem cobre os tópi-
das respostas fechadas, rapidez na coleta dos cos que os peritos do curso identificaram como
dados, uso de grandes amostras, menor custo significativos, e a profundidade (granularidade)
de administração e processamento, uso de em que os tópicos foram explorados. Os dois
abordagens padronizadas e taxas de retorno primeiros elementos cobrem a qualidade da
mais altas (Dixon, 2001). As principais desvan- participação do ponto de vista da presença e
tagens são o atraso ou vieses de memória que interação com outros estudantes, e os dois
podem distorcer os dados, má interpretação por últimos abordam os conteúdos estudados, sen-
problemas de desenho das questões, dificulda- do necessária uma compilação, pelos especia-
des de processamento e análise de questões listas de cada área, de uma lista de tópicos
abertas, recusa na resposta ao questionário e relevantes na análise do conteúdo. A participa-
extensão do questionário que pode torná-lo ção dos alunos no curso também pode ser
cansativo, aborrecido e comprometer a qualida- avaliada com a aplicação de um questionário
de das respostas. final que aborde questões relativas à interação
Além dos fatores relacionados ao contexto do aluno com o tutor e com outros estudantes.
físico e conhecimentos/experiências prévios, ou- As estratégias de avaliação qualitativa na
tros elementos do ambiente de aprendizagem educação caracterizam-se em geral pela coleta
influenciam a aquisição de novos conhecimen- de dados descritivos por meio do contato dire-
tos e habilidades e podem servir como variáveis to e prolongado do pesquisador com o ambi-
preditoras no estabelecimento da relação entre ente e a situação estudada, com uma ênfase
o ambiente em si e os resultados cognitivos e maior nos processos do que no produto e uma
afetivos obtidos, tais como a interação e comu- preocupação em retratar a situação a partir da
nicação entre os participantes. A avaliação perspectiva dos participantes (Lüdke; André,


1986). Para Moehr (2002), a abordagem mais sos online . Os grupos focais são entrevistas
adequada para o contexto de avaliação de um sis- estruturadas de grupo, conduzidas por um
tema de informação e comunicação é a etno- facilitador, nos quais as pessoas compartilham
gráfica, que consiste na identificação de temas e suas visões em um espectro de questões. Os
perguntas baseadas em observações e investiga- grupos focais combinam elementos de entrevis-
ções iniciais, desenvolvidas iterativamente, com ta e observação participante, e a idéia por
maior detalhamento e ajustes. Dois pressupostos detrás dessa técnica é a de que os processos
embasam a pesquisa etnográfica: a hipótese de interação do grupo ajudam os participantes
naturalista-ecológica que destaca a influência a explorar e quantificar suas visões por vias que
do contexto no comportamento humano e a seriam pouco acessíveis em uma entrevista in-
hipótese qualitativo-fenomenológica que vincu- dividual (Mahoney, 1997; Pope; Mays, 2000).
la a compreensão do comportamento humano Robley et al. (2004) descrevem a avaliação de
ao quadro referencial dentro do qual os indiví- um curso de enfermagem online com o uso de
duos interpretam seus sentimentos, pensamen- grupos focais e da fenomenologia hermenêutica
tos e ações. Os critérios para utilização da abor- para análise das narrativas dos participantes. A
dagem etnográfica ressaltam que o problema teoria hermenêutica vê a compreensão como
inicial da pesquisa deve ser desenvolvido pelo processo dinâmico de construção de significa-
pesquisador no trabalho de campo com a co- do, um desenvolvimento por meio de um mo-
leta de dados primários por meio de observa- vimento contínuo entre o todo e as partes em
ção direta e entrevistas com informantes, com que o significado é modificado à medida que
enfoque naquilo que é observável, evitando mais relações são estabelecidas (Hill et al .,
abstrações e generalizações precoces e fazen- 2003). Desse modo, no estudo de Robley et al.
do do senso comum um tópico e não apenas (2004), a análise das narrativas dos alunos foi
um recurso tácito. A avaliação de ambientes de realizada por meio da leitura e interpretação, de
aprendizagem online por meio da abordagem maneira iterativa, para a identificação de sete
etnográfica, de acordo com Jones (1998), revela grandes temas que representavam a experiên-
os processos dinâmicos que orientam os seus usu- cia dos estudantes.
ários na construção do contexto de suas ações e A realização de grupos focais online ,
comunicações e no uso dos recursos técnicos e apesar de ser uma estratégia pouco utilizada no
pedagógicos desses sistemas educativos. meio acadêmico, apresenta as vantagens de
O estudo de caso, segundo Lüdke e maior congruência com o ambiente sob estudo,
André (1986), pode variar seu objeto, do espe- maior facilidade de comunicação entre os par-
cífico ao abstrato e complexo, portando ao ticipantes, maior igualdade de participação na
mesmo tempo semelhanças e singularidades. As discussão, incluindo os estudantes com restri-
descobertas do estudo se dão à medida que a ções de distância e tempo, anonimato dos
investigação avança e se refina, sustentadas por participantes, economia de custos e habilidade
uma interpretação contextualizada da realidade, para recrutar populações diversas e abordar
por meio de uma variedade de fontes de infor- temas controversos (Burton; Goldsmith, 2002).
mação que representam pontos de vista diver- As desvantagens dos grupos focais online esta-
gentes ou conflitantes, que revelam a experiên- riam relacionadas à perda de recursos não-ver-
cia e permitem generalizações naturalísticas. bais/verbais/paraverbais durante a comunica-
As entrevistas de grupo focal têm sido ção, problemas de proteção da privacidade da
empregadas nas avaliações de ambientes virtuais discussão, alta taxa de não-comparecimento
de aprendizagem como uma técnica para cole- entre os participantes, redução no número de
ta de dados qualitativos sobre percepções, palavras usadas pelos participantes de grupos
crenças, atitudes e idéias dos usuários de cur- focais síncronos quando comparados aos grupos


focais presenciais e assíncronos e à sub-repre- (2003) realizaram um chat com alunos sobre
sentação da população geral, pois somente são um texto selecionado em que foram definidas
incluídos aqueles que possuem conexão com a as questões a serem abordadas e o tempo
internet. Oringderff (2004) recomenda aos pes- médio de discussão para cada questão. A sua
quisadores interessados em desenvolver grupos análise, por meio do arquivo de log , serviu
focais online que critérios de seleção, procedi- como fonte material para avaliação da compre-
mentos e limitação do tempo a serem seguidos ensão dos conceitos expostos pelo referido
pelo moderador e os participantes devem ser texto e sua aplicação na prática. Os alunos
bem estabelecidos ao longo da duração do gru- também foram avaliados sobre a experiência de
po focal e que os participantes devem sentir-se participar do chat a partir das respostas a uma
confortáveis em um meio eletrônico. mensagem de correio. Nessa mensagem, os alu-
Na avaliação da aprendizagem em ambi- nos foram inquiridos sobre as dificuldades de
entes virtuais, os métodos utilizados podem estar expressar as idéias, como se sentiam ao conver-
relacionados à modalidade de avaliação (Benson, sar em um evento virtual e como eles compa-
2003). A avaliação diagnóstica, cuja atividade ravam a avaliação em um chat com uma ava-
antecede a formação e permite um ajuste tanto liação tradicional. Os pontos positivos apontados
do programa aos conhecimentos e às competên- foram a possibilidade de desenvolver a habilida-
cias atuais dos aprendizes quanto destes em rede da escrita na expressão de idéias coerentes e
lação aos programas de formação, pode ser rea- a interação que permitiu a troca de informação e
lizada por meio de inquéritos eletrônicos (web a construção de uma conclusão coletiva enquanto
surveys) que abordam os aspectos relacionados às que as interrupções provocadas por outros cole-
expectativas dos alunos, seus estilos de aprendi- gas ou por problemas de conexão à internet são
zagem, abordagens de estudo e medidas de assinaladas como pontos negativos. A avaliação
auto-eficácia computacional. da discussão virtual assíncrona (lista de discussão,
A avaliação formativa, que aponta a ade- fórum) é reveladora de níveis de aprendizagem de
quação entre os objetivos e os processos de apren- alta-ordem porque provê a oportunidade para os
dizagem, o grau assimilação dos conceitos pelos aprendizes lerem as respostas dos seus colegas,
alunos, sua capacidade de avaliação crítica e apli- prepararem uma resposta mais elaborada e a
cação à realidade, pode ser feita por meio de ati- postarem posteriormente.
vidades reflexivas, uso de ferramentas síncronas e A técnica de mapeamento de conceitos
assíncronas, mapeamento conceitual e criação de permite que os alunos diagramem sua compre-
portifólios. Além da análise tradicional de res- ensão estrutural de idéias e delineie a relação
postas selecionadas (múltipla escolha, falso-ver- entre os componentes, assinalando para o tu-
dadeira e pareamento de questões) e de respos- tor as mudanças na compreensão e os pontos
tas construídas (preenchimento de lacunas), a que requerem uma discussão mais aprofundada.
retroalimentação informal dos estudantes medi- A avaliação de portifólio, considerado como
ante respostas resumidas dos principais pontos uma coleção intencional dos trabalhos realiza-
da lição pode fornecer aos instrutores indica- dos pelo aprendiz ao longo de um período de
ções para mudanças estruturais no curso. tempo, fornece uma ferramenta que integra a
O uso da ferramenta síncrona de bate- aprendizagem à avaliação e dá pistas ao aluno
papo (chat) permite que se avalie o aluno tan- e ao avaliador acerca da aquisição do conhe-
to na capacidade de resposta imediata a ques- cimento nas áreas cobertas pelo portifólio. Ele
tões levantadas pelo tutor e colegas quanto no tem um caráter dinâmico e interativo, colabo-
acompanhamento do desenvolvimento de habi- rando para que o professor e o estudante atu-
lidade de síntese, análise, avaliação e senso em conjuntamente na avaliação do desenvolvi-
crítico do aluno. Zaina, Bressan e Ruggiero mento e das conquistas do aprendiz. Dochy e


Segers (2001) classificam os portifólios em: (i) dos de avaliação em ambientes complexos de
exemplar – coleção dos melhores e mais represen- aprendizagem dizem respeito ao tipo de apren-
tativos trabalhos ou produtos produzidos ao lon- dizagem e seus sinais observáveis; ao modo de
go de um dado período de tempo; (ii) holístico ou observação; às atividades e interações apoiadas
de processo – exemplos do desenvolvimento e pelo sistema e como elas contribuem para a
progresso do aluno; (iii) combinado – uma com- aprendizagem; às possíveis fontes de informa-
binação dos dois anteriores; (iv) produto – consiste ção utilizadas; aos métodos de coleta de dados
apenas do produto do estudante. Otsuka e Rocha que serão empregados; e aos marcos teóricos
(2002) destacam o uso de tecnologias de agente que demarcarão as interpretações do estudo.
de interface e mineração de dados como recursos Em qualquer cenário de avaliação, existem
empregados para avaliação formativa alternativa. muitas questões potenciais a serem abordadas
A avaliação somativa tem função classifi- e o pesquisador deve ter em mente que as
catória e é realizada para saber se os alunos al- perguntas modelam, mas não determinam total-
cançaram os níveis de aprendizagem previamen- mente o que é respondido. Também existem
te estabelecidos. Na avaliação somativa online, diversas maneiras de se formular as perguntas,
as técnicas utilizadas são a análise das respos- com suas vantagens e desvantagens, porém não
tas aos questionários de satisfação do usuário existe um consenso sobre o que constitui o
(smile sheets); a comparação entre as respostas melhor conjunto de perguntas ou algo como
aos testes feitos antes e após o curso; análise um estudo perfeito. Face à diversidade de estra-
de artigos, documentos ou relatórios de traba- tégias metodológicas e suas respectivas vanta-
lhos de campo escritos individualmente ou em gens e limitações, o pesquisador deve estar atento
grupo; e a auto-avaliação, mais comum nas aos interesses e às expectativas dos grupos envol-
avaliações em ambientes colaborativos e partici- vidos e aos aspectos priorizados para a avaliação
pativos. A partir das opiniões dos alunos sobre de um ambiente virtual de aprendizagem.
conteúdos, atividades, atuação do tutor e rele-
vância dos conhecimentos para aplicação no Conclusão
ambiente de trabalho, dispõe-se de material que
orientará as modificações tanto no conteúdo Na definição da avaliação de um curso em
quanto na estratégia pedagógica. Além disso, um ambiente virtual de aprendizagem, a escolha
os resultados obtidos na avaliação refletirão nas do tipo de abordagem depende, em grande me-
atividades relacionadas ao desenho instrucional, dida, dos pressupostos subjacentes à proposta
pois os resultados de um informam as ativida- educacional e dos interesses dos grupos envolvi-
des do outro e, desse modo, o desenho e a dos. Em face de interesses, objetivos e ambientes
implementação da educação online podem ser diversificados e complexos, são necessários estu-
continuamente melhorados para atender às ne- dos que avaliem quais as propostas pedagógicas
cessidades de uma comunidade de aprendiza- que são adequadas às distintas necessidades dos
gem em mudança contínua. Embora a avaliação provedores e usuários, tomando como foco as
somativa em ambientes virtuais restrinja-se, na potencialidades e limitações dos recursos tecnoló-
maioria das vezes, à análise da pontuação ob- gicos; a compatibilidade entre as competências,
tida para aprovação, a disponibilidade de regis- estratégias e habilidades dos aprendizes e as
tros digitais das atividades dos alunos realiza- demandas de aprendizagem do curso online; a
das ao longo do curso e das avaliações dos participação e interação do aluno com o ambien-
tutores abre possibilidades para a aplicação de te, colegas e tutores; seu desempenho ao longo
métodos de análise qualitativos. do curso; e os resultados alcançados. É necessá-
A despeito da abordagem de estudo, rio que sejam discutidas e implementadas, no âm-
algumas questões importantes sobre os méto- bito das instituições promotoras dos cursos de


EaD, metodologias de avaliação que contemplem quais os critérios estão sendo adotados para a
as especificidades das distintas modalidades de introdução de novidades tecnológicas nos pro-
aprendizagem a distância e forneçam subsídios cessos de ensino.
para revisão e adequação dos cursos. Mais impor- Face às várias possibilidades metodoló-
tante, a avaliação das experiências tecnológicas gicas apresentadas, o pesquisador deve ter em
na educação deve nos auxiliar a responder às mente que a avaliação é um processo empírico de
questões sobre a significância, do ponto de vista uma atividade vinculada ao serviço, modelada
da formação do aluno, da aprendizagem medi- pelos recursos disponíveis e com dados de formas
ada pelas novas tecnologias de comunicação, se e tamanhos diversos. Portanto, a metodologia
os recursos aplicados na EaD estão contribuin- mais pertinente para a avaliação de um curso
do para uma melhoria real dos mecanismos de online será aquela que se adequar ao contexto e
assimilação e acomodação dos conhecimentos e às condições do curso e da investigação.

Referências bibliográficas

ALMENARA, J. C. Avaliar para melhorar: meios e materiais de ensino. In: SANCHO, J. M. (Org.). Para uma tecnologia educacional
educacional.
Porto Alegre: ArtMed, 1998. p. 257-284.

AMMENWERTH, E. et al. Evaluation of health information systems – problems and challenges. International Journal of Medical
Informatics v. 71, p.125-35, 2003a.
Informatics,
ormatics

AMMENWERTH, E.; ILLER, C.; MANSMANN, U. Can evaluation studies benefit from triangulation? International Journal of Medical
Informatics v. 70, p. 237-48, 2003b.
Informatics,
ormatics

BARRETO, R. G. Tecnologia e educação: trabalho e formação docente. Educação & Sociedade, n. 89, p.1181-1201, 2004.

BELLONI, M. L. Ensaio sobre a educação a distância no Brasil. Educação & Sociedade n. 78, p.117-42, 2002.
Sociedade,

_____. Educação a distância 3 ed. Campinas: Autores Associados, 2003.
distância.

BENIGNO, V.; TRENTIN, G. The evaluation of online courses. Journal of Computer Assisted Learning v.16, p. 59-70, 2000.
Learning,

BENSON, A. D. Assessing participant learning in online environments. New Directions for Adult and Continuing Education
Education,
n.100, p. 69-78, 2003.

BRENDER, J. Trends in assessment of IT-based solutions in healthcare and recommendation for the future. International Journal
International
of Medical Informatics v. 52, p. 217-27, 1998.
Informatics,
ormatics

BURTON, L.; GOLDSMITH, D. The medium is the message using online focus group to study online learning. New Britain:
message:
Connecticut Distance Learning Consortium, 2002.

CARVALHO, N. M.; MISOCZKY, M. C. A. Potencialidades da aprendizagem virtual: uma reflexão a partir da experiência do curso de
planejamento estratégico em saúde. In: CARVALHO, N. M.; MISOCZKY, M. C. A.; OLIVO, V. (Orgs.). Educação a distância
distância:
reflexões críticas e experiências em saúde. Porto Alegre: Dacasa, 2001. p. 65-84.

CONTANDRIOPOULOS, A. P. et al. A avaliação na área da Saúde: conceitos e métodos. In: HARTZ, Z. M. A. (Org.). Avaliação em Saúde
Saúde:
dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora FIOCRUZ, 1997. p. 29-48.

DIXON, J. Evaluation tools for flexible delivery (workshop version). Melbourne: TAFE frontiers, 2001.
Evaluation for flexible delivery

DOCHY, F.; SEGERS, M. Using information and communication technology (ICT) in tomorrow’s universities and using assessment as
a tool for learning by means of ICT. In: VAN DER MOLEN, H. J. (Ed.). Proceedings from a symposium held at the Wenner-Gren
at enner-Gren
Centre, Stockholm London: Portland Press, 2001. p. 67-83.
Stockholm.


DYSON, M. C.; CAMPELLO, S. B. Evaluating virtual learning environments: what are we measuring? Electronic Journal of e-
Learning v. 1, n. 1, p. 11-20, 2003.
Learning,

FRIEDMAN, C. P.; WYATT, J. C. Evaluation methods in medical informatics New York: Springer, 1997.
Evaluation informatics.
ormatics

GIBSON, D. Network-based assessment in education. Contemporary issues in technology and teacher education v. 3, n. 3, p. 310-323,
Contemporary technology tion,
education
2003.

HILL, J. R. et al. Exploring research on internet-based learning: from infrastructure to interactions. In: JONASSEN, D. H. (Ed.).
Handbook of research on educational communications and technology . New York: Macmillan, 2003.
educational communications technology

JONES, C. Evaluating a collaborative online learning environment. Active Learning v. 9, p. 31-35, 1998.
Learning,

_____. Quantitative and qualitative research: conflicting paradigms or perfect partners? In: BANKS, S. et al. (Eds.). Networked
learning 2004: proceedings of the fourth International Conference on Networked Learning 2004 Lancaster: Lancaster
2004.
University and University of Sheffield, 2004.

KAPLAN, B.; DUCHON, D. Combining qualitative and quantitative methods in information systems research: a case study. MIS
Quarterly , v.12, n. 4, p. 571-586, 1998.
Quarterly

KIRKPATRICK, D. L. Evaluating training programs the four levels. 2 ed. San Francisco: Berret-Koehler Publishers, 1998.
Evaluating programs
rams:

LÖFSTED, J. J. et al. Virtualization of higher education in the era of globalization Issues and trends. Stockholm: Institute of
globalization.
International Education of Stockholm University, 2001.

LÜDKE, M.; ANDRÉ, M. Pesquisa em educação abordagens qualitativas. São Paulo: EPU, 1986.
educação:

MAHONEY, C. Common qualitative methods. In: FRECHTLING, J.; SHARP, L. (Eds.). User-friendly handbook for mixed method
User-friendl
-friendly for
evaluations Arlington: National Science Foundation, 1997. Disponível em: <http://www.nsf.gov/pubs/1997/nsf97153/start.htm>
evaluations.
Acesso em: 26 ago. 2004.

MENA, M.; RODRIGUEZ, L. E.; DIEZ, M. L. La educacion a distancia: una propuesta para el diseño de proyectos. In: CARVALHO, N. M.;
MISOCZKY, M. C. A.; OLIVO, V. (Orgs.). Educação a distância reflexões críticas e experiências em saúde. Porto Alegre: Dacasa, 2001.
distância:

MOEHR, J.R. Evaluation: salvation or nemesis of medical informatics? Computers in biology and medicine v. 32, p. 113-25, 2002.
biology medicine,

OLIVER, M. An introduction to the evaluation of learning technology. Educational Technology & Society v. 3, n. 4, 2000.
Educational echnology Society,
Disponível em: <http://ifets.ieee.org/periodical/vol_4_2000/v_4_2000.html> Acesso em: 15 nov. 2004.

ORINGDERFF, J. “My way”: piloting an online focus group. International Journal of Qualitiative Methods v. 3, n. 3, 2004.
International Qualitiative Methods,
Disponível em: <http://www.ualberta.ca/%7Eiiqm/backissues/3_3/3_3toc.html> Acesso em: 23 maio 2005.

OTSUKA, J. L.; ROCHA, H. V. Avaliação formativa em ambientes de EaD. In: Simpósio Brasileiro de Informática na Educação
Informática
(SBIE 2002) 13. Disponível em: <http://teleduc.nied.unicamp.br/pagina/publicacoes/ 17_jh_sbie2002.pdf> Acesso em: 13
2002),
nov. 2004.

PANERAI, R. B.; MOHR, J. P. Evaluación de tecnologias em salud metodologias para paises em desarrollo. Washington:
tecnologias salud:
Organización Panamericana de la Salud, 1989.

PETERS, O. A educação a distância em transição São Leopoldo: Editora Unisinos, 2004.
transição.

PONS, J. P. Visões e conceitos sobre a tecnologia educacional. In: SANCHO, J. M. (Org.). Para uma tecnologia educacional
tecnologia educacional.
Porto Alegre: ArtMed, 1998.

POPE, C.; MAYS, N. Qualitative research in health care London: BMJ, 2000.
Qualitative care.

ROBLEY, L. R. et al. This new house: building knowledge through online learning. Journal of Professional Nursing v. 20, n. 5, p. 333-
Nursing,
343, 2004.


SARTORI, A. S. Educação a distância: novas práticas pedagógicas e as tecnologias da informação e comunicação. Linhas v. 3, n. 2,
Linhas,
p. 123-130, 2002.

STRUCHINER, M.; GIANNELLA, T. R. Formação de profissionais de saúde e educação a distância: elementos fundamentais. In:
CASTRO, J. L. (Org.). PROFAE: educação profissional em saúde e cidadania Brasília: Ministério da Saúde, 2002.
cidadania.

TORREZ, M. N. F. B. Educação a distância e a formação em saúde: nem tanto, nem tão pouco. Trabalho, Educação e Saúde
rabalho, Saúde,
v. 3, n. 1, p. 171-186, 2005.

VALCKE, M. M., LEEUW, F. L. Evaluating digital distance learning programs and activities Washington: World Bank
Evaluating digital programs activities.
Institute, 2000.

WENTLING, T. L. et al. e-Learning – a review of literature Knowledge and Learning Systems Group, University of Illinois at
literature
ture.
Urbana-Champaign, 2000. Disponível em: <http://learning.ncsa.uiuc.edu/papers/elearnlit.pdf > Acesso em: 05 mar. 2005.

WYATT, J. C.; WYATT, S. M. When and how to evaluate health information systems? International Journal of Medical
International
Informatics v. 69, p. 251-259, 2003.
Informatics,
ormatics

ZAINA, L. A. M.; BRESSAN, G.; RUGGIERO, W. V. Interactive chat: an experience in a virtual assessment. In: International
Conference on Engineering and Computer Education, 3. Proceedings São Paulo, 2003, p. 1-6.
, Proceedings.

UNIVERSITY OF WARWICK. CAP e-learning guides Coventry: Center for Academic Pratice, 2004.
guides.

Recebido em 11.12.06
Aprovado em 13.08.07

Josué Laguardia é Assistente de pesquisa do Centro de Informação em Ciência e Tecnologia – CICT. Fundação Oswaldo
Cruz.

Margareth Crisóstomo Portela é pesquisadora do Departamento de Administração e Planejamento em Saúde – DAPS.
Escola Nacional de Saúde Pública – ENSP/FIOCRUZ.

Miguel Murat Vasconcellos é pesquisador do Departamento de Administração e Planejamento em Saúde – DAPS.
Escola Nacional de Saúde Pública – ENSP/FIOCRUZ.


Avaliacao ambientes virtuais

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (19)

Similar a Avaliacao ambientes virtuais

Similar a Avaliacao ambientes virtuais (20)

Avaliacao ambientes virtuais