1. Estudos sobre Avaliação de Escolas:
Análise dos resultados do 1º ciclo de AEE
Projeto PTDC/CPE-CED/116674/2010
Carlos Barreira cabarreira@fpce.uc.pt
Maria da Graça Bidarra gbidarra@fpce.uc.pt
Maria Piedade Vaz-Rebelo pvaz@mat.uc.pt
Valentim Rodrigues Alferes valferes@fpce.uc.pt
Faculdade de Psicologia e de Ciências da Educação da Universidade de
Coimbra
Doctoral Programme Education in the Knowledge
Society – University of Salamanca 23 de Janeiro de 2019
2. Estudos sobre AEE
• Barreira, C., Bidarra, G., & Vaz-Rebelo, M. P. (2011). Avaliação externa de
escolas: Do quadro de referência aos resultados e tendências de um processo
em curso. Revista Portuguesa de Pedagogia, Extra-Série, 81-94.
• Bidarra, M.G., Barreira, C. F. Barreira, Vaz-Rebelo, M.P., & Valferes, V. A.
(2014). Avaliação externa de escolas: Da análise das redundâncias à ponderação
diferencial dos resultados no primeiro ciclo de avaliação. In J. A. Pacheco
(Org.). Avaliação externa de escolas: Quadro teórico/Conceptual (230-246).
Porto: Porto Editora.
3. Objetivo geral
Divulgar alguns estudos realizados
com base nos dados obtidos no 1º
ciclo de avaliação externa de
escolas.
4. Questões de investigação
Qual o desempenho das escolas nos
diferentes domínios do quadro de referência
da AEE?
Quais as principais tendências que nos
revelam os dados obtidos no processo de AEE no
1º ciclo de avaliação?
5. Enquadramento legal
Com a publicação da Lei n.º 31/2002 foi aprovado
o sistema de avaliação da educação e do ensino não
superior.
Este sistema integra duas modalidades de avaliação:
a autoavaliação ou avaliação interna, realizada
por cada escola ou agrupamento de escolas, e a
avaliação externa, da responsabilidade da
administração educativa.
6. Fundamentos e experiências anteriores
nacionais e internacionais
Modelo European Foundation for Quality Management
(EFQM).
Metodologia desenvolvida pela Inspecção de Educação
Escocesa em How Good is Our School, criada em 1991,
revista em 2002 e reeditada em 2007 com o subtítulo
The Journey to Excellence.
Avaliação Integrada das Escolas realizada pela IGE
entre 1999 e 2002.
7. CINCO DOMÍNIOS E RESPECTIVA RELAÇÃO
1. Resultados
2. Prestação do serviço educativo
3. Organização e gestão escolar
4. Liderança
5. Capacidade de auto-regulação e
melhoria da escola
Resultados académicos
1. Como conhece a escola os
resultados dos seus alunos,quais
são e o que faz para garanti-los?
2. Para obter esses resultados,
que serviço educativo presta a
escola,e como o presta?
3. Como se organiza e é gerida a
escola para prestar esse serviço
educativo?
4. Que lideranças tem a escola e
que visão e estratégia está por trás
da organização e gestão?
5. Como garante a escola o
controlo e melhoria deste
processo?
Coimbra
29 de Outubro de 2009
8. Coimbra
29 de Outubro de 2009
Domínios e Factores de Avaliação
4. Liderança
1.1. Sucesso académico
1.2. Participação e desenvolvimento cívico
1.3. Comportamento e disciplina
1.4. Valorização e impacto das
aprendizagens
2. A prestação do serviço educativo
2.1. Articulação e sequencialidade
2.2. Acompanhamento da prática lectiva
em sala de aula
2.3. Diferenciação e apoios
2.4. Abrangência do currículo e valorização
dos saberes e da aprendizagem3. A organização e gestão escolar
3.1. Concepção, planeamento e
desenvolvimento da actividade
3.2. Gestão dos recursos humanos
3.3. Gestão dos recursos materiais e financeiros
3.4. Participação dos pais e outros elementos da
comunidade educativa
3.5. Equidade e justiça
1. Resultados
4.1. Visão e estratégia
4.2. Motivação e empenho
4.3. Abertura à inovação
4.4. Parcerias, protocolos e
projectos
5. Capacidade de auto-regulação e melhoria da Escola/Agrupamento
5.1. Auto-avaliação
5.2. Sustentabilidade do progresso
9. Metodologia da AEE
Equipa de avaliação externa: dois inspetores e um avaliador externo à IGE.
Análise dos documentos estruturantes e de orientação educativa da escola.
Visita à unidade de gestão: dois ou três dias, consoante se trate de uma
escola ou de um agrupamento.
Observação direta
Entrevistas em painel, de vários atores educativos: alunos, pais, docentes,
funcionários,autarcas e outros parceiros.
Elaboração do relatório enviado à escola, que é posteriormente
disponibilizado na página de internet da IGE.
10. Níveis da escala de classificação
As classificações dos domínios e fatores que constituem o quadro
de referência são atribuídas numa escala qualitativa com quatro
níveis:
— Muito Bom
— Bom
— Suficiente
— Insuficiente
A distinção entre estes níveis faz-se tendo em conta:
— O balanço entre o número de pontos fortes e fracos;
— O carácter mais ou menos generalizado das ações e
procedimentos adotados pela unidade de gestão;
— O respetivo impacte na melhoria dos resultados dos alunos.
11. PROGRAMA DE AVALIAÇÃO
Escala de classificação
Muito Bom (MB)
Predominam os pontos fortes, evidenciando uma regulação sistemática, com base em procedimentos explícitos,
generalizados e eficazes. Apesar de alguns aspectos menos conseguidos, a organização mobiliza-se para o
aperfeiçoamento contínuo e a sua acção tem proporcionado um impacto muito forte na melhoria dos resultados
dos alunos.
Bom (B)
Predominam os pontos fortes decorrentes de uma acção intencional e frequente, com base em procedimentos
explícitos e eficazes. As actuações positivas são a norma, mas decorrem muitas vezes do empenho e da
iniciativa individuais. As acções desenvolvidas têm proporcionado um impacto forte na melhoria dos resultados
dos alunos..
Suficiente (S)
Os pontos fortes e os pontos fracos equilibram-se, revelando uma acção com alguns aspectos positivos, mas
pouco explícita e sistemática. As acções de aperfeiçoamento são pouco consistentes ao longo do tempo e
envolvem áreas limitadas da escola. No entanto, essas acções têm um impacto positivo na melhoria dos
resultados dos alunos.
Insuficiente (I)
Os pontos fracos sobrepõem-se aos pontos fortes. A escola não demonstra uma prática coerente e não
desenvolve suficientes acções positivas e coesas. A capacidade interna de melhoria é reduzida, podendo existir
alguns aspectos positivos, mas pouco relevantes para o desempenho global. As acções desenvolvidas têm
proporcionado um impacto limitado na melhoria dos resultados dos alunos..
Coimbra
29 de Outubro de 2009
12. Pareceres do Conselho Nacional de Educação
— Alerta para a existência de uma certa tensão entre as duas
lógicas avaliativas presentes na AEE: a lógica formativa e a
lógica sumativa.
— Refere algumas redundâncias entre alguns domínios e
fatores.
— Aponta para o interesse de uma eventual hierarquização
dos domínios de avaliação e de uma explicitação dos
indicadores de cada fator e a respetiva ponderação.
— Necessidade de reforçar a centralidade dos resultados.
14. Estudo A
Metodologia
Questões de investigação: Qual é o desempenho das escolas
nos diferentes domínios e quais são as principais tendências que
se evidenciam a partir da análise das classificações por domínios
das escolas avaliadas?
Base de dados
— Relatórios publicados pela IGE sobre a Avaliação Externa de
Escolas, relativos a quatro anos letivos, entre 2006 e 2010
(IGE, 2008, 2009, 2010, 2011). Cf. www.igec.min-edu.pt
o 2006-2007: 100 escolas
o 2007-2008: 273 escolas
o 2008-2009: 287 escolas
o 2009-2010: 300 escolas
15. Estudo A
Metodologia
Procedimentos
— Por conveniência de representação gráfica e de análise da
evolução da classificação nos diferentes domínios, a escala de
classificação nos quatro níveis de Insuficiente, Suficiente, Bom e
Muito Bom, foi convertida numa escala de 1 a 4.
— Em seguida, para cada ano letivo, foi calculada a pontuação de
cada domínio pesando cada valor da escala com a respetiva
percentagem com que o domínio aparece. Por exemplo, para o
ano letivo 2006-2007, o domínio Liderança obtém a pontuação
de (40x4+43x3+16x2+1x1)/100=3.22.
16. Percentagens dos níveis de classificação atribuídos às escolas
por ano letivo em função dos domínios do quadro de referência
17. 1
2
3
4
2006_2007 2007_2008 2008_2009 2009_2010
Classificação
(1-insuf 4-M.Bom)
Ano académico
Resultados
Prestação do serviço educativo
Organização e gestão escolar
Liderança
Capacidade de auto-regulação e melhoria da escola
Evolução das pontuações obtidas nos domínios
18. Classificação dos Domínios
— Predomínio de níveis de classificação positivos em todos os domínios,
correspondentes a Bom e Muito Bom, com exceção do domínio
Capacidade de autorregulação e melhoria da escola.
— Esta tendência não só se manteve, como se tem manifestado de forma
crescente, com exceção do ano de 2007-2008.
— Níveis de classificação mais elevados na Liderança e Organização e
gestão, seguidos de Prestação do Serviço Educativo e Resultados.
— O domínio em que estes níveis são inferiores é o da Capacidade de
autorregulação e melhoria da escola, em que se regista mesmo um
decréscimo das classificações, vindo a atingir-se um valor próximo do
inicial no último ano.
20. Estudo B
Metodologia
Questões da investigação: Quais os fatores mais associados ao respetivo
domínio? Quais os fatores que se constituem como melhores preditores
relativamente às classificações no domínio? Em que medida é possível dar
conta da existência de ponderações implícitas entre os fatores dos respetivos
domínios?
Objetivo: Conhecer o padrão de intercorrelações entre domínios e entre
fatores e domínios.
Base de dados: Este estudo foi efetuado com uma base mais restrita, que
compreendeu 167 escolas da zona centro dos anos letivos de 2007-2008, 2008-
2009 e 2009-2010.
Procedimento: Conversão da escala de 4 níveis (Insuficiente. Suficiente,
Bom, Muito Bom) usada no âmbito da AEE em 1, 2, 3, 4, à semelhança do que
foi feito no estudo 1.
Análise estatística: Análise de correlação/regressão múltipla para cada um
dos domínios, tomando como variável critério a pontuação do domínio e como
variáveis preditoras as pontuações nos fatores.
21. Correlações interdomínios
Domínios Dom 1 Dom 2 Dom 3 Dom 4 Dom 5
Domínio 1: Resultados 1.00 — — — —
Domínio 2: Prestação do Serviço Educativo .66 1.00 — — —
Domínio 3: Organização e Gestão Escolar .44 .38 1.00 — —
Domínio 4: Liderança .54 .47 .61 1.00 —
Domínio 5: Capacidade de Auto-Regulação e Melhoria da Escola .39 .48 .50 .58 1.00
• Os domínios aparecem todos positivamente correlacionados entre si.
• Existem correlações mais elevadas entre os domínios Prestação do
serviço educativo e Resultados, por um lado, e Liderança e
Organização e gestão, por outro, ainda que as restantes correlações
sejam igualmente elevadas.
22. Análise em Componentes Principais (Rotação VARIMAX)
Saturações
Domínios Componente 1 Componente 2
Domínio 3: Organização e Gestão Escolar .84 .18
Domínio 4: Liderança .79 .36
Domínio 5: Capacidade de Auto-Regulação e Melhoria da Escola .77 .27
Domínio 2: Prestação do Serviço Educativo .26 .88
Domínio 1: Resultados .29 .86
Valores Próprios 2.06 1.74
Percentagem de Variabilidade Explicada 41.2 34.8
Esta análise permite-nos fazer uma leitura dos padrões de associação
subjacentes a esta matriz, sendo identificados dois componentes
principais que explicam respetivamente 41.2% e 34.8% da variabilidade.
24. Quais são os fatores que se constituem como melhores
preditores do respetivo domínio?
Ou dito de outro modo, se se tivesse de reduzir os fatores
por domínio, quais se mantinham?
An á l ise da c o rrel a çã o/regressão mú l t ipla
• Va riá vel c rit ério : po n t u açã o do do mín io
• Va riá veis predit o ra s: po n t ua ções n o s f a t o res
3 n íveis de a n á l ise
• Co ef ic iente de c o rrel a ção mú l t ipl a
• Co ef ic iente de c o rrel aç ão simpl es
• D ec o mposição de R 2
26. Hipótese
O quadro de referência dos
avaliadores envolve uma
ponderação diferencial dos
fatores.
Domínio 1: Resultados R = .92 R2
= .85
Fatores r sr2
F1 – Sucesso académico .87 .23
F2 – Participação e desenvolvimento cívico .58 .03
F3 – Comportamento e disciplina .57 .02
F4 - Valorização e impacto das aprendizagens .71 .01
R2
− Σ sr2
= .57
Domínio 2: Prestação do Serviço Educativo R = .84 R2
= .70
Fatores r sr2
F1 – Articulação e sequencialidade .75 .10
F2 – Acompanhamento da prática letiva em sala de aula .63 .01
F3 – Diferenciação e apoios .61 .05
F4 – Abrangência do currículo e valorização dos saberes .59 .03
R2
− Σ sr2
= .51
Domínio 3: Organização e Gestão Escolar R = .89 R2
= .79
Fatores r sr2
F1 – Conceção/planeamento/desenvolvimento da atividade .76 .05
F2 – Gestão dos recursos humanos .73 .04
F3 - Gestão dos recursos materiais e financeiros .63 .03
F4 – Participação dos pais e de outros elementos da
comunidade
.55 .02
F5 – Equidade e justiça .61 .02
R2
− Σ sr2
= .62
Domínio 4: Liderança R = .88 R2
= .78
Fatores r sr2
F1 – Visão e estratégia .77 .07
F2 – Motivação e empenho .70 .08
F3 – Abertura e inovação .63 .02
F4 – Parcerias, protocolos e projetos .66 .03
R2
− Σ sr2
= .58
Domínio 5: Capacidade de Autorregulação e Melhoria da
Escola
R = .90 R2
= .80
Fatores r sr2
F1 - Autoavaliação .85 .17
F2 - Sustentabilidade e progresso .80 .07
R2
− Σ sr2
= .56
27. Domínio 1: Resultados
Fatores
F1 – Sucesso académico
F2 – Participação e desenvolvimento cívico
Domínio 2: Prestação do Serviço Educativo
Fatores
F1 – Articulação e sequencialidade
F3 – Diferenciação e apoios
Domínio 3: Organização e Gestão Escolar
Fatores
F1 – Conceção/planeamento/desenvolvimento da atividade
F2 – Gestão dos recursos humanos
Domínio 4: Liderança
Fatores
F1 – Visão e estratégia
F2 – Motivação e empenho
Domínio 5: Capacidade de Autorregulação e Melhoria da
Escola
Fatores
F1 - Autoavaliação
Hipótese
O quadro de referência dos
avaliadores envolve uma
ponderação diferencial dos
fatores.
28. Ponderação igual para todos
os factores
Ponderação 2 para o 1º
factor e 1 para os restantes.
Reproduz parcialmente as
classificações atribuídas.
Reproduz de forma quase
perfeita as classificações
atribuídas.
Para testar a hipótese da ponderação diferencial dos fatores,
formulámos dois modelos hipotéticos de ponderação
29. Média Aritmética (Ponderacão Igual)
dos Factores do Domínio Resultados
1 2 3 4
4
R R R R
R
+ + +
=
1 2 3 4.25 .25 .25 .25R R R R R= + + +
Conversão das Classificações
nos Factores
Insuficiente → 1
Suficiente → 2
Bom → 3
Muito Bom → 4 Média Aritmética (Ponderação Diferencial)
dos Factores do Domínio Resultados
1 2 3 42
5
R R R R
R
+ + +
=
1 2 3 4.40 .20 .20 .20R R R R R= + + +
Conversão das Médias
nos Domínios
1.00 1.50R≤ < → Insuficiente
1.50 2.50R≤ < → Suficiente
2.50 3.50R≤ < → Bom
3.50 4.00R≤ ≤ → Muito Bom
Cruzamento das Classificações Atribuídas com as Classificações
Esperadas de Acordo com o Modelo de Ponderação Igual
Classificações Esperadas
Insuficiente Suficiente Bom Muito_Bom Total
Classificações
Atribuídas
Insuficiente 0 2 0 0 2
Suficiente 0 24 26 0 50
Bom 0 0 75 16 91
Muito Bom 0 0 0 24 24
Total 0 26 101 40 167
Classificaçõesconvergentes: 123 Escolas (73.7%)
Classificaçõesnão convergentes: 44Escolas (26.3%)
Cruzamento das Classificações Atribuídas com as Classificações
Esperadas de Acordo com o Modelo de Ponderação Diferencial
Classificações Esperadas
Insuficiente Suficiente Bom Muito_Bom Total
Classificações
Atribuídas Insuficiente 0 2 0 0 2
Suficiente 0 49 1 0 50
Bom 0 0 89 2 91
Muito Bom 0 0 0 24 24
Total 0 51 90 26 167
Classificaçõesconvergentes: 162 Escolas (97.0%)
Classificaçõesnão convergentes: 5 Escolas (3.0%)
30. Conclusões
Não existem ponderações explícitas dos fatores e
domínios no quadro de referência da AEE, mas
existem ponderações implícitas no quadro de
referência dos avaliadores.
Os dados obtidos dão algum apoio ao novo
quadro de referência previsto para o novo ciclo de
avaliação, que envolve já uma redução de
domínios e uma redução de fatores.
31. Implicações
É possível:
— reduzir os fatores aos preditores, o que em certa
medida já se verifica no novo quadro de
referência.
— estabelecer um quadro explícito de ponderação e
de cálculo das classificações dos domínios.