1) A pesquisa avaliou como ONGs brasileiras realizam avaliação de seus projetos e programas sociais, mapeando quanto e como é feita a avaliação.
2) A pesquisa identificou que a maioria das ONGs considera a avaliação importante, porém enfrenta desafios como falta de recursos e conhecimento.
3) A pesquisa concluiu que as avaliações são realizadas principalmente por equipes internas e usadas para melhorar projetos, embora a comunicação dos resultados seja limitada.
1. A Avaliação de Programas e Projetos
Sociais de ONGs no Brasil
Relatório de Pesquisa
2. Pesquisa foi desenvolvida no âmbito do Projeto Avaliação, uma
parceria entre Instituto Fonte e Fundação Itaú Social orientada para
o fortalecimento da avaliação de programas e projetos sociais no
Brasil.
O Instituto Paulo Montenegro e o IBOPE Inteligência apoiaram a
realização deste estudo.
2
4. Objetivos
Mapear quanto e como as ONG’s* brasileiras realizam avaliação de
seus projetos e programas sociais
Conhecer motivações, desafios e tendências da avaliação de projetos e
programas sociais no Brasil.
* Nesta pesquisa o “ONG” se refere às organizações da sociedade civil, sem fins lucrativos, que atuam com
projetos sociais.
4
6. Metodologia
Pesquisa Quantitativa por amostragem
Metodologia
Coleta de dados via web, através de aplicação de questionário
estruturado de auto-preenchimento on-line;
Público alvo Organizações privadas sem fins lucrativos com atuação no Brasil
Área Abrangência nacional
Realização
do campo Julho a Setembro de 2009
363 entrevistas realizadas, que cobriu adequadamente todos os
Total de segmentos previamente considerados como fundamentais (porte, região e
entrevistas natureza jurídica), com um número de respostas por segmento que
permitiu uma ponderação pequena, apenas de ajuste, para os resultados.
6
8. Perfil da Amostra
(%)
Região
Norte
Centro Oeste 4%
8%
Nordeste
14%
Sul Sudeste
21% 53%
Base: Amostra (363)
8 Em qual UF ela está sediada?
9. Perfil da Amostra
(%)
Porte em número de colaboradores
de 50 até 99 100 ou mais
4% 5%
de 20 até 49
11%
de 10 até 19
Até 9
17%
63%
Base: Amostra (363)
9 Porte em número de colaboradores
10. Perfil da Amostra
(%)
Tempo de atuação Tempo de atuação
(amostra do estudo) (FASFIL 2005)
Antes de 1980 9 13,1
1981-1990 15 19
1991-2000 40
41,5
2001-2008 36
26,3 *Até 2005
Base: Amostra (363)
Tempo de atuação: Desde que ano sua organização desenvolve seus projetos e
10
ações sociais?
11. Perfil da Amostra
(%)
Tipo de atuação em projetos
Somente
financiadora
2%
Financiadora
e executora
40%
Somente
executora
58%
Base: Amostra (363)
11 21. De que forma a sua organização atua com projetos sociais? (RESPOSTA ÚNICA)
13. Desafios Institucionais
(%)
Captação de recursos 85,4%
Estrutura física 37,7%
Comunicação 35,2%
Relações com governo 33,6%
Mobilização comunitária 33,3%
Planejamento estratégico 30,3%
Avaliação de projetos 28,1%
Formação da equipe 27,6%
Participação em redes 23,7%
Atuação do conselho 20,4%
Análise de contexto sócio-econômico e político 19,1%
Transição de lideranças 18,2%
Planejamento de atividades/ projetos 16,7%
Análise da legislação da área de atuação 14,4%
Relações internas 13,8%
Análise de contexto ambiental 9,5%
Outros 5,8%
Base: Amostra (363)
22. Quais os principais desafios que a organização enfrenta atualmente? (aceita
13 mais de uma resposta).
14. Situação e desafios institucionais
Análise Fatorial & Cluster *
Recursos e Planejamento Mobilização Análise de Gestão
infra-estrutura e avaliação política cenário interna
30% 20% 20% 16% 13%
Captação de Planejamento Relações Análise do
estratégico comunitárias Atuação do
recursos contexto ambiental
conselho
Infra-estrutura Planejamento de Formação da equipe Análise da Transição de
física atividades do Participação em legislação lideranças
Formação projeto redes Participação em Relações
equipe Avaliação Relações com o redes internas
Comunicação governo
* Ver Anexos
Base: Amostra (363)
22. Quais os principais desafios que a organização enfrenta atualmente? (aceita mais de
14
uma resposta).
16. Importância da Avaliação
Maior entre ong’s do NE e N/CO (97%)
(%)
Importância... Menor “OSCIP” (70%)
Menor “Somente Financiadora” (70%)
1 Média
Média
80 5 8 3 1
1 1 9,49
9,49
10 9 8 7 6 5 4 3 2 1
Escala 1 a10
Nota Nota 1 = Pouco importante
10 = Muito Importante
Pretendem realizar avaliações no futuro?
4
Sim
96 Não
Base: Amostra (363)
P2. Para sua organização, você diria que a avaliação de projetos e ações é algo:
P20. Pensando em todas as suas experiências com avaliações de projetos, você tem a
16 intenção de realizar avaliações em projetos futuros?
17. Posturas em relação à avaliação
Análise Fatorial & Cluster
(%) 40
35 33
30
26
25 23
20 18
15
10
5
- 0
Avaliação como desperdício Avaliação como obrigação Avaliação como ferramenta Avaliação como ferramenta
⊕
de tempo/recurso formal e burocrática de promoção dos projetos estratégica
Não existe conhecimento É uma obrigação Resultados Ajuda a melhorar a
ou competências para imposta pelos utilizados para atrair qualidade dos serviços
realizar avaliações de financiadores financiadores e Os resultados devem ser
qualidade. É uma formalidade recursos. utilizados para tomar
A quantia de tempo e Não consegue decisões
dinheiro investidos não É feita para que as Ajuda a fazer escolhas
refletir os resultados
compensam. organizações e estratégicas
do trabalho realizado
projetos se
Os recursos investidos por uma organização É parte essencial dos
promovam
desviam o projeto de seu processos de planejamento
positivamente
foco principal. estratégico
17
Base: Amostra (363)
18. Habilidades do avaliador
Educador
• Gera espaços de reflexão e
aprendizagem
• Garante a comunicação dos
resultados
Juiz – Especialista Técnico-cientista
•Conhece profundamente a área •Sabe metodologia
do projeto
•Sabe construir
•Emite pareceres e instrumentos
recomendações
* Adaptação realizada a partir da proposta de Guba, E. G. & Lincoln, Y. S.
(1989). Fourth Generation Evaluation. Pp. 21-48, Sage – Thounsand Oaks,
18 London and New Delhi.
19. Papel do Avaliador
Análise Fatorial & Cluster
Foco no resultado Foco no processo
57% 43%
Tem profundo conhecimento Envolve as pessoas na
sobre o tema do projeto discussão da avaliação
Emite julgamentos sobre o Constrói instrumentos para
projeto. levantar informações
Garante a comunicação dos Descreve como determinados
resultados. elementos do projeto causam
Conhece método científico. geram seus resultados.
Dá respostas Gera espaços de reflexão e
aprendizagem
Base: Amostra (363)
4. A seguir temos uma série de frases sobre o papel do (a) avaliador (a) e gostaríamos que você apontasse o
quanto concorda ou discorda com cada uma delas. Para isto pense em uma escala de 1 até 10, onde 1 significa
que você “Discorda totalmente” da frase e 10 significa que “Concorda totalmente” com a frase. Você pode
também utilizar qualquer número entre 1 e 10 para expressar a sua opinião.
19
20. Formação em avaliação
Sim
45
55
Não
Base: Amostra (363)
P19. Você ou algum outro colaborador regular da organização tem ou fez algum tipo de
20 formação para avaliação de projetos?
23. Projetos Avaliados
As organizações que consideraram já ter avaliado algum de seus projetos
(91% da amostra) foram solicitadas a escolher até 2 projetos avaliados e
responder esse bloco sobre os mesmos.
Assim, a base de análise nesse bloco passa a ser o total de projetos
avaliados escolhidos pelas organizações da amostra.
Foram 574 projetos em 363 organizações.
23
24. Realização de avaliações
(%)
Realiza avaliação? Razões para não realizar
Não tínhamos equipe 75
Falta de conhecimento sobre avaliação 68
9 Sim Não tínhamos recursos financeiros 63
91 Falta de tempo para dedicar á avaliação 34
Não
Somos uma equipe/ não há necessidade 23
Não encontramos um avaliador para o
trabalho 17
Não acredita na utilidade de uma avaliação
8
Resistência da equipe
7
Ind. Mult
Ind. Mult
Não desenvolvemos projetos próprios
6 3,12
3,12
Confiam nas organizações que realizam o
projeto 2
Base: Amostra (363)
Base: Não realizou
nenhuma avaliação (33)
P6. - Em relação aos últimos 5 anos, você considera que a sua organização fez avaliação de seus
24 programas ou projetos? P6a. Por quais motivos sua organização não realizou nenhuma avaliação dos
projetos nos últimos 5 anos?
25. Demanda e Financiamento
(%)
Necessidade da avaliação Financiamento da avaliação
Utilizamos os recursos internos
43
da organização
A própria
54
organização
O recurso para avaliação estava
34
incluído no orçamento do projeto
Ambos 35
Não houve custos para as
22
atividades de avaliação
Órgão
9
financiador
Recebemos doações específicas
5
para a avaliação
Recursos Municipais e Federais 1
Base: Fez avaliação (574)
P7. Agora vamos pensar sobre como surgiu a necessidade das avaliações em cada um destes projetos.Quem solicitou ou sugeriu a realização
25
26. Equipe de avaliação
(%)
Quem realizou a avaliação
Avaliador da
equipe do 85
projeto
Avaliador
22
externo
Avaliador
42
independente
Avaliador da
equipe da Universidade/
19 Instituto de
organização 24
financiadora pesquisa
ligado à
ONG 17
Empresa 17
Base: Fez avaliação com avaliador externo (130)
Base: Fez avaliação (574)
P10. Quem realizou a avaliação dos projetos? Voce pode selecionar mais de um tipo de
avaliador, caso tenha ocorrido para algum dos projetos
P10a. De que tipo?
26
27. Utilidade da avaliação
Ajudou a fazer mudanças no projeto 80
Ajudou a estabelecer objetivos e metas para o
74
projeto
Para desenvolver novos projetos 69
Orientou decisões sobre a equipe 69
Apoiou o planejamento estratégico do projeto
69
ou organização
Para tomar decisões financeiras 59
Para reportar aos financiadores 57
Para reportar ao conselho gestor da
54
organização
Ajudou na comunicação e marketing do projeto
48
e/ ou organização
Ajudou a conseguir novos financiadores 39
Ajudou a influenciar alguma decisão relacionada
37
a uma política pública
Ajudou a decisão de descontinuar o projeto 10
Não usamos os resultados das avaliações 2
Base: Fez avaliação (574)
Índ. Mult.
Índ. Mult.
P14. Qual ou quais dessas alternativas refletem o uso que foi feito dos resultados da avaliação em cada um dos projetos?
6,68
6,68
27
28. Comunicação dos resultados
(%)
Comunicação dos resultados Públicos
PARA FINANCIADORES DO PROJETO/
DA ORGANIZAÇÃO 74
Para equipe diretamente envolvida no
73
projeto
Para pessoal interno diretamente
7 Sim envolvido na avaliação 70
Para todo o pessoal da organização e do
93 projeto 69
Não Para o público-alvo/ comunidade-alvo
do projeto 56
Para parceiros externos
52
Para governos/ prefeituras/
administração pública 48
Base: Fez avaliação (574)
Para outras organizações/ em eventos/
P13. Os resultados das avaliações foram comunicados
fóruns 33
para alguém?
P13a. Quem?
Para a sociedade em geral/ publicações/
30 Média
Média
imprensa
5,06
5,06
Base: Os resultados foram comunicados (532)
28
29. Desafios enfrentados na avaliação
(%)
Construir indicadores 48
Envolver os públicos do projeto na avaliação 40
Desenvolver instrumentos 36
Coletar informações 33
Analisar os resultados 31
Captar recursos para a avaliação 27
Encontrar profissional qualificado 24
Tomar decisões orientadas pela avaliação 23
Comunicar os resultados 13
Nenhuma 2
Base: Fez avaliação (574)
P16. Quais foram as principais dificuldades encontradas nessas
avaliações?
29
30. Competição com outras atividades
(%)
Alta competição Baixa competição
Média
Média
12 12 21 21 34 2,48
2,48
05 (5) 04 (4) 03 (3) 02 (2) 01 (1)
Nota Nota
Escala 1 a 5
5= Competiu muito com outras atividades do projeto
1 = Não competiu em nada com outras atividades do projeto
Base: Fez avaliação (574)
P15. Pense no envolvimento da organização no processo de avaliação dos projetos. O quanto este envolvimento na
avaliação competiu com outras atividades do próprio projeto? Escolha uma nota de 1 a 5 de acordo com a escala descrita
30
