A administração pública gerencial

2972 ARTIGO ARTICLE

Tendência do campo de avaliação de
intervenções públicas de alimentação e
nutrição em programas de pós-graduação
no Brasil: 1980-2004

Trends in graduate courses on the evaluation
of public food and nutrition programs in Brazil,
1980-2004

Flávia Conceição dos Santos Henrique 1
Pedro Israel Cabral Lira 2
Sandra Maria Chaves dos Santos 3
Sonia Lucia Lucena Sousa de Andrade 2

Abstract Introdução

1 Centro de Ciências de
In recent years, public policy evaluation in Bra- A avaliação de políticas públicas no Brasil vem, no
Saúde, Universidade Federal
do Rocôncavo Baiano, Santo zil has become a strategic tool for improving the decorrer das últimas décadas, sobretudo a partir
Antônio de Jesus, Brasil performance of public action, capable of con- da década de 90, subsidiária de um movimento
2 Faculdade de Nutrição,
tributing effectively to social welfare. Despite this de âmbito internacional provocado por mudan-
Universidade Federal de
Pernambuco, Recife, Brasil. recognition, evaluative practice has still not been ças crescentes na sociedade, emergindo como
3 Escola de Nutrição, incorporated into the programs’ “life cycle”, espe- ferramenta estratégica privilegiada para uma
Universidade Federal da
cially in the social area. Programs that lack sig- gestão de qualidade, indutora de melhor perfor-
Bahia, Salvador, Brasil.
nificant evaluative practice include those related mance das intervenções públicas, capazes estas
Correspondência to food and nutrition. This article thus aimed to de contribuírem efetivamente para o bem-estar
F. C. S. Henrique
characterize the field of evaluation of public food social. Ganhou também relevância tendo em vis-
Centro de Ciências da Saúde,
Universidade Federal do and nutrition interventions in graduate studies ta a possibilidade de responder por demandas
Recôncavo Baiano. programs in Brazil. The study focused primarily públicas crescentes, por transparência nos atos
Travessa do Areal 231,
1 o andar, Santo Antônio
on theses and dissertations from 1980 to 2004, de governos e por maior responsabilização do
de Jesus, BA converging on the functioning of interventions setor público diante da sociedade 1,2.
44573-160, Brasil with a predominance of documental research No contexto latino-americano, de aumento
flavia_csh@yahoo.com.br
and case studies. Analytically, the principal the- de necessidades sociais e escassez de recursos, a
matic categories in these theses and dissertations demanda por avaliações de intervenções públi-
have shifted from a more biological focus to the cas, assim como a própria formulação de novas
socio-political dimension. políticas de corte redistributivo, passa a ser uma
questão estratégica a partir dos anos 80. Marcam
Nutrition Programmes; Public Policies; Health esse período uma profunda crise econômica e
Postgraduate Programs suas conseqüências lógicas como o aumento do
desemprego e empobrecimento de parte signi-
ficativa da população. Essa realidade solicitava
maior racionalidade do processo decisório, a fim
tanto de potencializar as ações em desenvolvi-
mento quanto de minimizar (ao máximo) esco-
lhas trágicas 2,3.
Estudo sobre a evolução das condições e
das políticas sociais no Brasil na década de 90

Cad. Saúde Pública, Rio de Janeiro, 23(12):2972-2981, dez, 2007

INTERVENÇÕES PÚBLICAS DE ALIMENTAÇÃO E NUTRIÇÃO 2973

intervenções públicas de alimentação e nutrição
divulgado pelo Ministério do Planejamento, Or-
em programas de pós-graduação no Brasil nas
çamento e Gestão e Instituto de Pesquisa Econô-
últimas décadas.
mica Aplicada (IPEA) 4 em 2001 revela que a in-
Importante dizer que não interessou, neste
versão de recursos financeiros na área, medidos
momento, focar os resultados das avaliações. As-
em porcentagem do PIB, atingiu um total de 14%
sim não se trata de uma sistematização dos resul-
em 1999. Sem pretender colocar em discussão a
tados das avaliações, mas sim de um estudo so-
adequação desses recursos em termos de pos-
bre os métodos, os procedimentos e as análises.
sibilidade de enfrentamento real das demandas
Entende-se que a realização de uma sistema-
sociais, seria imprudente não reconhecer, em um
tização como a proposta nesse estudo, ao am-
contexto de demandas crescentes, a preocupa-
pliar a compreensão da área, pode contribuir
ção ético-social com o uso eficiente dos recursos
para uma reflexão e, sendo o caso, para um re-
investidos.
direcionamento da prática avaliativa das inter-
Em detrimento do papel central imputado ao
venções na área de alimentação e nutrição. Pode
processo avaliativo nos últimos anos, na prática
ser útil ainda para o repensar das estratégias de
ainda é incipiente a experiência brasileira com
aperfeiçoamento dos instrumentos de análise
avaliação de políticas e programas públicos da
utilizados.
esfera estatal, sobretudo de forma sistemática e
organizada, distanciando-se da sua capacidade
de integrar os processos de tomada de decisão,
Percurso metodológico
de planejamento e de fomentar o redireciona-
mento de intervenções em desenvolvimento 5.
Para caracterização do campo da avaliação de
Ressente-se a administração pública da ausência
intervenções públicas de alimentação e nutrição
de uma “cultura de avaliação”, sobretudo aquela
em programas de pós-graduação no Brasil ele-
apoiada em um modelo teórico-metodológico
geu-se como objeto central de análise a produção
coletivamente reconhecido 1,6.
bibliográfica, especificamente teses e disserta-
Não bastasse isso revela-se ainda a forma
ções, defendidas no âmbito de pós-graduações,
desigual como as diferentes políticas públicas
a partir da década de 80.
– sobretudo as sociais – são avaliadas 7. Dentre
A opção por esse tipo específico de produ-
os programas sociais que se ressentem de uma
ção acadêmica justificou-se a partir do reconhe-
prática avaliativa significativa, estão aqueles da
cimento de que, sendo a universidade o espaço
área de alimentação e nutrição 8. Com uma histó-
privilegiado de produção de conhecimento cien-
ria de desenvolvimento descontinuada, já se vão
tífico, as pós-graduações stricto sensu expressam
cerca de setenta anos sem que tais intervenções
a tendência dominante desta produção e servem
integrem de forma sistemática o processo ava-
como sinalizadores da relevância da temática em
liativo ao seu ciclo de vida. É possível inferir que
períodos específicos.
no Brasil, o longo período de implementação de
Considera-se que este recorte metodológico
programas de alimentação e nutrição não tem
não cobre a totalidade da produção bibliográfica
sido acompanhado na mesma proporção de ava-
brasileira neste campo e, do mesmo modo, não
liações retroalimentadoras 8,9,10.
responde – de todo – sobre o que tem sido feito
Soma-se a essa insuficiência do processo ava-
em avaliação de intervenções em alimentação e
liativo e ao desafio de incrementá-lo, a necessi-
nutrição; entretanto, acredita-se que consegue
dade de aprimorar os critérios e metodologias
abarcar parcela representativa de avaliações re-
utilizadas, uma vez que as políticas sociais e as
alizadas neste campo, considerando que as pós-
de alimentação e nutrição aí inseridas vieram, a
graduações no Brasil desempenham um papel
partir da década passada, incorporando novos
estratégico na formação da agenda de pesquisa.
princípios e mecanismos operacionais que aca-
O recorte temporal foi definido tendo em
bam por configurar um novo desenho de gestão
perspectiva o objetivo de caracterizar a tendên-
e, no dizer de Reis 11, modelaram a maneira como
cia das avaliações ao longo de determinado pe-
vemos as relações do Estado nacional com o mer-
ríodo. Para este fim considerou-se pertinente o
cado e a sociedade. A descentralização das ações,
período delimitado pelo fato de no Brasil a práti-
a implementação do controle social, dentre ou-
ca avaliativa ser de desenvolvimento recente. En-
tros, para além de figurarem como princípios
quanto campo temático, a avaliação de políticas
que otimizariam e qualificariam a ação pública
12,13,14, por si só, implicam mudanças culturais
públicas emerge no Brasil a partir da década de
80. Também, por ser esse o período em que se in-
na gestão pública.
tensifica no Brasil o desenvolvimento de progra-
Isto posto, o objetivo desse artigo foi caracte-
mas sociais. Ao longo das décadas de 90 e 2000 as
rizar, do ponto de vista conceitual, teórico-me-
políticas sociais (e as de alimentação e nutrição
todológico e analítico, o campo da avaliação de


2974 Henrique FCS et al.

aí inseridas) passaram a incorporar novos princí- de análise; categoria analítica; temporalidade da
pios e mecanismos operacionais. avaliação; delineamento do estudo; abordagem
O rastreamento dos trabalhos acadêmicos metodológica; conceito de avaliação; e informa-
ocorreu em três momentos. Inicialmente foi fei- ção produzida.
to a partir de pesquisa bibliográfica ao banco de
teses da Coordenação de Aperfeiçoamento de Recorte programático
Pessoal de Nível Superior (CAPES), da Fundação
Oswaldo Cruz (FIOCRUZ) e à base de dados do Tomando como referência a classificação de
Centro Latino-Americano e do Caribe de Infor- Draibe 15, reporta-se ao objeto a ser avaliado
mação em Ciências da Saúde (BIREME). podendo ser uma política, projeto ou programa.
Por se tratarem de intervenções que remetem Para fins de classificação utilizou-se da própria
à área de saúde e terem como escopo a melho- denominação dada pelos autores dos trabalhos.
ria das condições de saúde e nutrição, em um
segundo momento comunicações eletrônicas Unidade de análise
foram enviadas às pós-graduações em nutrição,
saúde pública e saúde coletiva, buscando confir- Considera o programa ou política que foi objeto
mar e complementar os achados. de estudo de cada um dos trabalhos.
No terceiro momento foram explorados os
banco de teses disponibilizados ao público por Vínculo institucional
algumas instituições em suas páginas eletrôni-
cas. Refere-se à instituição, mais precisamente à Uni-
Foram incluídos todos os trabalhos defendi- versidade, onde está situada a pós-graduação na
dos a partir da década de 80, que versassem sobre qual os trabalhos foram desenvolvidos.
políticas e/ou programas de alimentação e nutri-
ção e que contemplassem como objeto central a Unidade acadêmica
avaliação de uma intervenção pública de âmbito
nacional. Identifica a Escola ou Faculdade de cada uma das
Como estratégia de busca dos trabalhos, fo- Universidades, onde está situada a pós-gradua-
ram utilizados os seguintes descritores: políticas ção, na qual os trabalhos foram desenvolvidos.
de alimentação e nutrição; avaliação de políti-
cas e/ou programas de alimentação e nutrição; Período de realização
avaliação; avaliação de políticas e/ou programas;
nutrição; políticas públicas. Vale reconhecer que Classifica os trabalhos quanto à década, 80, 90 ou
na identificação dos trabalhos podem ter ocor- 2000, em que o trabalho foi defendido.
rido perdas em virtude de “contingências de in-
dexação”. Finalidade da avaliação
Para assegurar a padronização e objetivida-
de durante a análise, foi elaborado um plano de Refere-se ao propósito da avaliação. Toma como
análise instrumental, o qual considerou (em ca- referência a classificação de Weiss 17. Assim dis-
da trabalho), a estratégia de avaliação adotada. tinguem-se: (1) avaliação para o processo decisó-
Para Draibe 15 a estratégia de avaliação abarca rio: avaliações que pretendem detectar obstácu-
as escolhas realizadas quanto aos objetivos, foco, los e propor medidas de correção e alteração de
natureza e tipo de avaliação as quais implicam programas, visando à melhoria da qualidade do
tanto no “plano privilegiado” de investigação do seu processo de implementação e do desempe-
objeto, como também nas opções metodológicas nho da política; (2) avaliação para o aprendizado
realizadas. organizacional ou produção do conhecimento:
Desta forma, uma vez construído o plano de são aquelas que buscam disseminar lições de
análise, foi conduzida a análise propriamente di- aprendizagem para melhorar as práticas admi-
ta, pautada em um universo de 16 trabalhos. As nistrativas e, sobretudo, a qualidade das políticas
categorias que constituem o plano foram esta- públicas.
belecidas utilizando-se das classificações mais
comumente informadas na literatura 5,7,15,16,17 Foco de análise
baseada em critérios que orientam escolhas con-
ceituais e metodológicas dos estudos de avalia- Tipologia clássica de avaliação. Representa
ção. Assim as categorias analíticas privilegiadas o ponto para onde converge a análise. Assim
foram: recorte programático; unidade de análise; considerou-se: (1) avaliação de processo ou de
vínculo institucional; unidade acadêmica; perí- funcionamento: tem como foco o desenho, as
odo de realização; finalidade da avaliação; foco características organizacionais e de desenvolvi-



mento dos programas. Seu objetivo é fundamen- post-facto: guarda pontos de semelhanças com a
talmente o de detectar os fatores que, ao longo da pesquisa experimental, mas difere no que se re-
implementação, facilitam ou impedem que um fere ao controle das variáveis independentes; (5)
dado programa atinja seus resultados da melhor estudo de caso: caracterizado pelo estudo pro-
maneira possível 15. (2) Avaliação de resultados: fundo e exaustivo de um objeto buscando um
tem como foco as etapas posteriores à imple- conhecimento mais aprofundado.
mentação e busca analisar a proporção das me-
tas realizadas e de cumprimento do planejado ou Abordagem metodológica
os índices de cobertura da população-alvo. Para
Draibe 15 esse tipo avaliação, mais que buscar sa- Refere-se aos procedimentos sistemáticos utili-
ber o quanto foi alcançado em relação ao plane- zados nos trabalhos para a descrição-explicação
jado, busca saber com que qualidade os objetivos do problema 19 podendo ser: (1) quantitativo:
foram alcançados. Em decorrência de o termo caracterizado pelo uso da quantificação tanto
aludir a coisas diversas, a autora considera três para coleta quanto para análise dos dados, o que
tipos de resultados: (1) resultados (no sentido esse verifica pelo uso de técnicas estruturadas de
trito), outcomes ou desempenho: são os produtos coleta de dados e pelo emprego de estatísticas
previstos nas metas do programa, obtidos ao fi- desde as mais simples às mais sofisticadas para
nal da sua operacionalização; (2) impactos: cor- análise do material; (2) qualitativo: ao contrário
respondem às alterações ou mudanças efetivas do anterior, não utiliza a estatística como instru-
na realidade sobre a qual o programa intervém mental básico do processo de análise. Lança mão
e por ele são provocadas, referem-se aos efeitos de técnicas de observação e entrevistas e explora
líquidos do programa sobre a população-alvo; a análise de conteúdo.
(3) efeitos: referem-se a mudanças, esperadas ou
não, no contexto social e institucional em que o Conceito de avaliação
programa foi realizado; (4) avaliação agregada:
quando processos e resultados são avaliados em Entendidos aqui como operações mentais que
conjunto. refletem certo ponto de vista a respeito da reali-
dade 20. Considerou-se a explicitação ou não de
Categoria analítica um conceito de avaliação.

Considera o conceito central de interesse a partir Informação produzida
do qual a análise foi organizada.
Refere-se à forma como os dados foram traba-
Temporalidade da avaliação lhados na(s) seção(ões) resultados e discussão,
e apresentados na conclusão. Assim foi esta-
Relacionada com o momento de realização da belecida uma distinção dos trabalhos em: (1)
avaliação. Distinguem-se: (1) avaliação ex ante: descritiva: dados trabalhados e apresentados,
precede ao início do programa, ocorrendo em destacadamente na forma de descrição das ca-
geral durante as fases de sua preparação e for- racterísticas do objeto, com algum grau de re-
mulação, também referida como avaliação-diag- lação entre variáveis, processos ou fatores; (2)
nóstico; (2) avaliação ex post: é feita ao mesmo descritiva-analítica: além da descrição, ocorre
tempo ou após a realização do programa. uma preocupação com a identificação de fato-
res que incidem sobre o objeto, favorecendo ou
Delineamento do estudo obstando sua realização; (3) descritiva-proposi-
tiva: engloba o processo de descrição, mas tam-
Considerado, sobretudo, a partir do procedimen- bém apresenta propostas ou recomendações; (4)
to adotado para a coleta de dados 18 podendo ser: descritiva-analítica-propositiva: envolve as três
(1) pesquisa bibliográfica: quando os dados deri- ações – descreve, analisa e recomenda.
vam de material já elaborado, oriundos de fontes Vale dizer que a categorização empreendida
bibliográficas como livros, artigos científicos; (2) não pretendeu classificar os estudos numa escala
pesquisa documental: muito semelhante à an- de valor, mas sim apontar a articulação necessá-
terior, difere-se pela natureza das fontes; mais ria entre objetos e tipologias e assim revelar as
especificamente utilizam material que ainda não alternativas conceituais, metodológicas e analíti-
recebeu tratamento analítico como portarias, cas privilegiadas nos estudos. Entende-se que as
relatórios técnicos etc. (3) pesquisa experimen- tipologias são tentativas de simplificações da re-
tal: caracterizado pela seleção de variáveis, com alidade com o intuito de facilitar a compreensão
uma forma definida de controle e de observa- de processos complexos. Da mesma forma reco-
ção do efeito produzido por estas; (4) pesquisa ex nhece-se que processos classificatórios guardam



em si algum grau de abstração, nem sempre pró- públicas de alimentação e nutrição, o campo da
ximos do real. saúde apresenta-se como o lócus privilegiado de
produção do conhecimento, sobretudo a área de
saúde pública.
Resultados e discussão Esses achados apontam para uma relação
estreita com o desenho das intervenções, as
Recorte programático e unidade de quais historicamente associam os programas de
análise dos estudos de avaliação alimentação e nutrição com ações de melhoria
das condições de saúde e nutrição com ênfase
Considerado como uma das primeiras decisões no combate à desnutrição (materna, infantil, do
a serem tomadas pelo avaliador, o recorte pro- trabalhador).
gramático refere-se ao objeto a ser avaliado, po- No que diz respeito ao período de realização
dendo ser uma política, projeto ou programa. Do – defesa do trabalho – encontrou-se uma con-
total de trabalhos analisados (16) observou-se centração significativamente maior nos anos
que 2 (12,5%) tiveram como objeto de investi- 2000 com 10 estudos (62,5%), seguida de 4 (25%)
gação uma política pública estatal, enquanto 14 trabalhos desenvolvidos nos anos 90, e 2 (12,5%)
(87,5%) se debruçaram sobre o estudo de pro- nos anos 80.
gramas específicos. A distribuição dos trabalhos Tal distribuição guarda uma estreita relação
segundo a unidade de análise mostrou que os com a trajetória de desenvolvimento e de reco-
programas de suplementação alimentar e de ali- nhecimento do papel estratégico da pesquisa de
mentação do trabalhador foram os mais avalia- avaliação de políticas e programas no Brasil. Re-
dos no período em estudo. conhece-se que, no Brasil, a pesquisa de avalia-
A predominância substantiva de avaliações ção de políticas, embora comece a se desenvolver
de programas já era esperada, uma vez que a a partir da década de 80, só a partir da década de
avaliação de política é de difícil exeqüibilidade 90 adquire fôlego, com o seu reconhecimento en-
em decorrência da sua complexidade e conse- quanto instrumento de aprimoramento das polí-
qüentes demandas operacionais que vão desde ticas públicas, para a gestão mais eficiente e como
recursos intelectuais até materiais e de tempo. apoio para a reforma do aparelho do Estado 2.
Associadas a esse fato somam-se exigências das
pós-graduações, as quais implicam sobremanei- Finalidade da avaliação, foco de análise,
ra no escopo das investigações, como o prazo categoria analítica e temporalidade
para conclusão e ausência de uma política de fi- da avaliação
nanciamento capaz de subsidiar produções mais
abrangentes. A distribuição dos trabalhos segundo a finalida-
de da pesquisa avaliativa revela que 75% reali-
Vínculo institucional, unidade acadêmica, zaram avaliações que tinham como propósito
período de realização o aprendizado organizacional e 25% o processo
decisório. No primeiro caso destacaram-se, res-
Quanto ao vínculo institucional, aparecem ape- pectivamente, aqueles relacionados com a com-
nas quatro instituições: Universidade Federal da preensão de modos de intervenção social e os
Bahia (UFBA) com 6 trabalhos, representando que se interessaram pelo fornecimento de ele-
37,5%, Universidade de São Paulo (USP), soman- mentos para reflexão sobre a prática, subsidian-
do 5 (31,2%); FIOCRUZ com 3 (18,8%) e Univer- do escolhas por parte daqueles que planejam as
sidade do Estado do Rio de Janeiro (UERJ), apre- intervenções. Pode-se dizer que quanto à fina-
sentando 2 (12,5%) trabalhos. lidade, as avaliações tiveram propósitos muito
Em relação às unidades acadêmicas, em ca- mais teóricos, próximos da pesquisa pura, que
da uma das quatro instituições, observou-se que operacionais.
na UFBA, a Escola de Nutrição (ENUFBA), des- De acordo com o foco de análise, conside-
taca-se na produção de avaliações seguida do rada a tipologia clássica da avaliação, os traba-
Instituto de Saúde Coletiva (ISC) e da Escola de lhos estavam distribuídos em: 56,2% avaliações
Administração. Na USP prevaleceu a Faculdade de processo, 37,5% avaliações de resultado e
de Saúde Pública; na FIOCRUZ a totalidade ori- 6,3% avaliações agregadas. Buscando responder
ginou-se na Escola Nacional de Saúde Pública a uma possível tendência temporal do foco de
Sergio Arouca (ENSP) e na UERJ no Instituto de análise desses estudos, fez-se uma correlação
Medicina Social (IMS). entre esta categoria analítica e o ano de defesa
Distribuindo-se os trabalhos segundo a área da tese/dissertação.
de concentração depreende-se que, em se tra- Esta associação permitiu reconhecer que
tando de pesquisa avaliativa sobre intervenções 88,9% das avaliações de processo foram realiza-



das nos anos 2000. Quanto à avaliação de resul- plementação 22 que permitissem explicar as ra-
tados, observou-se que se concentraram entre as zões do sucesso ou fracasso das mesmas.
décadas de 80 e 90, com percentuais de 33,3% e Uma outra variável explicativa que poderia
50% respectivamente; apenas 16,7% foram reali- ser agregada a essa análise relaciona-se com o
zadas nos anos 2000. Tal reconhecimento revela próprio desenvolvimento das Ciências Sociais,
uma mudança temporal no foco de análise das enquanto campo de conhecimento e a incorpo-
avaliações. Entre as décadas de 80 e 90 o inte- ração de seu corpo de conhecimento às pós-gra-
resse das avaliações de políticas e programas de duações na área de saúde, como já visto, lócus
alimentação e nutrição recaía sobre os resultados privilegiado de desenvolvimento dos estudos
esperados, especificamente o impacto utilizan- de avaliação na área de políticas públicas de ali-
do o critério de efetividade. Já em períodos mais mentação e nutrição. Tal incorporação conduziu
recentes (anos 2000), os estudos têm se interes- a uma maior complexidade do processo analí-
sado mais pelo funcionamento e mecanismos tico. Entendidas inicialmente como políticas de
específicos que propiciam atingir os resultados melhoria das condições de saúde, via combate
(esperados ou não). à desnutrição, o arsenal das Ciências Sociais aí
Essa mudança pode ser creditada a duas incorporado permitiu novos olhares à imagem
ordens de fatores, até certa medida correlacio- da política pública, dando margem à inclusão de
nados: o primeiro está relacionado com as mu- uma série de outras variáveis interessantes além
danças pelas quais passaram (ou vêm passando) das biológicas, até então privilegiadas.
as políticas de corte social e, nesse contexto, as No que concerne aos conceitos centrais que
políticas de alimentação e nutrição, nos planos interessaram aos trabalhos de avaliação, consi-
internacional e nacional, as quais em conse- derados a partir das categorias analíticas eleitas
qüência exigiram a inclusão de novos focos ao pelos avaliadores, observou-se que estes estive-
processo avaliativo; o segundo, seguindo na es- ram voltados para a efetividade (25%), descen-
teira da mudança no desenho das políticas públi- tralização (18,8%), participação (18,8%), evolu-
cas, vincula-se ao processo de amadurecimento ção (histórica e normativa) (12,5%), eficiência,
da prática da avaliação. adequação e implementação, cada um deles com
No Brasil intensifica-se, a partir da década de 6,2%. Também aqui foi realizada uma associação
80, o desenvolvimento de programas sociais bus- entre esses dados e o período de realização dos
cando melhorar as condições de vida de parcela trabalhos. Assim, observou-se que metade dos
significativa da população empobrecida. Junto trabalhos que avaliaram efetividade (que remete
ao desenvolvimento desses programas crescia a aos resultados) esteve mais presente na década
preocupação com a implementação de avalia- de 80. Categorias como adequação, eficiência e
ções que fossem capazes de auferir os resulta- evolução histórica estiveram presentes na dé-
dos dos mesmos. Nesse contexto, a preocupação cada de 90 e, nos anos 2000, apresentaram-se,
voltou-se, fundamentalmente, para os resultados sobretudo os conceitos de descentralização e
dos programas, ignorando a “realidade de opera- participação social.
ção” dos mesmos. Esses dados permitem dizer que a delimita-
Seguindo um padrão de desenvolvimento se- ção da categoria analítica central nos estudos de
melhante ao verificado no âmbito internacional, avaliação de políticas e programas de alimenta-
a prática da avaliação, nesse primeiro momento, ção e nutrição tem acompanhado as mudanças
visou objetivos essencialmente somativos, cen- ocorridas nos programas sociais que se iniciaram
trados nos resultados líquidos dos programas 21, nos anos 80, e que foram sendo implementadas
apoiando-se em um modelo de avaliação que se a partir dos anos 90, as quais encontram-se asso-
convencionou chamar de “caixa-preta”, já que ciadas à incorporação de princípios inovadores
entende a intervenção como impermeável aos como descentralização, participação e controle
fatores que incidem sobre ela, quando desenvol- social em direção ao uso mais transparente dos
vida em um determinado meio social. recursos e a focalização nos mais pobres 13.
Entretanto, a partir de resultados negativos Considerando que categorias analíticas guar-
quanto à performance dessas intervenções, dá- dam um grau de abstração e generalização 20, o
se início a um processo de mudança no perfil po- interesse foi remetido para as categorias utiliza-
lítico, institucional e econômico-financeiro 2 das das para apreensão empírica das várias realida-
políticas sociais, que se intensificaram a partir des avaliadas, associando-as com a dimensão
dos anos 90, levando a alterações significativas analisada e sua variação no tempo. Assim, obser-
do seu desenho. Tais mudanças demandaram vou-se que na década de 80 prevaleceu a catego-
processos mais complexos de avaliação, incluin- ria incremento ponderal, dimensão biológica; na
do um maior interesse pelo funcionamento das década de 90 o aporte nutricional, também uma
intervenções, sobretudo pelas estratégias de im- dimensão biológica; nos primeiros anos da dé-



cada de 2000 a categoria implementação, a qual de processo a incorporarem a pesquisa qualita-
associa-se com dimensões sócio-políticas. tiva, superando as limitações que apresentam a
Quanto à temporalidade das pesquisas de utilização apenas de indicadores numéricos.
avaliação, objeto desse trabalho, observou-se Em relação a esta categoria vale destacar, so-
que na sua totalidade foram avaliações do tipo bretudo, o caráter híbrido dos estudos. Obser-
ex post. Destas, 75% foram realizadas ao longo da va-se que em 40% dos trabalhos categorizados
implementação da intervenção, enquanto que como qualitativos, houve utilização do aporte
20% foram desenvolvidas em etapas posteriores quantitativo.
à implementação. O incremento da abordagem qualitativa pa-
rece também estar associado à própria história
Delineamento do estudo, abordagem de desenvolvimento do conceito de avaliação
metodológica, conceito de avaliaçào e 23,24, que parte de uma primeira geração enfo-

informação produzida cando verbos como medir e mensurar, os quais
impõem a quantificação, em direção a uma ter-
No que se refere ao delineamento dos estudos a ceira geração, em que a palavra-chave é julga-
análise revelou haver uma preponderância rela- mento de valor.
tiva da pesquisa documental, com percentual de A inclusão da abordagem quantitativa nes-
50%, seguida dos estudos de caso com 25% e da ses estudos – qualitativos – ocorreu por meio das
pesquisa experimental com 18,8% e, por último, técnicas de análise de dados utilizadas. A utili-
a pesquisa ex post-facto, com 6,2%. zação híbrida das abordagens é considerada por
A freqüência maior da pesquisa documental Novaes 22 resultado da natureza complexa das
pode ser imputada a fatores relacionados com a políticas públicas que solicitam abordagens “re-
natureza acadêmica dos trabalhos. Como já re- lativamente abertas”.
gistrado os estudos aqui analisados foram desen- Com referência à categoria conceito de ava-
volvidos no âmbito de cursos de pós-graduação, liação utilizado, também interessou a esse estudo
especificamente stricto sensu, sob os quais reca- verificar em que medida as pesquisas de avalia-
em exigências. Exigências, sobretudo quanto ao ção realizadas assumiam um conceito específico
tempo e quanto à carência de fontes de financia- de avaliação. Isso como forma de promover uma
mento, que podem limitar a realização de estu- aproximação com a compreensão subjacente à
dos empíricos. Vale dizer que tais questões, mais prática avaliativa. Nesse aspecto, é possível dizer
que produzidas, são impostas às pós-graduações que, em sua maioria, os trabalhos avaliados não
que precisam se moldar às determinações de um tomaram para si um conceito de avaliação ou, de
sistema avaliativo. outra forma, não assumiram de maneira declara-
Ainda em relação à pesquisa documental, da uma determinada definição comprometendo
registra-se que quase todos os avaliadores des- assim a análise aqui pretendida.
tacam dificuldades no processo de obtenção de Entre aqueles que expressamente assumiram
documentos institucionais. Em nosso meio tais um conceito (apenas 25%) pode-se dizer que não
dificuldades parecem estar relacionadas com a houve coincidências quanto ao entendimento do
pouca valorização da informação, enquanto ins- significado do termo. Este variou entre a com-
trumento de gestão e, de outro lado, parece refle- preensão de apreciação crítica como subsídio ao
tir a incipiente publicização e transparência de processo racional de tomada de decisões à aná-
documentos institucionais, ainda mais quando lise da efetiva apropriação de benefícios de uma
estes serão utilizados para subsidiar avaliações intervenção e ainda como medida de objetivos
de políticas públicas, cujos resultados, em al- finais alcançados.
guma medida, irão repercutir sobre a ação dos Considerando as quatro gerações da histó-
governos, mais precisamente sobre a adminis- ria de desenvolvimento da avaliação identifica-
tração pública 6,13 e, ainda, sobre a competição das por Guba & Lincoln 25 é possível dizer que
eleitoral 14. no primeiro caso a compreensão de avaliação
No que se refere à abordagem metodológi- subjacente aos trabalhos enquadrava-se no que
ca, foram encontrados percentuais de 37,5% e esses autores denominaram de terceira geração
62,5% de utilização das abordagens quantitativa baseada no julgamento do mérito e valor de uma
e qualitativa, respectivamente. Pode-se dizer que ação, nesse caso as intervenções de alimentação
a utilização substantivamente maior da aborda- e nutrição. No segundo e terceiro casos os estu-
gem qualitativa encontra-se intimamente rela- dos ajustam-se na primeira geração baseada na
cionada com o foco de análise privilegiado pela medida dos efeitos da intervenção.
maioria dos trabalhos analisados – o processo. Considera-se que a tarefa de julgar o mérito
Autores como Weiss 17, Silva 21 e Novaes 22 regis- e o valor de uma ação, característica distintiva da
tram uma tendência mais recente das avaliações avaliação, solicita o desenvolvimento de etapas



prévias, como subsídio a apreensão da realidade ções sobre essa produção foram solicitadas a
como a identificação, caracterização e descrição. todas as pós-graduações, com maior referência
Entretanto, estas etapas, por si só, não cumprem para a área: nutrição, saúde pública e saúde cole-
a função avaliativa. tiva. Ao final da pesquisa, tal como inicialmente
Por fim, interessou ao estudo categorizar os suposto, estes espaços foram confirmados como
trabalhos quanto ao tipo de informação produzi- privilegiados na produção de avaliações de po-
da como subsídio à inferência sobre o potencial líticas e programas públicos de alimentação e
de contribuir com o processo de planejamento nutrição.
da ação pública, com a oportuna tomada de de- Em relação às limitações, reportamo-nos ao
cisões e com a geração de lições de aprendiza- fato de o estudo ter voltado o olhar para teses e
gem. dissertações. Tendo optado nesse primeiro mo-
Chamou atenção a incipiência na geração de mento por esta fatia da produção bibliográfica,
informações mais analíticas. Os estudos se es- perdeu-se a oportunidade de analisar o estado de
truturaram em torno da descrição que remete campo da avaliação de intervenções públicas de
para uma insuficiente reflexão sobre os fatores alimentação e nutrição, embora o material ana-
que recaem sobre os resultados e funcionamento lisado seja bastante representativo desse estado
das intervenções. da arte. Aponta, para um segundo momento, a
Esses achados parecem, para a realidade es- necessidade de incluir a totalidade da produção
tudada, colocar em cheque a suposta superação bibliográfica, sobretudo artigos científicos publi-
dos modelos de avaliação chamados de “caixa- cados em periódicos até mesmo para efeitos de
preta”, que até então ignoravam os fatores que in- comparação, já que os periódicos agregam resul-
cidiam sobre a intervenção, uma vez que apenas tados de investigações produzidas não só no es-
descrever as características do objeto não con- paço da academia, mas também produzidos em
tribui, substancialmente, para processos decisó- nível de serviços por atores institucionais envol-
rios e limita a capacidade de acumular lições de vidos com a implementação das intervenções.
aprendizagem. Isto posto, pode-se dizer que, em linhas ge-
rais, as avaliações de intervenções públicas de
alimentação e nutrição aderem aos critérios de
Conclusão classificação apresentados pela literatura sobre
avaliação de políticas públicas e, do ponto de vis-
O modelo de análise adotado buscou lançar um ta conceitual, analítico e metodológico, seguem
foco de luz sobre as pesquisas de avaliação que na esteira dos desenhos apresentados na litera-
vêm sendo produzidas no âmbito acadêmico, co- tura científica sobre o tema. Assim, ganham no
mo forma de revelar suas inclinações analíticas e que diz respeito à “elegância dos modelos expli-
metodológicas e, assim, contribuir para a reflexão cativos” e perdem na “simplicidade analítica”.
das mesmas no que têm de limitações e produzir Em relação à tendência analítica privilegiada,
audiência no que apresentam de relevante. as análises têm convergido para o processo de
Antes de passar às considerações de alguns funcionamento, ou seja, têm como foco o dese-
dos achados, é necessário registrar algumas difi- nho, as características organizacionais e de de-
culdades operacionais e limitações enfrentadas senvolvimento dos programas com avaliações do
no desenvolvimento desse trabalho. tipo ex post realizadas durante a realização das
A primeira refere-se à identificação do ma- intervenções.
terial empírico. O banco de teses da CAPES, que Já no que se refere aos aspectos teórico-me-
a princípio considerava-se a base de dados pri- todológicos, os dados permitem dizer que as ava-
vilegiada para obtenção das informações sobre liações têm privilegiado técnicas e instrumentos
os trabalhos produzidos no período, revelou-se de coleta e análise de dados característicos da
pouco atualizado para os fins almejados, assim abordagem qualitativa. Entretanto, pode-se dizer
como outras bases de dados como a da BIREME. que não se trata de uma abordagem pura, já que
Além da pouca atualização dessas bases, uma junto com esta tem-se utilizado o aporte quan-
outra questão apresentou-se desta vez relacio- titativo, sobretudo como subsídio ao processo
nada com contingências de busca. Tendo lança- analítico. Observou-se ainda um predomínio da
do mão de vários descritores relacionados com pesquisa do tipo documental e dos estudos de
a temática, para cada um deles novos trabalhos caso, quando da utilização de dados primários.
eram indicados e outros deixavam de aparecer Quanto ao conceito de avaliação utilizado foi
deixando a dúvida se, de fato, todos os trabalhos possível verificar que este não está explicitamen-
foram identificados. te declarado, sendo raras as exceções.
Para dirimir dúvidas e complementar o pro- No que se refere ao volume produzido, esse
cesso de rastreamento dos trabalhos, informa- estudo reforça a insuficiência quantitativa que



há muito vem sendo denunciada por autores Importante dizer que, em que pese o ganho
que têm se debruçado sobre essa análise. Decer- que se verificou na avaliação de intervenções
to que não se dispõe de um padrão de referên- públicas de alimentação e nutrição, com a utili-
cia que sirva de parâmetro para se chegar a essa zação de novas variáveis, não se pode dizer que
afirmação, entretanto podemos fazer do longo houve um salto qualitativo nas avaliações, uma
período de implementação das intervenções na vez que a incorporação da dimensão sócio-polí-
área, da centralidade que adquire na agenda so- tica se deu em detrimento da avaliação dos resul-
cial brasileira, do volume do gasto social na área tados líquidos, o que para a área representou um
e, sobretudo, da persistência de uma problemáti- certo desprezo às variáveis biológicas.
ca alimentar e nutricional como proxys para essa Por fim, revelou-se necessário, na análise dos
conclusão. dados, uma baixa percepção dos programas na
Ainda em relação aos resultados desse estudo dimensão de uma ação pública. Os trabalhos
foi possível observar que as categorias temáticas analisados tendem a focalizar as avaliações em
privilegiadas nesses trabalhos vêm sendo modi- micro-processos e poucos são os que se volta-
ficadas migrando de um padrão mais próximo ram para macro-processos remetendo a avalia-
à dimensão biológica para outro, situado numa ção para a esfera de uma política pública. Assim,
dimensão sócio-política, revelando serem avalia- perdem uma capacidade importante, que seria
ções do seu tempo. a de fomentar o desenvolvimento de melhores
instrumentos e formas da ação pública.

Resumo Colaboradores

A avaliação de políticas públicas no Brasil vem, nas F. C. S. Henrique participou de todas as etapas da pes-
últimas décadas, emergindo como ferramenta estraté- quisa sendo responsável pela redação final do artigo.
gica para melhoria da performance da ação pública, P I. C. Lira orientou o delineamento do estudo tendo
.
capaz esta de contribuir efetivamente para o bem-es- participado da análise dos dados e realizado a revisão
tar social. Em que pese esse reconhecimento, essa prá- crítica do artigo. S. M. C. Santos orientou o delineamen-
tica não tem sido incorporada ao “ciclo de vida” de to da pesquisa, participou da discussão dos resultados e
programas, sobretudo aqueles da área social. Dentre análise dos dados, contribuiu na redação final do artigo
as ações que se ressentem de uma prática avaliativa e também realizou a análise crítica da versão final. S. M.
significativa, estão aquelas da área de alimentação e L. S. Andrade contribuiu no delineamento da pesquisa.
nutrição. Diante destas questões, esse artigo teve co-
mo objetivo caracterizar o campo da avaliação de
intervenções públicas de alimentação e nutrição em Agradecimentos
programas de pós-graduação no Brasil. Utilizou-se
como objeto central de análise a produção bibliográfi- Ao Conselho Nacional de Desenvolvimento Científico e
ca, especificamente teses e dissertações, defendidas no Tecnológico (CNPq) pela concessão da bolsa que con-
período de 1980 a 2004. No que se refere aos achados tribuiu para a realização da pesquisa que gerou como
desse estudo foi possível observar que a produção tem produto esse artigo.
convergido para o processo de funcionamento das in-
tervenções com predomínio da pesquisa documental e
estudos de caso. Do ponto de vista analítico as catego-
rias temáticas privilegiadas nos trabalhos vêm sendo
modificadas migrando de padrão mais próximo à di-
mensão biológica para outro, situado numa dimensão
sócio-política.

Programas de Nutrição; Políticas Públicas; Programas
de Pós-Graduação em Saúde



Referências

1. Garcia RC. Subsídios para organizar avaliação da 13. Santos SMC. Fome de cidadania: o Comunidade
ação governamental. Planej Polít Públicas 2001; Solidária e a participação em programas de nutri-
(23):7-70. ção em municípios baianos [Tese de Doutorado].
2. Silva PL, Costa NR. Avaliação de programas pú- Salvador: Escola de Administração, Universidade
blicos: reflexões sobre a experiência brasileira. Federal da Bahia; 2001.
Relatório técnico. Brasília: Instituto de Pesquisa 14. Arretche M. Dossiê agenda de pesquisas em políti-
Econômica Aplicada/Banco Interamericano de cas públicas. Rev Bras Ciênc Soc 2003; 18:7-10.
Desenvolvimento; 2002. 15. Draibe SM. Avaliação de implementação: esboço
3. Santos WG. A trágica condição da política social. de uma metodologia de trabalho em políticas pú-
In: Abranches SH, Santos WG, Coimbra AA, orga- blicas. In: Barreira MCR, Carvalho, MCB, organiza-
nizadores. Política social e combate à pobreza. Rio dores. Tendências e perspectivas na avaliação de
de Janeiro: Jorge Zahar Editor; 1998. p. 33-63. políticas e programas sociais. São Paulo: Instituto
4. Ministério do Planejamento, Orçamento e Gestão/ de Estudos Especiais, Pontifícia Universidade Ca-
Instituto de Pesquisa Econômica Aplicada. Evolu- tólica de São Paulo; 2001. p. 13-41.
ção recente das condições e das políticas sociais 16. Amparan JPG. La evaluación de políticas públicas:
no Brasil. Brasília: Instituto de Pesquisa Econômi- enfoques teóricos y realidades en nueve países de-
ca Aplicada; 2001. sarrollados. Gestión y Política Pública 1995; 4:47-
5. Cohen E, Franco R. Avaliação de projetos sociais. 115.
Petrópolis: Editora Vozes; 1993. 17. Weiss CH. How can theory-based evaluation make
6. Souza C. Estado de campo da pesquisa em polí- greater headway? Eval Rev 1997; 21:501-24.
ticas públicas no Brasil. Rev Bras Ciênc Soc 2003; 18. Gil AC. Métodos e técnicas de pesquisa social. São
18:15-20. Paulo: Editora Atlas; 1999.
7. Figueiredo MF, Figueiredo AMC. Avaliação política 19. Richardson RJ, Peres JAS, Wanderley JCV, Correia
e avaliações de políticas: um quadro de referên- LM, Peres MHM. Métodos quantitativos e qualita-
cia teórica. Brasília: Instituto de Desenvolvimento tivos. In: Richardson RJ, organizador. Pesquisa so-
Econômico do Planalto; 1986. cial: métodos e técnicas. 3a Ed. São Paulo: Editora
8. Santos SMC, Santos LMP Avaliação de políticas de
. Atlas; 1999. p. 70-89.
alimentação e nutrição no estado da Bahia. Salva- 20. Minayo MCS. O desafio do conhecimento. São
dor: Núcleo de Nutrição e Políticas Públicas, Esco- Paulo: Editora Hucitec/Rio de Janeiro: ABRASCO;
la de Nutrição, Universidade Federal da Bahia/Fi- 1998.
nanciadoras de Estudos e Projetos; 2003. 21. Núcleo de Estudos de Políticas Públicas, Universi-
9. Musgrove P Por una mejor alimentación. Washing-
. dade Estadual de Campinas. Modelo de avaliação
ton DC: Organización Panamericana de la Salud; de programas sociais prioritários. Campinas: Uni-
1997. (Cuaderno técnico, 25). versidade Estadual de Campinas; 1999.
10. Veloso IS. Impacto do programa de alimentação 22. Novaes HMD. Avaliação de programas, serviços
do trabalhador sobre o estado nutricional de tra- e tecnologias em saúde. Rev Saúde Pública 2000;
balhadores de indústria [Dissertação de Mestra- 34:547-59.
do]. Salvador: Instituto de Saúde Coletiva, Univer- 23. Contandriopoulos AP, Champagne F, Denis JL,
sidade Federal da Bahia; 2000. Pineault R. A avaliação na área da saúde: conceitos
11. Reis EP Reflexões leigas para a formulação de uma
. e métodos. In: Hartz ZMA, organizadora. Avaliação
agenda de pesquisa em políticas públicas. Rev Bras em saúde: dos modelos conceituais à prática na
Ciênc Soc 2003; 18:11-4. análise da implantação de programas. Rio de Ja-
12. Guimarães MCL. Descentralização da saúde: in- neiro: Editora Fiocruz; 1997. p. 29-48.
teresses e conflitos decisórios – o processo de de- 24. Pastana CF. Práticas de avaliação na gestão des-
cisão nas instâncias colegiadas estaduais, Bahia, centralizada de saúde: a experiência de Vitória da
1993-1998 [Tese de Doutorado]. Salvador: Escola Conquista – 1998-2001 [Dissertação de Mestrado].
de Administração, Universidade Federal da Bahia; Salvador: Escola de Administração, Universidade
2000. Federal da Bahia; 2002.
25. Guba E, Lincoln Y. Fourth generation evaluation.
Newbury Park: Sage Publications; 1989.

Recebido em 03/Abr/2006
Versão final reapresentada em 22/Jan/2007
Aprovado em 19/Abr/2007


A administração pública gerencial

Recomendados

Recomendados

Más contenido relacionado

Similar a A administração pública gerencial

Similar a A administração pública gerencial (7)

A administração pública gerencial