Marco Cepik Diretor do Centro de Estudos Internacionais sobre Governo - AVANÇOS E INOVAÇÕES NA AVALIAÇÃO E MONITORAMENTO DE POLÍTICAS PÚBLICAS - 2013

AVANÇOS E INOVAÇÕES NA AVALIAÇÃO
E MONITORAMENTO DE POLÍTICAS
PÚBLICAS
Marco Cepik
Diretor do Centro de Estudos
Internacionais sobre Governo

PLANO DE APRESENTAÇÃO
1) Apresentação CEGOV
2) Democracia, Capacidade Estatal e Era Digital
3) Modelo Integrado de Transformação Institucional

4) Monitoramento e Avaliação de Políticas Públicas

CEGOV

V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto

1

APRESENTAÇÃO CEGOV

CEGOV


1) APRESENTAÇÃO CEGOV
O Centro de Estudos Internacionais sobre Governo (CEGOV) da
Universidade Federal do Rio Grande do Sul (UFRGS) é um centro
interdisciplinar vinculado à Reitoria, cujo objetivo é estudar a ação
governamental no Brasil e no mundo.

CEGOV


1) APRESENTAÇÃO CEGOV
PROJETOS

CEGOV


2

DEMOCRACIA, CAPACIDADE ESTATAL
E ERA DIGITAL

CEGOV


2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
• DEMOCRACIA diz respeito à combinação dos valores obtidos a
partir da institucionalização de mecanismos universais de
participação e de exercício do direito à oposição política.
Requisitos (Dahl, 1971):
i)
ii)
iii)
iv)
v)
vi)
vii)
viii)

CEGOV

a liberdade de formar e aderir a organizações;
a liberdade de expressão;
o direito de voto;
elegibilidade para cargos públicos;
o direito de políticos disputarem apoio e votos;
a existência de fontes alternativas de informação;
eleições livres e idôneas;
instituições para fazer com que as políticas governamentais
dependam de eleições e de outras manifestações de preferências.



• CAPACIDADE ESTATAL relaciona-se ao conjunto de
características funcionais e institucionais dos Estados
contemporâneos, relativas:
– à mobilização de recursos sociais,
– à produção de regras e à adjudicação de conflitos,
– ao provimento de bem-estar e segurança (WEISS, 1998;
BELL & HINDMORE, 2009).

CEGOV



• Democracia e capacidade estatal relacionam-se em um
processo aberto, de reforço mútuo (autocatalítico), sujeito aos desafios de adaptação a contextos
tecnológicos, demográficos, temporais e
socioeconômicos variáveis.
“Sem uma adequada capacidade institucional de fazer valer as regras
e implementar as decisões tomadas pelos sujeitos políticos, ou sem a
capacidade de garantir o cumprimento dos direitos e deveres
associados à cidadania, um regime democrático torna-se *...+ ‘um
pacto suicida’” (CEPIK, 2005: 78).

CEGOV



capacidade
estatal

zonas de
autoritarismo

zona de cidadania

1

0
0

democracia

1

zona de tirania
fragmentada
Fonte: Tilly (2003)

CEGOV


policy-seeking

office-seeking

partidos
competem

cidadãos

problemas e temas

mídia

grupos de interesse
participam governo

representação

sistema
eleitoral

governo
+
burocracia

sistema
partidário

formação
de políticas

estrutura
mediação
de interesses

resultados políticas públicas
CEGOV



• ERA DIGITAL:
– Aumento da capacidade de criação, processamento, acesso,
partilha e de informações.
– Concentração e redistribuição das condições de exercício de
poder político.
– Habilitação de novas dinâmicas produtivas e colaborativas entre
os diferentes atores sociais.
– Integração o local, o regional, o nacional e o internacional.
– Impacto na forma com a qual os Estados organizam sua
burocracia, interagem com seus cidadãos, fazem a guerra, e
constroem alternativas institucionais para a resolução de seus
conflitos.

CEGOV


Vigilância

Banco de
Dados A

Banco de
Dados A

Controle

Diagnóstico

Capacidade
Estatal
Tomada de
decisão

Banco de
Dados B

Banco de
Dados B

Monitoramento

Gestão
Avaliação
Banco de
Dados C

Banco de
Dados C

Banco de
Dados D

Banco de
Dados D

Acesso à
Informação

Controle Social

Democracia
Transparência

CEGOV

Participação


3
MODELO INTEGRADO DE
TRANSFORMAÇÃO
INSTITUCIONAL (MITI)

CEGOV


CEGOV


4
MONITORAMENTO E
AVALIAÇÃO DE POLÍTICAS
PÚBLICAS

CEGOV


4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS

Definindo Políticas Públicas
Política como conflito ubíquo na sociedade e como problema
constitucional (coordenação dos sujeitos e organização dos
conflitos); objeto da Ciência Política.
Políticas Públicas como campo de estudos focado na
organização do processo de interação entre os lados do input
e do output do processo decisório governamental e seus
conflitos inerentes.
Política pública é o “Estado em Ação”

Politics, Policy and Polity
Fonte: Reis (2000)
CEGOV



Mais Algumas Definições
•

Políticas Públicas como um campo dentro do estudo da política que analisa o
governo à luz de grandes questões públicas - Mead (1995)

•

Políticas Públicas como um conjunto de ações do governo que irão produzir
efeitos específicos - Lynn (1980)

•

Política pública é a soma das atividades dos governos, que agem diretamente
ou através de delegação, e que influenciam a vida dos cidadãos - Peters (1986)

•

Política pública como “o que o governo escolhe fazer ou não fazer”. - Dye
(1984)

•

Política pública como análise sobre quem ganha o quê, por quê e que
diferença isso faz - Lasswell (1936)

Fonte: Souza (2006:24)

CEGOV



Por que Avaliar e Monitorar Políticas Públicas?
Porque esta é a maneira mais eficiente, eficaz, efetiva e legítima de lidar com os
problemas de assimetria informacional previstos pela teoria de agente e
principal: seleção adversa de agentes e risco moral.
Seja S o conjunto de resultados ou estados possíveis observáveis apenas pelo executor (agente). Seja A o conjunto de ações
do agente observáveis apenas por ele próprio. E seja Q o conjunto de resultados ou estados possíveis observáveis por
ambos, agente e principal. Portanto, um resultado Q depende de incentivos (os quais têm custo) proporcionados pelos
principais para os agentes: I = ɸ (Q). Os agentes então escolhem suas ações A maximizando sua utilidade esperada EU, a qual
depende do conjunto de estados observáveis pelo próprio agente e pelos principais: max [EU (A,I, S)]. Ou seja, o resultado Q
buscado pelo principal esta relacionado às ações A e o estado S por uma função de produção: Q = Q(A,S). As ações ótimas Ã
dos agentes para produzir o resultado máximo Q são obtidas resolvendo a função de produção por A, ou: Ã = H(S).
Finalmente, a utilidade esperada do principal EV é calculada como uma função das ações Ã do agente antecipadas pelo
principal, o custo para o principal de induzir o agente a otimizar a produção (I = ɸ (~Q)), e o estado relevante S. Ou: EV = EV (ɸ
(~Q), ~Q, Ã, S). O problema do principal, portanto, é escolher um sistema de incentivos ɸ que maximize a sua função de
utilidade: max[EV].

Sob condições de incerteza, assimetria informacional e racionalidade limitada (SIMON, 1971), o
risco moral advém do fato de que as ações, competências e intenções do agente não podem ser
plenamente observadas após o pacto, contrato ou investidura. Como se trata de um conflito,
pode-se minimizar o problema, mas ele é constituinte da própria política
CEGOV



Monitoramento e Avaliação
• Monitoramento é um processo contínuo, que utiliza dados
sobre indicadores específicos, para fornecer aos interessados
informações sobre o desenvolvimento e o progresso no
alcance dos objetivos a serem alcançados com a alocação de
determinados recursos.

• Avaliação como o estudo sistemático e objetivo da
concepção, implementação e dos resultados de um projeto,
programa ou política, com a finalidade de determinar sua
relevância, eficiência, eficácia, impacto e sustentabilidade.
Fonte: Kusek e Rist (2004).

CEGOV



• INDA: capacidade estatal e democracia
o utilização e cruzamento de dados entre órgãos e esferas de
governo, para fins de
diagnóstico, monitoramento, avaliação e consequente
melhora da tomada de decisão (CHAVES & BRETAS, 2013).
o realização do direito à informação (LAI) e fomento da
transparência, do controle social, da participação.
o Empoderamento da sociedade por meio da utilização dos
dados públicos abertos na criação de novos serviços de
utilidade pública, bem como na construção de estudos
alternativos sobre os resultados da ação estatal.

CEGOV



Sistema de Monitoramento e Avaliação
Monitoramento e avaliação possuem definições distintas, porém
complementares.
Monitoramento fornece informações sobre o andamento de uma
política, programa ou projeto em determinado momento e em
relação às metas e resultados previstos.
Por meio da avaliação procuramos analisar processos, produtos e
consequências ou impactos da ação coletiva.

CEGOV



Pontos de interseção entre monitoramento e avaliação Kusek e Rist (2004).
– As atividades podem ser sequencialmente complementares, visto que as
informações geradas por meio do monitoramento podem gerar questões
a serem respondidas pela avaliação, ou o inverso, as informações
resultantes de uma avaliação podem originar novas áreas de
monitoramento.
– As atividades possuem informações complementares, já que tanto o
monitoramento quanto a avaliação podem usar os mesmos dados, mas
responderem a perguntas diferentes.
– As atividades possuem interação, visto que monitoramento e avaliação
podem ser utilizados conjuntamente.

CEGOV



Indicadores de Desempenho
①

Produção ou Output: e.g. alunos formados na UFRGS; quantidade de artigos
científicos produzidos

②

Impacto: e.g. índice de citações científicas; inserção profissional dos
egressos.

③

Consequências ou outcomes: e.g. valor agregado da produção de C&T e
contribuição para o PIB da cidade, estado e país;

④

Eficiência: e.g. custo por aluno-ano; relação número alunos por professor.

⑤

Satisfação: e.g. valores atribuídos pelos alunos à qualidade da formação
recebida.

⑥

Legitimidade: e.g. índice de citações favoráveis na mídia; manifestações
formais da comunidade; desempenho da comunidade acadêmica em
avaliações gerais do sistema universitário.

CEGOV



Ferramentas para
análise comparativa
no tempo e espaço
Pesquisas
do IBGE

Indicadores estratégicos
Indicadores referentes a processos operacionais

Sistema
Monitoramento e
Avaliação

Aspetos Técnicos:
Interoperabilidade, Portais, Dados
Abertos

Cadastros
públicos

Registros de
outros
ministérios

Indicadores
de recursos
Indicadores
de processos

Indicadores
de resultados
Indicadores de
eficiência
qualidade

Registros de
gestão dos
programas

Indicadores de
contexto

Indicadores
de impactos

Dados de
execução
orçamentária
Fonte: SOUZA MELO, 2012, p. 46.

CEGOV



Comparação PPA 2008-2011 / 2012-2015

Fonte: SOUZA MELO, 2012, p. 46.
CEGOV



Sistemas de M&A

CEGOV



Dimensões Críticas do M&A
Capacidade Estatal

Tecnologia da Informação
•
•
•
•
•
•

Software x Portal
Interoperabilidade (e-Ping)
Dados Abertos
Data warehouses
Integração
Tecnologias Móveis

•
•
•
•
•
•
•

Programas de Governo
Políticas Públicas
Áreas de Competência
Planejamento Estratégico
Processos
Projetos
Execução Orçamentária

Estrutura Organizacional
•
•
•
•

Ciclos de M&A
Fluxogramas
Regulamentação
Competências e atribuições

CEGOV

Democracia
• Transparência
• Controle Social
• Acesso à Informação


Portal de Monitoramento e Avaliação
Tecnologia

Usuários

Portal M&A
Indicadores Métodos

Análise

Políticas

Programas

PPA

PEI

Projetos

Processo

Pessoas

Fluxos e
Normas

CEGOV



CENTRAL DE M&A

CEGOV


Exemplos de Monitoramento e Avaliação
Portal MEC

http://painel.mec.gov.br
CEGOV


Portal MDS

CEGOV


Portal MDS

http://aplicacoes.mds.gov.br/sagi/PainelBPC/#

CEGOV


Portal da Saúde

http://189.28.128.178/sage/
CEGOV


Portal Dados Abertos

http://dados.gov.br/
CEGOV


VisPública

http://vispublica.gov.br/vispublica/index.jsp
CEGOV


Portal LAI – Governo do Estado do RS

http://www.acessoinformacao.rs.gov.br/#

CEGOV


Portal LAI – Governo do Estado do RS

CEGOV


Portal Transparêncaia RS


CEGOV


Portal TCE-RS


http://www1.tce.rs.gov.br/portal/page/portal/tcers/institucional/acesso_a_informacao/disponiveis
CEGOV



Avanços, Inovações e Desafios
 Portais de Avaliação de Planos e Programas de Governo
 Ferramentas de Visualização de Dados
 Alinhamento dos Ciclos de M&A com os Ciclos de Planejamento Estratégico
e Políticos
 Interoperabilidade entre sistemas de informações e bases de dados
 Arranjos federativos e coordenação interagência
 Capacitação massiva de gestores, agentes políticos e cidadãos

CEGOV



VI Seminário Nacional da Rede Brasileira de
Monitoramento e Avaliação
Quando: Novembro de 2014
Onde: Universidade Federal do Rio Grande do Sul
Informações: http://www.ufrgs.br/cegov/
http://redebrasileirademea.ning.com/

CEGOV


REFERÊNCIAS
•

BARROS, A.; CANABARRO, D. R.; CEPIK, M. A. C. “Para além da e-Ping: o desenvolvimento de
uma Plataforma de Interoperabilidade para e-Serviços no Brasil”. In: BRETAS, N. L.;
MESQUITA, C. (ed.). Panorama da Interoperabilidade no Brasil. Brasília: Ministério do
Planejamento, Orçamento e Gestão, 2010, p. 137-157.

•

BELL, S.; HINDMOOR, A. Rethinking Governance: The Centrality of the State in Modern Society.
Nova Iorque, EUA: Cambridge University Press, 2006.

•

BRASIL. Secretaria de Logística e Tecnologia da Informação (SLTI, MP). Uma Arquitetura
Referencial para a integração dos sistemas informatizados de governo, AR. Brasília, DF:
Ministério do Planejamento, Orçamento e Gestão, 2006.

•

BRETAS, N. L.; MESQUITA, C. (ed.). Panorama da Interoperabilidade no Brasil. Brasília:
Ministério do Planejamento, Orçamento e Gestão, 2010.

•

CHAVES, M., FRANZOSI, E.; GARCIA, A. “AR – Um Modelo de Interoperabilidade Aplicado ao
Monitoramento do PAC”. In: BRETAS, N. L.; MESQUITA, C. (ed.). Panorama da
Interoperabilidade no Brasil. Brasília: Ministério do Planejamento, Orçamento e
Gestão, 2010, pp. 211-216.

•

DAHL, Robert. Poliarquia: participação e oposição. São Paulo: Editora da Universidade de São
Paulo. 1997 [1971].

•

FOUNTAIN, J. E. Building the Virtual State. Washington, D.C.: Brookings Institution Press, 2001.
CEGOV


REFERÊNCIAS
•
•

•
•
•

•
•

CEGOV

KRAEMER, K.; KING, J. Information Technology and Administrative Reform: Will egovernment be Different? International Journal of Electronic Government
Research, v. 2, n. 1, p. 1-20, jan-mar, 2006.
MELO, Patrícia Coimbra Souza. Monitoramento e avaliação na administração
pública federal [manuscrito] : os desafios do PPA 2012/2015 / Patrícia Coimbra
Souza
Melo.
-2012.
Disponível
http://portal2.tcu.gov.br/portal/pls/portal/docs/2525602.PDF
acesso
em
12/11/2013.
PAES, Romulo S. e HELLMANN, Aline G. Policy monitoring and evaluation systems:
recent advances in Brazil’s federal public administration. In: Vaitsman et al
(editors). Policy Analisys in Brazil. ILPA, 2013.
REIS, Fabio W. Mercado e Utopia: teoria política, sociedade brasileira.
Edusp, 2000.
SOUZA, Celina.
ticas blicas: uma
o da literatura. In: Sociologias, Porto
Alegre, ano 8, no 16, jul/dez 2006, p. 20-45
TILLY, Charles. The Politics of Collective Violence. Cambridge/UK: Cambridge
University Press, 2003.
WEISS, R. The Myth of the Powerless State. Ithaca, NY, EUA: Cornell University
Press, 1998.


MUITO OBRIGADO
Marco Cepik
marco.cepik@ufrgs.br

www.cegov.ufrgs.br

FORMAS e TENDÊNCIAS DA AVALIAÇÃO

Quanto à temporalidade
1. Avaliação ex-ante: realizada antes do início de
implementação de um programa.
• Identifica se um programa deve ser executado;
• Projeta
o que aconteceria com algumas
características da população beneficiária caso o
programa fosse executado;
• Compara custos e benefícios da iniciativa com
as alternativas disponíveis à sua implantação.
• (CHAVES, 2008)
CEGOV


2. Avaliação ex-post: realizada após a
consolidação ou na fase final de um programa.
• Mede resultados e impactos.
As avaliações de impacto são geralmente mais
caras que as avaliações ex-ante, por exigirem
levantamento de dados primários sobre o
público-alvo, caso o programa não disponha de
um sistema de monitoramento desenvolvido.
(CHAVES, 2008)
CEGOV


QUANTO AO OBJETO
1. Avaliação de processo:
• Avaliação para identificar os aspectos da
implementação;
• Considera insumos, processos e produtos;
• Avalia ganhos ou perdas no atendimento às metas do
programa junto ao seu público-alvo.
2. Avaliação de resultados:
• Avaliação do nível de transformação da situação a
qual o programa se propõe a modificar;
• Expressa o grau em que os objetivos do programa
foram alcançados.
(CHAVES, 2008)
CEGOV


3. Avaliação de impacto:
• Avaliação de resultados;
• Busca conhecer os efeitos produzidos pelo
programa em algum(uns) aspecto(s) da
realidade afetada pela sua existência;
• Geralmente está relacionada a resultados de
médio e longo prazo;
• Visa identificar, compreender e explicar as
mudanças nas variáveis e fatores relacionados à
efetividade do programa.
(CHAVES, 2008)
CEGOV


Marco Cepik Diretor do Centro de Estudos Internacionais sobre Governo - AVANÇOS E INOVAÇÕES NA AVALIAÇÃO E MONITORAMENTO DE POLÍTICAS PÚBLICAS - 2013

Recomendados

Recomendados

Más contenido relacionado

Similar a Marco Cepik Diretor do Centro de Estudos Internacionais sobre Governo - AVANÇOS E INOVAÇÕES NA AVALIAÇÃO E MONITORAMENTO DE POLÍTICAS PÚBLICAS - 2013

Similar a Marco Cepik Diretor do Centro de Estudos Internacionais sobre Governo - AVANÇOS E INOVAÇÕES NA AVALIAÇÃO E MONITORAMENTO DE POLÍTICAS PÚBLICAS - 2013 (20)

Más de Fundação de Economia e Estatística

Más de Fundação de Economia e Estatística (20)

Marco Cepik Diretor do Centro de Estudos Internacionais sobre Governo - AVANÇOS E INOVAÇÕES NA AVALIAÇÃO E MONITORAMENTO DE POLÍTICAS PÚBLICAS - 2013