Avaliação de resultados no setor público do RJ: teoria e indicadores

ROBERTA MONTELLO AMARAL
A AVALIAÇÃO DE RESULTADOS NO SETOR PÚBLICO:
TEORIA E APLICAÇÃO PRÁTICA NO ESTADO DO RIO DE JANEIRO
RIO DE JANEIRO
2003
ECT
ESTADO DO RIO DE JANEIRO
TRIBUNAL DE CONTAS DO

TEORIA E APLICAÇÃO PRÁTICA NO ESTADO DO RIO DE JANEIRO
RIO DE JANEIRO
2003
Assessoria Técnica do Gabinete
do Conselheiro José Gomes Graciosa

Economista - Pontifícia Universidade Católica do Rio de Janeiro - PUC-RJ
Estatística - Escola Nacional de Ciências Estatísticas - ENCE
MBA em Finanças - Instituto Brasileiro de Mercado de Capitais - IBMEC-RJ
Mestre - Economia Empresarial - Faculdade Cândido Mendes
Mestrando - Engenharia de Produção - Pontifícia Universidade Católica
do Rio de Janeiro - PUC-RJ
MPA em Controle Externo - Fundação Getúlio Vargas - FGV

1
Teoria e Aplicação Prática no Estado do Rio de Janeiro
Roberta Montello Amaral
1. INTRODUÇÃO
Tradicionalmente a avaliação das contas públicas, não apenas no Brasil, mas
em todo o mundo, concentra-se em aspectos meramente financeiros, contábeis e
orçamentários. No entanto, modernamente este conceito tem evoluído no sentido
de se tentar medir não apenas os aspectos contábeis da gestão, mas também
aspectos econômicos e sociais. Deste modo, em adição à fiscalização quanto ao
cumprimento da legalidade de determinada gestão, tende-se a privilegiar, também,
os resultados alcançados no que diz respeito à evolução das condições sociais da
população.
É consenso que a gestão pública atual deve privilegiar eficácia, eficiência e
efetividade quanto ao uso dos recursos públicos. Portanto, a credibilidade e a
relevância de um método de avaliação destinada ao setor público só são possíveis
de alcançar quando se permite analisar estas características de tal forma que seja
possível refletir o que a sociedade, cliente primeiro do setor público, necessita, e a
que distância esta se encontra dos seus objetivos principais.
Sob esta ótica, os novos modelos de avaliação de resultados dentro do setor
público devem buscar a construção de metodologias que permitam, não apenas
aos gestores, mas também aos seus fiscalizadores (entre estes os Tribunais de
Contas e a própria sociedade), visualizar o cenário no qual estamos inseridos, de
modo a se avaliar se estamos dentro da trajetória desejada ou se precisamos
corrigi-la.
Dentro desta proposta de elaboração de uma nova metodologia, um ponto de
extrema importância, mas pouco explicitado pelos trabalhos acadêmicos
pesquisados, é a sugestão de indicadores a serem considerados. Muitos são os
aspectos teóricos levantados sobre como devem ser os índices escolhidos e quais
cuidados devem ser levados em consideração na sua montagem, escolha e

2
avaliação. No entanto, poucos são os autores que propõem de forma objetiva e
pragmática quais indicadores podem e devem ser utilizados.
Este estudo pretende, então, suprir a lacuna deixada pelos trabalhos
encontrados, atacando o problema da avaliação de resultados no setor público de
acordo com uma abordagem bastante pragmática. Pretende-se, assim,
sensibilizar os gestores para a importância da implantação de estudos deste tipo e
do contínuo aprimoramento das técnicas de avaliação de resultados. Espera-se
provar que esta medida tende a maximizar o bem-estar social, objetivo maior de
qualquer Governo, além de auxiliar os gestores no cumprimento das exigências
legais impostas pela Constituição.
Esta proposta caminha no mesmo sentido dos trabalhos atualmente em
desenvolvimentos pela maioria dos Tribunais de Contas Municipais, Estaduais e
da União. “A ação governamental só tem sentido se realizada com base nas
demandas concretas da população, em termos de saúde, educação, segurança,
saneamento básico, enfim, direcionada para a solução daqueles problemas cuja
satisfação vai se traduzir em melhoria da qualidade de vida do cidadão.”1
Adicionalmente, deseja-se atender a uma demanda específica do Tribunal de
Contas do Estado do Rio de Janeiro (TCE-RJ), dando um caráter prático a este
estudo, fornecendo subsídios voltados para a realidade do órgão, auxiliando o
cumprimento tanto de sua missão2
, quanto de sua política de qualidade3
.
2. AVALIAÇÃO DE RESULTADOS NO SETOR PÚBLICO
A atual proposta de buscar a avaliação de resultados é fruto da mudança nos
conceitos referentes às responsabilidades do gestor público. O que se busca é
1
In TCE-RJ e Análise das Contas Públicas: Avaliação de resultados e qualidade de vida, p.5.
2
“Exercer, em nome do povo do Estado do Rio de Janeiro, a fiscalização das administrações públicas estadual
e municipais, e dos recursos por elas geridos, zelando pela sua legalidade e legitimidade, bem como por sua
eficiência, eficácia e economicidade, com a finalidade principal de prestar contas, aos contribuintes, do
emprego que os Governos fazem desses recursos.”, In: www.tce-rj.gov.br.
3
Executar sua missão institucional com independência e qualidade. Para a implementação desta Política da
Qualidade foram estabelecidos os seguintes objetivos da qualidade: busca permanente da satisfação da
sociedade; aperfeiçoamento contínuo dos processos de trabalho; disponibilização das informações e constante
qualificação e competência do corpo funcional”, In: www.tce-rj.gov.br.

3
acrescentar ao tradicional controle de conformidade, o controle de desempenho,
baseado na verificação dos níveis de eficácia, eficiência e efetividade da gestão
dos recursos públicos.
Segundo TEIXEIRA (2001), a Nova Administração Pública (NAP), promove
uma mudança de paradigma quando muda o enfoque para o controle de
resultados em detrimento do controle do processo. Segundo o autor, não é
possível definir com clareza os componentes e propósitos da NAP, mas é ponto
comum que se deve buscar a descentralização de unidades de negócio e outros
arranjos organizacionais, além da definição e atribuição de metas de desempenho
que os gerentes devem atingir, pois estas servirão de base para a sua avaliação.
Assim, os gerentes teriam autoridade para alcançar suas metas de desempenho e
a responsabilidade do executivo seria conseqüência do processo, de modo que os
resultados deveriam ser acompanhados para determinar se os benefícios
esperados foram realmente alcançados.
Assim, a maior contribuição da NAP é concentrar-se na economia, eficiência
e eficácia das organizações governamentais, dos programas públicos e de seus
instrumentos, buscando sempre a melhoria da qualidade dos serviços
governamentais, sem dar destaque ao cumprimento de prescrições formais de
procedimentos, regras e processos. Como resultados secundários da NAP
podemos, então, destacar a redução de controles sobre os gerentes operacionais,
que passam a ter mais responsabilidade, flexibilidade e autonomia, exercendo,
efetivamente, a atividade de gerenciar, por meio de gestão de riscos e
mensuração de desempenho.
De acordo com esta nova visão, deve-se acrescentar à busca pela eficácia e
eficiência nos procedimentos, a procura pelo alcance de resultados efetivos e
baseados nas demandas da sociedade. Isto representaria o desenvolvimento de
uma preocupação em atender o cliente, neste caso, os cidadãos.
“Na perspectiva da avaliação de programas, um programa efetivo é um
tratamento que cura (ou pelo menos controla) o mal social, sem prejudicar a
sociedade como um todo. Os programas dignos de mérito são aqueles que

4
atingem os objetivos de determinada política pública ou, conforme alguns relatos,
geram benefícios que excedem a soma dos custos dos recursos empregados e
das conseqüências adversas dos subprodutos (Moore 1995). Por sua vez, as
principais medidas de mérito embutidas no conceito de auditoria de desempenho
são a economia, a eficiência e a efetividade. Economia geralmente significa a
eliminação dos desperdícios de insumos; eficiência refere-se à otimização dos
processos de transformação de insumos em produtos; e efetividade significa
influenciar positivamente o impacto por meio da geração de produtos (Gray,
Jenkins and Segsworth 1993). A imagem de uma organização governamental
eficiente está associada, neste caso, àquela na qual a atenção da administração
está voltada para a otimização de processos produtivos flexíveis bem como para a
adaptação dos desenhos dos programas em função do feedback recebido e das
mudanças nas prioridades e nos objetivos das políticas públicas. (...) As
organizações devem ser responsabilizadas pelos resultados de sua atuação mais
do que pela sua forma de funcionamento.”4
Adicionalmente, deve-se acrescentar à avaliação de resultados o caráter
corretivo e não punitivo. Para chegar aos resultados pretendidos, a análise de
determinado programa ou política pública deve concentrar-se na indicação de
medidas para correção de rumo e não na explicação de desvios em relação à
trajetória inicialmente traçada.
Isto tudo porque se deve ter em mente que a avaliação tem como objetivo
melhorar a percepção da distância entre o cenário real, em um determinado
momento do tempo, e o que seria desejável. Com este esforço seria possível
indicar eventuais afastamentos dos objetivos propostos, das metas a alcançar,
fornecendo subsídios para uma correção de rumos, caso haja necessidade. Esta
idéia é bastante revolucionária, na medida em que transforma a avaliação num
exercício de identificação de oportunidades, de subsídio para crescimento e
desenvolvimento, tirando o seu estigma de ser um instrumento meramente
punitivo, uma simples constatação. (Werneck, 1996)
4
In Instituições Centrais e Auditoria de Desempenho: Uma Análise Comparativa das Estratégias
Organizacionais na OCDE, pp. 9 e 10.

5
3. INSTRUMENTOS LEGAIS
No sentido de amparar o planejamento e a execução do orçamento público
segundo a demanda social gerada pelos princípios da NAP, o Brasil desenvolveu
três instrumentos legais de extrema relevância: o Plano Plurianual (PPA), a Lei de
Diretrizes Orçamentárias (LDO) e a Lei Orçamentária Anual (LOA). O artigo 165
da Constituição Federal de 1988 trata destes instrumentos:
“§1º A lei que instituir o plano plurianual estabelecerá, de forma
regionalizadas, as diretrizes, objetivos e metas da administração pública federal
para as despesas de capital e outras delas decorrentes e para as relativas aos
programas de duração continuada.
§2º A lei de diretrizes orçamentárias compreenderá as metas e prioridades da
administração pública federal, incluindo as despesas de capital para o exercício
financeiro subseqüente, orientará a elaboração da lei orçamentária anual, disporá
sobre as alterações na legislação tributária e estabelecerá a política de aplicação
das agências financeiras oficiais de fomento.
§3º (...)
§4º (...)
§5º A lei orçamentária anual compreenderá:
I. o orçamento fiscal referente aos Poderes da união, seus fundos,
órgãos e entidades da administração direta e indireta, inclusive
fundações instituídas e mantidas pelo Poder Público;
II. o orçamento de investimento das empresas em que a União, direta
ou indiretamente, detenha a maioria do capital social com direito a
voto;
III. o orçamento da seguridade social, abrangendo todas as entidades e
órgãos a ela vinculados, da administração direta ou indireta, bem

6
como os fundos e fundações instituídos e mantidos pelo Poder
Público.
§6º (...)
§7º Os orçamentos previstos nos §5º, I e II, deste artigo, compatibilizados
com o plano plurianual, terão entre suas funções a de reduzir desigualdades inter-
regionais, segundo critério populacional.
§8º (...)
§9º Cabe à lei complementar:
I – dispor sobre o exercício financeiro, a vigência, os prazos, a elaboração e a
organização do plano plurianual, da lei de diretrizes orçamentárias e da lei
orçamentária anual;
II – estabelecer normas de gestão financeira e patrimonial da administração
direta e indireta, bem como condições para a instituição e funcionamento de
fundos.”
No entanto, conforme destacam Mesquita & Albuquerque, em virtude da
inexistência de legislação complementar, prevista no artigo 165, §9º da
Constituição Federal de 1988, descrito anteriormente, que deveria contemplar a
elaboração e organização das leis orçamentárias, e do não tratamento deste
assunto na Lei 4.320/64, os PPAs vêm sendo apresentados segundo uma
abordagem mais genérica, satisfazendo apenas à exigência legal quanto à sua
elaboração. O mesmo acontece com a LDO, que deveria indicar as prioridades e
metas da Administração para o exercício seguinte, orientando a montagem e a
execução do orçamento anual. No entanto, na prática, as sua metas, que
deveriam ser compatíveis com as apresentadas no PPA, raramente são definidas
corretamente em termos físicos, gerando uma dimensão inadequada quanto aos
objetivos do governo.
Complementando a constituição, a lei complementar nº 101/00, ou Lei de
Responsabilidade Fiscal (LRF), trata especificamente da fiscalização da gestão
fiscal na seção VI:

7
“Art 59. O Poder Legislativo, diretamente ou com o auxílio dos Tribunais de
Contas, e o sistema de controle interno de cada Poder e do Ministério Público,
fiscalizarão o cumprimento das normas desta Lei Complementar, com ênfase no
que se refere a:
I - atingimento das metas estabelecidas na lei de diretrizes orçamentárias;
II - limites e condições para realização de operações de crédito e inscrição
em Restos a Pagar;
III - medidas adotadas para retorno da despesa total com o pessoal ao
respectivo limite, nos termos dos arts. 22 e 23;
IV - providências tomadas, conforme o disposto no art. 31, para recondução
dos montantes da dívidas consolidadas e mobiliária aos respectivos limites;
V - destinação de recursos obtidos com a alienação de ativos, tendo em vista
as restrições constitucionais e as desta Lei Complementar;
VI - cumprimento do limite de gastos totais dos legislativos municipais,
quando houver.
§ 1º Os Tribunais de Contas alterarão os Poderes ou órgãos referidos no art.
20 quando constarem:
I - a possibilidade de ocorrência das situações previstas no inciso II do art. 4º
e no art. 9º;
II - que o montante da despesa total com pessoal ultrapassou 90% (noventa
por cento) do limite;
III - que os montantes das dívidas consolidada e mobiliária, das operações de
crédito e de concessão de garantia se encontram acima de 90% (noventa por
cento) dos respectivos limites;
IV - que os gastos com inativos e pensionistas se encontram acima do limite
definido em lei;
V - fatos que comprometem os custos ou os resultados dos programas ou
indícios de irregularidades na gestão orçamentária.

8
§ 2º Compete ainda aos Tribunais de Contas verificar os cálculos dos limites
da despesa total com o pessoal de cada Poder e órgão referido no art. 20.
§ 3º O Tribunal de Contas da União acompanhará o cumprimento do disposto
nos §§ 2º, 3º e 4º do art.39.”
Estes quatro instrumentos, apesar de bastante relevantes, ainda estão
distantes de alcançar todos os objetivos por detrás da NAP. Isto se deve ao fato
de haver, hoje, falta de estrutura dos controles internos, além da inexistência, nos
orçamentos, de metas e indicadores necessários à realização de uma avaliação
satisfatória. Assim, na prática, ainda não é possível encontrar a implementação
de trabalhos no sentido de medir eficácia, eficiência ou efetividade da gestão
governamental.
Outro instrumento cujo desenvolvimento tem adquirido relevância dentro do
setor público brasileiro é a implantação de auditorias de desempenho. “Auditoria
de Desempenho é uma atividade de controle, avaliação e revisão da qualidade da
gestão de organizações, programas, projetos, políticas e atividades
governamentais, que têm por finalidade analisar a eficiência, a eficácia, e a
efetividade na prestação de serviços públicos. Originalmente denominada
Performance Audit, Operational Audit ou Value for Money Audit, é conhecida mais
comumente no Brasil como auditoria operacional. A auditoria de desempenho
surgiu como atividade sistemática e conceitualmente formalizada no final da
década de 1950 (SHAND e ANAND, 1996). Entretanto, o processo de legitimação
em nível mundial desse tipo de auditoria no setor público consolidou-se somente
no final da década de 1970, com a execução, em larga escala de trabalhos
claramente qualificados como de desempenho por parte de Entidades de
Fiscalização Superior (POLLIT, 1999). (...) No Brasil, por exemplo, o Tribunal de
Contas da União desempenha esse papel de EFS.”5
No entanto, mesmo estes instrumentos ainda são bastante limitados diante
do que é possível alcançar, já que, em muito casos, referem-se a processos de
avaliação de conformidade, de investigação, enquanto os instrumentos de
5
In: Estratégias de auditoria de desempenho governamental: proposta de um modelo analítico, p.1.

9
avaliação de resultados podem dar um passo a frente, proporcionando uma
avaliação precisa dos rumos que determinada política está tomando. Isto é de
extrema relevância na medida em que o cenário econômico atual precisa lidar com
um montante limitado de recursos, tornando imprescindível que os gestores se
preocupem com a realização de programas e políticas públicas que atendam não
somente ao princípio da legalidade, mas também sejam pareto ótimos6
, ou seja,
garantam o maior bem-estar social possível.
Portanto, caso se deseje atender às novas exigências sociais, é de
fundamental importância estimular o desenvolvimento de novos mecanismos que
auxiliem o Poder Público a buscar efetiva, eficaz, eficiente e eticamente o maior
nível de bem-estar social possível.
4. HISTÓRICO DA AVALIAÇÃO DE RESULTADOS E A REALIDADE
BRASILEIRA
Desde o século XVI há registros da coleta de algumas medidas sociais. No
entanto, é apenas a partir do século de XVII que, em função da necessidade de
maior atuação do Estado nas áreas de defesa nacional e saúde ambiental, foi
iniciado um movimento mais organizado de coleta de informações estatísticas a
respeito de tópicos sociais. Nos séculos XVIII e XIX há uma intensificação dos
movimentos de coleta e organização de dados sociais, o que iniciou o percurso
para a construção dos modelos mais atuais de medição e coleta de características
sociais.
Apesar dos seus antecedentes datarem do início do século XX, a história da
moderna avaliação de resultados só começou a ser traçada na década de 60,
tendo o termo “indicador social” aparecido, pela primeira vez, em 1966. Até então,
os agentes decisórios governamentais dispunham de informações pouco
confiáveis e num volume aquém do desejável para que fosse possível fazer
6
“ÓTIMO DE PARETO: Termo criado por Vilfredo Pareto para designar a situação hipotética em que
ninguém possa alterar sua situação social, buscando uma posição que mais lhe agrade, sem com isso provocar
uma mudança de outra pessoa para uma posição que não lhe agrada.” In: Dicionário de Economia, p.223.

10
análises mais profundas, precisas e confiáveis. A partir da percepção deste
cenário, iniciou-se o “movimento de indicadores sociais”, que visava ampliar a
construção de indicadores que, até então, eram focados apenas em medidas de
desempenho econômico. Desde então se percebe um crescimento significativo
dos trabalhos referentes a este tema.
A principal finalidade de um indicador social é traduzir o bem-estar, que não é
mensurável diretamente nem tampouco pode ser observado. Assim, os
indicadores “são medidas de uma característica observável de um fenômeno
social e que estabelecem o valor de uma característica diferente mas não-
observável do fenômeno. Isso aponta para duas características importantes dos
indicadores: eles são substitutos e são medidas. Como substitutos, os indicadores
sociais não representam a si mesmos. Ao contrário, traduzem conceitos sociais
abstratos ou não-mensuráveis em termos operacionais, tais como ‘ruas seguras’,
e que permitem o exame e a análise de conceitos, tais como ‘número de dias sem
crimes’. (...) E, enquanto ‘medidas’, os indicadores sociais referem-se às
informações que, em termos conceituais, são quantificáveis, e devem evitar
aquelas informações que não podem ser expressadas através de uma escala
ordenada.”7
No caso brasileiro, os instrumentos legais apresentados na seção anterior
representaram um grande avanço no sentido de se buscar maior atendimento às
necessidades sociais da população. Com os quatro instrumentos foram
alcançadas as seguintes inovações:
§ obrigatoriedade quanto ao estabelecimento de diretrizes,
objetivos e metas dentro do setor público;
§ normas específicas quanto ao controle de custos;
§ obrigatoriedade quanto à realização de avaliação de resultados
de programas financiados com recursos orçamentários;
7
In Indicadores Sociais, p.2.

11
§ necessidade do estabelecimento de metas físicas e indicadores
objetivos para tornar a avaliação mais objetiva
Apenas a partir da criação destes instrumentos é que se passou a exigir,
legalmente, maior transparência à gestão fiscal, propiciando a participação popular
no sentido de fiscalizar mais facilmente a administração pública. No entanto,
estes instrumentos ainda não foram capazes de cobrir todas as condições
necessárias para se implantar um programa de avaliação de resultados que
atenda às atuais exigências da NAP.
Algumas sugestões para se conseguir atingir o objetivo de proposto foram
apresentadas em um artigo elaborado pelo TCE-RJ:
“No sentido de minimizar os problemas que hoje ocorrem, apresentam-se as
seguintes sugestões: (...)
3) Inclusão na LRF (...), ou fixação em norma legal própria, de dispositivos
que estabeleçam: (...)
3.4 – a obrigatoriedade de fixação, pelo Poder Executivo, de objetivos, metas
e indicadores que possibilitem o acompanhamento, controle e avaliações de
resultados, por parte dos controles interno e externo, em virtude de determinação
constitucional. (...)
3.6 – obrigatoriedade de encaminhamento, pelos Poderes e Órgãos,
juntamente com as prestações de contas por exercício financeiro, dos relatórios de
controle interno contendo as avaliações de resultados, além das demais
verificações previstas no art. 74 da CF/88 [que trata do controle interno], com as
correspondentes punições pelo descumprimento.”8
8
In Planos e Instrumentos de Planejamento – PPA, LDO e LOA – Pontos Controversos, p. 5 e 6.

12
5. DIMENSÕES DO RESULTADO E PROPRIEDADES DOS INDICADORES
Uma avaliação de resultados satisfatória deverá, necessariamente, abranger
indicadores de eficácia, eficiência e efetividade. Antes de prosseguir vale a pena,
portanto, definir o que cada uma destas dimensões representa.
“Eficácia é atingir o objetivo proposto, cumprir, executar, operar, levar a cabo;
é o poder de causar determinado efeito. Eficaz então é o que realiza perfeitamente
determinada tarefa ou função, que produz o resultado pretendido. Dicionários em
inglês destacam o uso do termo especialmente quando se trata de doença ou
problema: remédio eficaz, método de tratamento eficaz; fez uma limpeza eficaz;
constatou a eficácia das armas e da estratégia usada.
Eficiência é a qualidade de fazer com excelência, sem perdas ou
desperdícios (de tempo, dinheiro ou energia). Eficiente é aquilo ou aquele que
chega ao resultado, que produz o seu efeito específico mas com qualidade, com
competência, com nenhum ou com o mínimo de erros. O eficiente vai além do
eficaz. A eficiência tem uma gradação: uma pessoa, máquina ou organização
pode ser mais ou menos eficiente que outra. Uma secretária pode ser mais
eficiente amanhã do que hoje. Um sistema de refrigeração pode ser mais eficiente
que outro. Já a eficácia implica sim ou não: uma medicação, por exemplo, ou é
eficaz ou não é.
Efetividade, por sua vez, é também a qualidade do que atinge seu objetivo; é
a capacidade de funcionar normalmente, satisfatoriamente, porém tem mais a ver
com a realidade, com o que é real e verdadeiro. O efetivo está realmente
disponível, é incontestável, verificável, executável. Exemplos: Tal propaganda é
simples mas efetiva. A duração efetiva da prova será de uma hora. O diretor
efetivo (de fato, de verdade) é o filho e não o pai.”9
Assim, avaliar a eficácia de determinado programa é preocupar-se quanto ao
grau de alcance das metas estipuladas para um determinado período, sem que se
9
www.kplus.com.br

13
considere os custos incorridos. Assim, no caso de um programa de educação,
seria verificar, por exemplo, o percentual de crianças em idade escolar de
determinado município que estão efetivamente matriculadas em escolas públicas
num determinado ano.
A mensuração de eficiência, no entanto, já considera a relação entre os
produtos obtidos e os custos incorridos, também para um determinado período.
Admitindo o mesmo programa de educação, seria o gasto médio com educação
por aluno.
Medir a efetividade, por sua vez, é avaliar a relação entre os resultados
alcançados e os objetivos esperados. Muitas vezes é de difícil mensuração, já
que pressupõe uma idéia precisa do que se deseja obter. Seguindo com o
exemplo anterior, um indicador de efetividade seria avaliar a qualidade do ensino
em escolas públicas através do acompanhamento das notas médias do ENEM
(Exame Nacional do Ensino Médio). Este é o indicador que mais fornece
informações sobre o que se deseja medir, mas, em virtude da dificuldade em se
definir corretamente o que é ser efetivo, muitas vezes só podemos encontrar
indícios, através de indicadores de eficácia e eficiência e da utilização de
comparações com benchmarks10
, se o caminho percorrido corresponde ao
esperado.
Adicionalmente, há que se respeitar algumas propriedades que os
indicadores deverão possuir. “Segundo Sink11
, os indicadores em sua função de
instrumento de medida e de avaliação deverão possuir algumas características
que permitam sua operacionalização de forma simples e eficaz. Dentre as
características definidas pelo autor, podemos identificar as seguintes:
Simplicidade – o indicador deve ser uma ferramenta de simples manuseio e
compreensão, que permita visualizar as informações que representa.
10
“BENCHMARKING: Processo sistemático e contínuo de avaliação de estratégias, operações, processos,
metodologias de trabalho, produtos e serviços de organizações que efetivamente pratiquem e sejam
reconhecidas como melhores de uma determinada classe e como exemplos organizacionais. Trata-se,
portanto, de padrões referenciais das melhores práticas de mercado. Tem por objetivo servir de guia para

14
Ter um baixo custo de obtenção – o grande problema nas organizações
públicas é a grande quantidade de dados disponíveis e não tratados. A
identificação dos melhores indicadores deve repousar sobre aqueles que são mais
facilmente encontrados e cujo tratamento não requeira altos custos.
Estabilidade – o processo de avaliação nas organizações deve ter a função
de um fusível, que interrompe a corrente elétrica a medida que ele [sic] se torna
muito alta, ou seja, deve ser parte integrante do sistema e permitir feed-back ao
gestor. Nada mais perene que informações quotidianas, que sejam parte da rotina
de seu funcionamento.
Confiabilidade – as decisões a nível gerencial demanda [sic] muita
responsabilidade e pouco tempo para serem formuladas. Um bom indicador,
neste aspecto, deve estar embasado em informações confiáveis e coerentes sem
o que as decisões invariavelmente redundarão em fracasso.
Takashina12
acrescenta, apropriadamente, a característica de
comparabilidade para um bom indicador, tendo em vista a possibilidade de praticar
o benchmark com organizações similares e alcançar ganhos de qualidade.”13
Um último aspecto que não pode ser esquecido é a forma de apresentação
dos indicadores. É evidente que este aspecto não deve ser o de maior relevância
na montagem de um trabalho de avaliação de resultados, mas a escolha do
formato de apresentação mais adequado a cada aspecto que se pretende medir é
de fundamental importância para facilitar o entendimento do leitor. Basicamente,
estaremos interessados na construção de indicadores que possam ser
enquadrados numa das seguintes categorias:
§ Proporção ou Percentual: quando se quer avaliar uma parte do todo,
ou seja, representa uma divisão onde o numerador é um subconjunto
melhorias contínuas, dando subsídios ao estabelecimento de padrões de excelência.” In Dicionário de Termos
de Qualidade, p.51
11
SINK, D. Scott. Planejamento e Medição para a Performance. Rio de Janeiro: Qualitymark Ed.,1983.
12
Nota do autor: TAKASHINA, N.T. & FLORES, M.C.; “Indicadores de Qualidade e do Desempenho –
como estabelecer metas e medir resultados, Rio de Janeiro: Qualitymark Ed.
13
In Análise do Desempenho de Organizações Públicas Municipais, p.5 e 6.

15
do denominador e, portanto, seu resultado está compreendido num
intervalo entre 0 e 1;
§ Taxa de variação: destinado à comparação de uma mesma medida
em instantes diferentes. Normalmente se compara evolução de
algum aspecto num ano, em relação a sua posição no ano anterior;
§ Relação entre fatores distinto: para comparação de elementos
diferentes, por exemplo, nº de professores por cada 100 alunos ou
PIB per capita;
§ Tempo médio: destinado a avaliar quanto tempo se gasta, em média,
para cumprir determinada tarefa;
§ Valor Absoluto: refere-se à apresentação de um dado que, mesmo
de modo absoluto, já representa algum tipo de informação.
6. MODELOS TEÓRICOS PROPOSTOS
“Há pelo menos três grupos de pessoas interessadas quando se realiza uma
avaliação de determinado programa ou situação, ou seja, aqueles que coordenam
ou dirigem o programa ou projeto, imprimindo-lhe sua própria filosofia, aqueles
que são os destinatários e portanto beneficiários do empreendimento, vivenciando
seu cotidiano, e aqueles que são vítimas, ou seja, que podem ter sido afetados
pelo processo avaliativo, por falhas na sua condução, por efeitos impensados, ou
por perdas que devem ser evitadas (Guba e Lincoln, 1985).”14
São às necessidades de informação destes três grupos que devemos atender
ao desenvolver uma metodologia de avaliação de resultados. Para compreender
a construção dos indicadores que serão apresentados nesta seção, vejamos o
seguinte trecho de uma publicação sobre auditoria no setor público:
“Para que se possa analisar a receita pública sob a ótica da gestão, a partir
dos registros e demonstrativos contábeis, os auditores devem dispor de um
14
In Avaliação: Tendências e Tendenciosidades, p.5 e 6.

16
conjunto padronizado de indicadores da entidade e seu contexto. Prática
semelhante é utilizada para análise de balanço de empresas privadas. (...)
Sabidamente, isto não é uma tarefa fácil, especialmente quanto aos aspectos
metodológicos. Assim, por exemplo, não é prudente comparar um município que
possui sua atividade econômica centrada na industrialização com outros cuja
atividade é nuclearmente fundada em exploração agropecuária tradicional. Surge
a necessidade de delimitações e hierarquizações comparativas. Quanto melhor
forem estabelecidos e entendidos os critérios, mais duradouro será o indicador.”15
O que esta passagem deixa claro é a necessidade de se desenvolver
medidas que permitam fornecer evidências de como se encontra a gestão de
determinado Município, Estado ou qualquer outro jurisdicionado. No entanto, esta
não é uma atividade trivial e nem se esgota com a definição de uma determinada
metodologia, devendo estar sempre em constante evolução, conforme a mudança
nos níveis de exigência e de rumo da sociedade.
“Qualquer representação da realidade social – um filme documentário, um
estudo demográfico, um romance realista, é necessariamente parcial, menor do
que aquilo que se poderia vivenciar e achar disponível no ambiente real. É por
isso que as pessoas fazem representações: para relatar somente aquilo que é
necessário para fazermos o que nos propusemos a fazer. Uma representação
eficiente diz tudo que se precisa saber para um objetivo determinado, sem
desperdiçar tempo com o que não é necessário. Produtores e usuários de
representações, portanto, devem realizar várias operações sobre a realidade para
chegar desta realidade à compreensão final da realidade social que querem
comunicar.”16
Conforme abordado na introdução, este estudo pretende estabelecer uma
sugestão de indicadores indispensáveis para uma análise preliminar dos rumos de
determinada região. Mas, antes da proposição de indicadores, é preciso
reconhecer o tipo de análise que se busca alcançar. Basicamente, estaremos
interessados em avaliar algumas situações a priori e, outras, a posteriori.
15
In Auditoria Governamental, p. 44

17
A análise a priori, ou anterior à ocorrência dos fatos, é aplicável sempre que
se deseja definir a trajetória para se alcançar determinados objetivos. É de
extrema relevância para se traçar objetivos com a segurança de que estes
poderão ser alcançados, são factíveis. Serve para eliminar cenários cujos alvos,
no período considerado, jamais poderão ser acertados. É fundamental para gerar
as medidas que servirão de indicador para antecipação do cumprimento ou
descumprimento das metas traçadas, antes mesmo que o período delimitado para
a implantação de determinado programa chegue ao fim.
No entanto, uma avaliação a priori depende do correto estabelecimento de
metas, objetivos e indicadores que deverão ser considerados. No caso brasileiro,
os instrumentos que devem fornecer esta orientação são o Plano Plurianual, a
LDO e o Orçamento Anual, os três previstos tanto na Constituição de 1988 quanto
na Constituição Estadual de 1989. No entanto, há que se ter cuidado para que
estes não sejam apenas documentos sem um vínculo com a realidade e que
resultem de “um processo técnico e político, no qual se inserem instituições,
informações e agentes econômico-sociais.”17
A análise a posteriori, posterior à ocorrência dos fatos (ou pelo menos de
parte destes), serve para avaliar se os rumos desejados estão sendo tomados, ou
se há desvios de trajetória. São de extrema importância, pois revelam,
antecipadamente, se é preciso adotar medidas corretivas, se o ponto desejável
ainda é crível, ou não.
Fundamentalmente as duas análises podem ser baseadas nos mesmos
indicadores, mas a primeira corresponderá ao estudo da previsão dos indicadores
(e como estes atendem às necessidades de seus gestores) e, a segunda, ao
acompanhamento destes mesmos indicadores.
Uma avaliação de resultados terá sucesso na medida em que se escolha
indicadores adequados a cada realidade específica. Para tanto, é conveniente
comparar a performance dos indicadores referentes a uma entidade com relação
16
In Métodos de Pesquisa em Ciências Sociais, p.140 e 141.
17
In TCE-RJ e Análise das Contas Públicas: Avaliação de resultados e qualidade de vida, p.7.

18
ao desempenho de outras entidades similares. Mas é preciso que se tenha um
certo cuidado ao efetuar comparações, uma vez que não é conveniente estimulá-
las entre grupos díspares. Deste modo, em se tratando da avaliação de um
Município específico, deve-se procurar estudar seu desempenho em relação a
outros Municípios similares, ou seja, que contenham uma população de tamanho
similar, atividade econômica similar, nível de endividamento parecido, etc.
Outro aspecto relevante é a decisão do que avaliar. Alguns indicadores
podem ser facilmente definidos e são universalmente aplicáveis, mas outros
precisam ser estabelecidos de acordo com a realidade que se pretende alcançar.
“As medidas de desempenho e o gerenciamento de processos estão
focalizados no incremento da eficiência e efetividade dos processos, produtos e/ou
serviços, pela sua otimização. Essa ação acontece dentro de um ciclo contínuo
que monitora, identifica e captura as oportunidades de melhoria destes processos,
produtos e/ou serviços, por meio da implementação de melhores práticas.
As medidas de desempenho também devem possuir alguns atributos, quais
sejam:
è refletir tanto as necessidades dos clientes quanto da organização;
è fornecer uma base adequada para a tomada de decisões;
è ser de fácil compreensão;
è ter ampla aplicação;
è ser interpretada uniformemente;
è possível de ser mensurada com os sensores (informações)
existentes;
è ser precisa na interpretação dos dados;
è economicamente aplicáveis;
è confiabilidade;
è validade;

19
è relevância;
è consistência
Em síntese, as medidas de desempenho possibilitam:
è identificar se as necessidades dos clientes estão sendo
atendidas;
è revelar problemas e identificar oportunidades de melhoria;
è mostrar se as melhorias estão acontecendo.
Paradoxalmente, é muito difícil construir um indicador com todas as
propriedades listadas anteriormente, de modo que a opção por determinada
estatística sempre irá implicar em avaliação de trade-offs.
Por último, é importante ressaltar que toda a medida de desempenho deve
estar vinculada a uma meta ou padrão predefinido, pois é a única forma de
interpretar, significativamente, os resultados das medidas e estimar o sucesso de
um sistema administrativo.”18
“A avaliação vai analisar o valor de algo em relação a algum anseio humano.
Não é possível avaliar sem um referencial, não é possível uma avaliação sem um
pólo de referência. Em última instância, a referência é sempre o homem, o seu
bem, a sua satisfação ou mesmo o seu prazer. Torna-se então fundamental a
visão clara da finalidade do valor para o estabelecimento de critérios que
possibilitem a sua aferição.”19
Outro ponto a ser destacado e que não pode ser desconsiderado na
construção de indicadores é que estes devem atender às necessidades de seu
cliente. Se considerarmos como cliente maior da administração pública a
sociedade, é indispensável, então, que a avaliação proposta contemple todos os
princípios estabelecidos pela Constituição de 1988. Segundo o artigo 37, “A
administração pública, direta e indireta de qualquer dos Poderes da União, dos
Estados, do Distrito Federal e dos Municípios obedecerá aos princípios de
18
In notas de aula (prof. Carlos Alberto Sampaio), p.58.
19
In A Velha e a Nova Questão da Avaliação, p.371 e 372.

20
legalidade, impessoalidade, moralidade, publicidade e eficiência (...).“ Assim, para
que se obtenha uma avaliação de resultados satisfatória, estes cinco aspectos
deverão estar contemplados, direta ou indiretamente.
Para atingir o objetivo inicialmente proposto de construir indicadores de
desempenho para avaliações de resultados de entes jurisdicionados, este trabalho
sugere que a análise seja baseada em três grupos de indicadores: indicadores
gerais, indicadores sociais e indicadores específicos.
Os indicadores gerais devem ser construídos de forma a permitir uma
avaliação financeira da saúde do órgão, programa ou instituição sob análise.
Devem concentrar-se na análise das receitas e despesas contempladas nos
cálculos de resultado primário, operacional e nominal e servirão de base para
avaliar a evolução da capacidade de geração de recursos e do nível de
comprometimento destes. Como proposta inicial, devem ser contempladas,
basicamente as informações descritas na tabela 120
:
20
Os indicadores apresentados nesta e nas próximas tabelas, basearam-se nos indicadores apresentados no
livro “Auditoria Governamental”, no artigo “Análise do desempenho de Organizações Públicas Municipais”,
no trabalho “Tópicos Gerais dos Estudos .Sócio-econômicos dos Municípios 1997-2001” e no livro
“Indicadores Sociais no Brasil”.

21
TABELA 1: INDICADORES GERAIS PROPOSTOS
INDICADOR FÓRMULA CRESCIMENTO INDICA
PIB per capita PIB total / # habitantes Aumento da renda média
Renda familiar per capita
média ajustada
Renda Familiar total / nº de
pessoas na família
Melhoria no padrão de
compra
IPTU per capita (para
Municípios)
IPTU / # habitantes Elevação da arrecadação
Média
ISS per capita (para
Municípios)
ISS / # habitantes Elevação da arrecadação
Média
ICMS per capita (para
Estados)
ICMS / # habitantes Elevação da arrecadação
Média
IPVA per capita (para
Estados)
IPVA / # habitantes Elevação da arrecadação
Média
Receita Fiscal na receita Tributos / Receita
Orçamentária
Elevação relativa do esforço
de arrecadação
Receitas de
Transferências na receita
Transferências líquidas
correntes e de capital /
Receita orçamentária
Diminuição da participação
relativa do esforço de
arrecadação
Empréstimos e
Financiamentos na receita
Operações de crédito /
Receita orçamentária
Incremento relativo das
obrigações com terceiros
Pessoal nas receitas
correntes
Pessoal / despesas correntes Aumento relativo do gasto
com pessoal
Pessoal no total de
despesas
Pessoal / despesa realizada Aumento relativo do gasto
com pessoal
Investimento per capita Investimentos / População
residente
Quanto maior melhor
Encargos da dívida na
despesa
Serviço da dívida / despesa
realizada
Incremento relativo do custo
das obrigações com
terceiros
Amortização da dívida na
despesa
amortização da dívida /
despesa realizada
Diminuição relativa do nível
de endividamento
Amortização da dívida no
total de despesas
financeiras
amortização da dívida /
(amortização + serviço) da
dívida
Diminuição do custo de
endividamento
Equilíbrio Orçamentário Receita realizada / despesa
executada
Aumento relativo das
receitas em relação às
despesas
Comprometimento da
Receita com Máquina
Administrativa
Despesa de custeio / receitas
correntes
Maior comprometimento da
receita
Autonomia Financeira Receita tributária própria /
despesas de custeio
Maior autonomia financeira

22
INDICADOR FÓRMULA CRESCIMENTO INDICA
Esforço Tributário Próprio (Receita Tributária Própria +
inscrição na dívida ativa) /
receita arrecadada
Maior independência quanto
à arrecadação de receita
Carga Tributária per
capita
(Receita Tributária Própria +
inscrição na dívida ativa) /
população residente
Incremento relativo da
arrecadação tributária
Despesa de Custeio per
capita
Despesa de custeio /
população residente
Incremento relativo do
comprometimento da receita
Grau de Investimentos Investimentos / receita total Maior investimento relativo
Liquidez Corrente Ativo financeiro / passivo
financeiro
Melhoria da liquidez
Seguindo os modelos das Constituições de Portugal, promulgada em 1976 e
emendada em 1982, e da Espanha, promulgada em 1978, a Carta Magna
brasileira privilegia as propostas da área social, incluindo dispositivos no sentido
de atender as necessidades das classes sociais menos favorecidas. Portanto, um
grupo de medidas para apurar o cumprimento, ou não, dos objetivos estabelecidos
em nossa Constituição é de extrema importância quando se buscar avaliar
resultados segundo critérios de eficácia, eficiência e efetividade.
Os indicadores sociais devem ser elaborados de modo a se verificar o
atendimento dos direitos sociais especificados na Constituição. Na constituição
promulgada em 5 de outubro de 1988, o caput do artigo 6º, referente aos direitos
sociais, estabelece:
“Art. 6º São direitos sociais a educação, a saúde, o trabalho, a moradia, o
lazer, a segurança, a previdência social, a proteção à maternidade e à infância, a
assistência aos desamparados, na forma desta constituição.”
Deste modo, acredita-se que seja conveniente estabelecer indicadores para
cada um destes direitos assegurados na carta magna. Assim, a tabela 2
apresenta uma série de medidas que podem auxiliar o acompanhamento da
trajetória destes quesitos.
Vale destacar que os indicadores listados a seguir não esgotam todas as
possibilidades de avaliação, mas concentram-se nas variáveis que, nesta data,

23
eram periodicamente aferidas pela Administração Pública do Estado do Rio de
Janeiro. Como uma das características fundamentais de um índice deve ser a sua
facilidade de medição, os indicadores apresentados atenderiam a este pré-
requisito, tornando viável e factível a realização de uma análise efetiva.
TABELA 2: INDICADORES SOCIAIS PROPOSTOS
INDICADOR FÓRMULA CRESCIMENTO INDICA DIREITO EM
FOCO
Impostos
aplicados no
ensino
Total das despesas admitidas
como normais para ensino / total
dos impostos e transferências
Aumento do dispêndio
relativo com este direito
Educação
Taxa de
analfabetismo da
população com
mais de 15 anos
Analfabetos com mais de 15 anos
/ população residente com mais
de 15 anos
Incremento relativo da
quantidade de analfabetos
Educação
Escolaridade
Média
Média ponderada dos anos de
estudo pela quantidade de
indivíduos com mais de 15 anos
Melhoria da escolaridade
média
Educação
Disponibilidade
de vagas em
Escolas Públicas
Nº de vagas em escolas públicas
/ População de 0 a 15 anos
Incremento relativo no nº de
vagas da rede pública de
ensino
Educação
Número de
Escolas por 1000
crianças
Nº de escolas / População de 0 a
15 anos * 1000
Incremento relativo no nº de
unidades da rede pública de
ensino
Educação
Taxa de
Repetência
Nº de alunos repetentes / total de
alunos repetentes e aprovados
Aumento da taxa de
repetência
Educação
Taxa de Evasão Nº de alunos repetentes e
aprovados / nº de alunos inscritos
Diminuição do abandono da
escola
Educação
Razão de alunos
por prefessor
Nº de alunos / nº de professores Menor quantidade relativa de
docentes
Educação
Razão de alunos
por funcionários
Nº de alunos / nº de Funcionários
de educação
Menor quantidade relativa de
funcionários
Educação
Taxa de Pessoal
em Educação
Quantitativo de pessoal na
educação / Quantitativo de
pessoal total
Maior participação relativa do
quantitativo funcional de
educação
Educação
% da despesa de
pessoal com
Educação
Despesa com pessoal na
educação / Despesa de Pessoal
Total
Maior participação relativa
dos gastos com pessoal de
educação
Educação
% da despesa
prevista com
Educação
Dotação orçamentária para
educação / dotação orçamentária
total
dos gastos previstos com
educação
Educação

24
FOCO
Índice de
crescimento de
matrículas
Nº de matrículast / nº de
matrículast+1
Aumento da população
atendida pela rede pública de
ensino
Educação
Leitos por 1000
habitantes
Nº de leitos / população residente
* 1000
Melhoria de capacidade de
atendimento
Saúde
Médicos por 1000
habitantes
Nº de médicos / população
residente * 1000
Melhoria de condições de
atendimento
Saúde
Mortalidade Nº de óbitos / população
residente
Aumento da Taxa de
Mortalidade
Saúde
Coeficiente de
unidades de
atendimento por
1000 habitantes
Nº de unidades de atendimento /
população residente * 1000
Melhoria de capacidade de
atendimento
Saúde
Taxa de Pessoal
em Saúde
Quantitativo de pessoal na saúde
/ Quantitativo de pessoal total
saúde
Saúde
% da despesa de
pessoal com
Saúde
Despesa com pessoal na saúde /
Despesa de Pessoal Total
saúde
Saúde
% da despesa
prevista com
Saúde
Dotação orçamentária para saúde
/ dotação orçamentária total
saúde
Saúde
Taxa de
empregados com
carteira
Empregados com carteira
assinada / Pessoal ocupado
Diminuição da informalidade Trabalho
Taxa de
assalariamento
Assalariados / total de ocupados Aumento da relativo na
quantidade de assalariados
Trabalho
Taxa de
desemprego
Desempregados /
(desempregados + ocupados)
Aumento da população
desempregada
Trabalho
Taxa de
participação da
PEA21
sobre PIA22
(ocupados + procurando trabalho
/ total de residentes com 10 anos
ou mais
Incremento relativo da PEA Trabalho
Taxa de
Favelização
População residente em favelas /
população residente total
Aumento relativo dos
residentes em favelas
Moradia
Taxa de
Urbanização
População residente em áreas
urbanas / total da população
residente
Diminuição relativa das
populações rurais
Moradia
Taxa de
Residentes em
imóveis próprios
População residente em imóveis
próprios / total da população
residente
Aumento relativo das
residências próprias
Moradia
21
População Economicamente Ativa; “Donas de casa, estudantes, aposentados, inválidos não fazem parte da
PEA, sendo considerados inativos”. In “Indicadores Sociais no Brasil”, p.89
22
População em Idade Ativa

25
FOCO
Taxa de
Homicídios
Número de homicídios / total da
população residente * 100000
Incremento nos índices de
criminalidade
Segurança
Taxa de Pessoal
em segurança
Quantitativo de pessoal na saúde
segurança
Segurança
% da despesa de
pessoal com
segurança
Despesa com pessoal na saúde /
segurança
Segurança
% da despesa
prevista com
segurança
Dotação orçamentária para saúde
segurança
Segurança
Carga de
Dependência de
crianças e idosos
(crianças £ 14 anos + adultos ³
65 anos) / população residentes
de 15 a 64 anos
Diminuição relativa da
População apta para o
trabalho
Previdência
Quantidade de
benefícios
Nº de benefícios concedidos no
ano
Incremento na quantidade de
beneficiários
Previdência
Gasto com
benefícios
Gasto com benefícios no ano Aumento nominal do gasto
com previdência
Previdência
Benefício Médio Gasto com benefícios no ano/ nº
total de benefícios
Crescimento no valor médio
pago a cada beneficiário
Previdência
Taxa de
Natalidade
Nascidos Vivos no ano /
População residentes estimada
no meio do ano * 1000
Incremento da natalidade Maternidade
Parturições Nº médio de filhos da população
feminina entre 15 e 49 anos
Incremento da natalidade Maternidade
Nascimentos
Hospitalares
Nº de nascimentos em hospitais /
nº de nascidos vivos no ano
Aumento do acesso a
hospitais
Maternidade
Esperança de
vida ao nascer
Nº médio de anos de vida de
recém nascido
Melhoria de condições de
vida
Infância
Mortalidade
Infantil
Nº de óbitos de 0 a 1 ano / nº de
nascidos vivos * 1000
Aumento na mortalidade
infantil
Infância
Mortalidade
Neonatal
Nº de óbitos neonatais / Nº de
óbitos de 0 a 1 ano
Aumento relativo dos óbitos
associados a fatores
biológicos
Infância
Mortalidade Pós-
natal
Nº de óbitos pós-natais / Nº de
óbitos de 0 a 1 ano
Aumento relativo dos óbitos
associados a fatores sócio-
econômicos
Infância
Investimento
Preventivo em
desenv. social
Investimento em Campanhas Mais investimento preventivo
na área de desenvolvimento
social
Desenvolvimen
to social
Taxa de Pessoal
em Desenv.
Social
Quantitativo de pessoal em
desenv. social / Quantitativo de
pessoal total
desenv. social
Desenvolvimen
to social

26
FOCO
% da despesa de
pessoal com
Desenv. Social
Despesa com pessoal em
desenv. social / Despesa de
Pessoal Total
desenv. social
Desenvolvimen
to social
% da despesa
prevista com
Desenv. Social
desenv. social / dotação
orçamentária total
desenv. social
Desenvolvimen
to social
Investimento em
equipamentos de
esportes e lazer
Investimento em equipamentos Aumento nominal dos
investimentos com
equipamentos de esporte e
lazer
Esporte e Lazer
Investimento em
esportes e lazer
Investimento em campanhas Aumento nominal dos
investimentos com esporte e
lazer
Esporte e Lazer
Taxa de Pessoal
em esporte e
lazer
esporte e lazer / Quantitativo de
pessoal total
esporte e lazer
Esporte e Lazer
% da despesa de
pessoal com
esporte e lazer
Despesa com pessoal em esporte
e lazer / Despesa de Pessoal
Total
esporte e lazer
Esporte e Lazer
% da despesa
prevista com
esporte e lazer
esporte e lazer / dotação
esporte e lazer
Esporte e Lazer
Na avaliação referente aos indicadores específicos, é difícil estabelecer
medidas universais, uma vez que se referem a cenários diversos, sendo muito
complicado elaborar indicadores que atendam a qualquer realidade específica.
Deste modo, em adição aos índices sugeridos, outros deverão ser construídos em
conjunto com os gestores de políticas públicas, de modo a antecipar o que
pretende ser alcançado, onde se pretende chegar, como se pretende chegar e se
o rumo está sendo adequado.
Na construção dos itens descritos na tabela 3, procurou-se optar pela
descrição de outros aspectos também coletados pela atual Administração Pública
do estado do Rio de Janeiro que, além de permitir uma avaliação contínua ao
longo do tempo, também tratam de temas hoje considerados bastante relevantes,
mas que não pertencem ao grupo dos direitos fundamentais. Talvez os exemplos
mais claros dos indicadores pertencentes a este grupo sejam os indicadores

27
relativos a transportes e meio-ambiente. Mais uma vez, é prudente reforçar que
outros indicadores podem e devem ser construídos em função das prioridades
traçadas por cada gestor.
TABELA 3: INDICADORES ESPECÍFICOS PROPOSTOS
INDICADOR FÓRMULA CRESCIMENTO INDICA ASPECTO EM
FOCO
Índice de autos de
infração
Nº de autos de infraçãot / nº de
autos de infraçãot-1
Crescimento nominal dos
autos infração
Meio Ambiente
% de
reflorestamento
Área reflorestada / área total Aumento das áreas
reflorestadas
Meio Ambiente
Investimento
Preventivo em
meio ambiente
Investimento em Campanhas de
meio-ambiente
Mais investimento
preventivo na área de meio
ambiente
Meio Ambiente
Gastos com
preservação
Gasto com ações de preservação Maior destinação de
recursos financeiros para
preservação
Meio Ambiente
Fiscais em meio
ambiente
Nº de fiscais de meio-ambiente Maior capacidade de
fiscalização
Meio Ambiente
Taxa de Pessoal
em meio ambiente
Quantitativo de pessoal em meio-
ambiente / Quantitativo de
pessoal total
do quantitativo funcional de
meio ambiente
Meio Ambiente
% da despesa de
pessoal com meio
ambiente
Despesa com pessoal em meio-
ambiente / Despesa de Pessoal
Total
meio ambiente
Meio Ambiente
% da despesa
prevista com meio
ambiente
Dotação orçamentária para meio-
ambiente / dotação orçamentária
total
meio ambiente
Meio Ambiente
Taxa média de
passageiros por
1000 habitantes
média de passageiros diários de
transportes públicos/ população
residente * 1000
Incremento na população
usuária de transportes
públicos
Transportes
Quantidade de
veículos públicos
por 1000
habitantes
Nº de veículos destinados a
transporte público / População
residente * 1000
Incremento na capacidade
de atendimento aos
usuários
Transportes
Taxa de
pavimentação
Km de estradas pavimentadas /
Km total
Melhoria das condições de
transporte
Transportes
Quantidade de
veículos por 1000
habitantes
Nº de veículos / População
residente
Incremento relativo da frota
total
Transportes

28
FOCO
Taxa de Pessoal
em transportes
Quantitativo de pessoal
transportes / Quantitativo de
pessoal total
transportes
Transportes
% da despesa de
pessoal com
transportes
transportes / Despesa de Pessoal
Total
transportes
Transportes
% da despesa
prevista com
transportes
transportes/ dotação
transportes
Transportes
Índice de
investimento em
cultura
Investimentos em culturat /
Investimentos em culturat-1
Aumento nominal dos
investimentos com cultura
Cultura
Taxa de Pessoal
em cultura
cultura / Quantitativo de pessoal
total
cultura
Cultura
% da despesa de
pessoal com
cultura
Despesa com pessoal em cultura
/ Despesa de Pessoal Total
cultura
Cultura
% da despesa
prevista com
cultura
cultura / dotação orçamentária
total
cultura
Cultura
Taxa de Pessoal
em urbanismo
urbanismo / Quantitativo de
pessoal total
urbanismo
Urbanismo
% da despesa de
pessoal com
urbanismo
urbanismo / Despesa de Pessoal
Total
urbanismo
Urbanismo
% da despesa
prevista com
urbanismo
urbanismo / dotação
urbanismo
Urbanismo
Índice de
atendimentos
Nº de atendimentost / nº de
atendimentost+1
Aumento nominal dos
atendimentos de defesa
civil
Defesa Civil
Investimento
Preventivo em
defesa civil
Investimento em prevenção em
defesa civil
Mais investimento
preventivo na área de
defesa civil
Defesa Civil
Funcionário de
defesa civil por
1000 habitantes
defesa civil / população residente
*1000
aumento quantitativo do
quadro funcional de defesa
civil
Defesa Civil
Taxa de Pessoal
em defesa civil
defesa civil / Quantitativo de
pessoal total
defesa civil
Defesa Civil

29
FOCO
% da despesa de
pessoal com
defesa civil
Despesa com pessoal em defesa
civil / Despesa de Pessoal Total
defesa civil
Defesa Civil
% da despesa
prevista com
defesa civil
defesa civil / dotação
defesa civil
Defesa Civil
Construções M2
de obras construídas Aumento nominal das
construções
Obras
Custo de obras Custo do m2
construído Aumento no custo de
construção
Obras
Tempo de
Execução
Tempo médio de execução Maior agilidade Obras
Investimento
Preventivo em
obras
Investimento em obras de
prevenção
Mais investimento
preventivo na área de obras
Obras
Taxa de Pessoal
em obras
Quantitativo de pessoal em obras
obras
Obras
% da despesa de
pessoal com obras
Despesa com pessoal em obras /
obras
Obras
% da despesa
prevista com
obras
Dotação orçamentária para obras
obras
Obras
Área limpa Km de área limpa Incremento nominal da
limpeza
Limpeza
Urbana
Investimento em
Limpeza Urbana
Investimento em equipamentos Aumento da capacidade na
área de limpeza urbana
Limpeza
Urbana
Investimento
Preventivo em
Limpeza Urbana
Investimentos em campanhas Mais investimento
preventivo na área de
limpeza urbana
Limpeza
Urbana
Taxa de Pessoal
em limpeza
urbana
limpeza urbana / Quantitativo de
pessoal total
limpeza urbana
Limpeza
Urbana
% da despesa de
pessoal com
limpeza urbana
limpeza urbana / Despesa de
Pessoal Total
limpeza urbana
Limpeza
Urbana
% da despesa
prevista com
limpeza urbana
limpeza urbana / dotação
limpeza urbana
Limpeza
Urbana
Taxa de
iluminação
Km de ruas iluminadas / Km total Aumento da taxa de
iluminação
Iluminação
Pública

30
FOCO
Instalação de
pontos de
iluminação
Instalações no ano Incremento da capacidade
de iluminação
Iluminação
Pública
Investimento em
iluminação pública
Investimentos em melhorias Aumento nominal dos
investimentos com
Iluminação
Pública
Equipes de
Atendimento
Nº de equipamentos de
atendimento
Melhoria da capacidade de
atendimento
Iluminação
Pública
Taxa de Pessoal
em ilum. pública
iluminação pública / Quantitativo
de pessoal total
Iluminação
Pública
% da despesa de
pessoal com ilum.
pública
iluminação pública / Despesa de
Pessoal Total
Iluminação
Pública
% da despesa
prevista com ilum.
pública
iluminação pública / dotação
Iluminação
Pública
Fazer um estudo dos indicadores de modo isolado, entretanto, é pouco
elucidativo, dado que os resultados medidos refletem apenas uma situação
pontual, do momento da apuração dos resultados. Para uma análise mais
apurada, há que se considerar mais três efeitos: o do atingimento de objetivos
estabelecidos, o da evolução da trajetória do Município ou Estado e o da
comparação da entidade avaliada em relação às melhores práticas, o benchmark.
Desta forma, recomenda-se uma análise no tempo, de pelo menos três anos,
acompanhada dos objetivos traçados originalmente no orçamento do último ano
em questão e do cenário que se pretende alcançar. Este último é de difícil
definição, já que sempre deve representar um ponto crível, factível. Assim,
recomenda-se optar por medidas já alcançadas por outros Estados ou Municípios
e que notadamente representem uma situação desejável.
Apesar da definição apresentada na seção 4 deste trabalho, que indica que o
benchmark deve representar o melhor desempenho verificado do que se está
medindo, não é recomendável escolher como parâmetro aquelas entidades com

31
desempenhos excepcionais, que formariam um grupo de outliers23
. Para evitar
esta situação, que poderia implicar em comparações espúrias, indica-se que a
escolha da instituição representativa do benchmark pertença ao grupo dos
melhores desempenhos, preferencialmente pertencendo ao quartil superior da
amostra disponível, garantindo a comparabilidade do indicador calculado com as
“boas práticas de gestão”24
.
“A importância do benckmark é a de permitir ao gestor o estabelecimento de
metas em relação a um referencial de qualidade.”25
7. OBTENÇÃO DOS DADOS
É de extrema importância que os indicadores apresentados sejam confiáveis.
Para tanto, deve-se privilegiar a transparência quanto aos seus cálculos e suas
fontes de informação, conferindo maior transparência a todo o processo de
avaliação. De preferência, sempre que possível, deve-se optar por buscar
informações em órgãos cuja idoneidade seja reconhecida e cuja metodologia de
apuração de dados seja clara. Também é desejável que as informações sejam
universais e disponíveis a qualquer cidadão interessado em recalcular os índices
apresentados.
No entanto, alguns dados não são apurados de forma rápida, ou têm uma
periodicidade de medição incompatível com o desejável. Neste caso, é possível
aplicar algumas técnicas para contornar o problema, desde que a metodologia de
cálculo seja disponibilizada junto com o trabalho de análise.
No caso de dados cuja apuração é mais lenta do que a que se deseja, indica-
se como metodologia a projeção do indicador, conforme a seguinte sugestão:
Indicadort+1 = Indicadort / indicadort-1 * indicadort
23
Em estatística, são outliers os valores atípicos e,muitas vezes, correspondem a erros de medição ou eventos
que ocorrem apenas sob circunstâncias extremas, cuja probabilidade de ocorrência é extremamente baixa.
24
In Manual de Auditoria de Nartureza Operacional, p.81.
25
In Análise do Desempenho de Organizações Públicas Municipais, p.13.

32
Na hipótese da periodicidade ser menor do que a desejada, pode-se utilizar
como artifício para estimar o indicador em períodos intermediários a seguinte
fórmula:
Indicadort+k = Indicadort * (Indicadort+t / Indicadort)k/t
Onde:
t é a periodicidade de medição;
k é a periodicidade desejada.
Caso a necessidade seja de projetar valores futuros, para eventos cujo
crescimento esperado é geométrico (como no caso das populações), recomenda-
se o uso do seguinte cálculo:
Indicadort+k = Indicadort * (Indicadort / Indicadort-t)k/t
Onde:
t é o tempo onde foi realizada a última observação da variável;
t é a periodicidade de medição;
k é a periodicidade desejada.
“Outra questão importante no gerenciamento dos indicadores é a formação
de uma série histórica, que é obtida através da guarda dos resultados obtidos ano
a ano. Estas informações permitem a análise através do tempo que, visualizada
em gráficos cartesianos, demonstram claramente se as ações empreendidas
estão surtindo o resultado esperado.”26
Adicionalmente, a montagem de um
banco de dados com as informações obtidas diminui o retrabalho e permite um
rápido acesso a informações passadas.
26
In Análise do Desempenho de Organizações Públicas Municipais, p.13.

33
8. EXPERIÊNCIAS BRASILEIRAS
Os trabalhos desenvolvidos no Brasil concentram-se, basicamente, na
realização de auditorias de desempenho. O Tribunal de Contas da União (TCU),
por exemplo, contém uma série de publicações com o resultado de auditorias de
programas sociais que visaram avaliar o “desempenho do Governo Federal em
áreas estratégicas para a sociedade brasileira.”27
Nestas publicações podemos
perceber uma preocupação em se fazer apenas uma verificação “ex-post” do que
ocorreu, conforme os seguintes trechos:
“O Tribunal de Contas da União realizou auditoria com o intuito de avaliar a
ação de identificação e assistência à saúde visual dos alunos matriculados na 1ª
série do Ensino Fundamental da Rede Pública, de forma a contribuir para a
diminuição dos índices de repetência e evasão escolar, coordenada pelo Fundo
Nacional de Desenvolvimento da educação – FNDE, do Ministério da educação –
MEC. (...)
O critério de seleção dos municípios participantes (municípios com 40.000
habitantes ou mais) restringe o acesso à Campanha prejudicando a promoção da
eqüidade. Dessa forma, a Campanha de 2000 atendeu apenas 4% dos
municípios com baixo Índice de Desenvolvimento humano – IDH (85 municípios),
deixando de atender 732.603 alunos matriculados na 1ª série do Ensino
Fundamental da Rede Pública dos 2.057 municípios com menos de 40.000
habitantes e baixo desenvolvimento humano. (...)
Os dados preliminares fornecidos pelo Conselho Brasileiro de Oftalmologia
demonstram ter ocorrido significativa perda de alunos nas diversas etapas de
atendimento na Campanha 2000, havendo grande variação de desempenho entre
as unidades da Federação.”28
“O Tribunal de Contas da União realizou, entre agosto e outubro de 2001,
auditoria com o intuito de avaliar o desempenho do Programa Irrigação e
Drenagem, constante do Plano Plurianual 2000-2003. (...)
27
In Avaliação do TCU sobre as ações de detecção e correção de problemas visuais, p.7.
28
In Avaliação do TCU sobre as ações de detecção e correção de problemas visuais, p.9 a 13.

34
O trabalho executado permitiu constatar a existência de fatores que dificultam
a melhoria do desempenho por parte dos perímetros de irrigação, dentre os quais
destacamos:
§ Inadimplência dos irrigantes com as tarifas de amortização do
investimento (K1) e de manutenção da infra-estrutura de uso comum
(K2);
§ Pouca integração entre órgãos responsáveis por ações ligadas à
irrigação;
§ Existência de grandes áreas irrigáveis ociosas nos perímetros de
irrigação;
§ Pouca organização por parte dos irrigantes para a comercialização
de sua produção;
§ Deficiência de gerenciamento do Programa;
§ Baixo grau de auto-sustentabilidade dos perímetros.”29
“O Tribunal de Contas da União realizou auditoria com o intuito de avaliar em
que medida o Programa de Erradicação do Trabalho Infantil – PETI tem
contribuído para retirar crianças e adolescentes de 7 a 14 anos, das atividades
laborais precoces, principalmente nas suas piores formas, mediante a
implementação das ações relativas à criança e ao adolescente em jornada escolar
ampliada. (...)
A pesquisa demonstrou que não existem dados precisos sobre o total de
crianças exercendo atividades laborais. Outro problema diagnosticado foi a
inexistência de critérios uniformes entre os municípios para a inclusão de crianças
no Programa, dificultando a identificação e seleção do público alvo. Existem,
ainda, municípios que entendem que o Programa destina-se às famílias pobres,
não o relacionando à condição de que as crianças estejam efetivamente
trabalhando.”30
29
In Avaliação do Programa Irrigação e Drenagem, p.9 a 11.
30
In Avaliação do TCU sobre o Programa de Erradicação do Trabalho Infantil, p.9 a 12.

35
“O Tribunal de Contas da União realizou auditoria com o objetivo de avaliar,
no Programa Valorização e Saúde do Idoso, as ações continuadas de assistência
social para atendimento mensal à pessoa idosa, que têm, como finalidade a
manutenção de serviços (alimentação, higiene, abrigo, material para lazer e
ocupação), a salvaguarda dos direitos sociais e o atendimento às vulnerabilidades
próprias desse ciclo de vida. (...)
A auditoria evidenciou problemas operacionais no cumprimento das diretrizes
governamentais, que dificultam o trabalho em conjunto entre os três níveis de
governo, e confirmou a pouca influência das ações governamentais no trabalho
desenvolvido pelas instituições prestadoras de serviços, sobretudo asilares.
Constatou, ainda, a falta de investimentos em novas modalidades de atendimento,
a insuficiência de recursos direcionados para a manutenção das instituições e o
atingimento de um número pequeno de pessoas, caso se compare a população
atendida com a população em situação de pobreza.”31
“O Tribunal de Contas da União realizou auditoria com o intuito de avaliar o
Programa Saúde da Família – PSF, criado em 1994, no âmbito do Ministério da
Saúde, a partir da experiência bem sucedida com o Programa de Agentes
Comunitários de Saúde – PACS. (...)
Assumem relevância a elevada rotatividade e a dificuldade na contratação
dos médicos das ESF [Unidade de Saúde da Família], decorrentes, dentre outros
motivos, da insatisfação com a precariedade do vínculo contratual de trabalho, o
excesso de atendimentos, a dificuldade de acesso ao local de trabalho e as falhas
no sistema de referência e contra-referência.(...)
A análise dos questionários indica que as ESF são responsáveis por um
número excessivo de famílias, além do limite máximo preconizado pelo Ministério
da Saúde (4.500 pessoas). O mesmo acontece com as ACS [ Agentes
Comunitários de Saúde], tendo em vista que apenas 27% deles não ultrapassam o
limite recomendado (750 pessoas). Assim, como a demanda espontânea às USF
31
In Avaliação do TCU sobre as ações de atendimento à pessoa idosa, p.9 a 11.

36
ainda é muito grande, o tempo disponível para a realização de ações de promoção
e prevenção à saúde fica prejudicado.
Outra constatação diz respeito aos sistemas de referência (serviço, ao qual é
encaminhado o beneficiário, para atendimento mais complexo e apoio
diagnóstico), ainda inadequados, para os níveis de média e alta complexidade.”32
De modo geral, o que se pode perceber é que, atualmente, a avaliação de
resultados vem se limitando a realização de auditorias de desempenho, limitando
as análises a constatações. Com isto, elimina-se uma etapa extremamente
importante da avaliação, uma vez que não é mais possível corrigir erros passados.
É claro que este trabalho também é bastante relevante, na medida em que aponta
possíveis medidas a serem adotadas, mas ainda pode ser aprimorado se for dada
a devida atenção ao planejamento inicial.
“As avaliações a serem realizadas devem comparar os níveis atuais de
performance ou desempenho com parâmetros ou indicadores de qualidade pré-
estabelecidos e apresentar um elenco de recomendações e padrões mínimos de
funcionamento que devem ser atingidos em determinado tempo, de modo a
proporcionar a melhoria do desempenho do órgão ou serviço avaliado.”33
Portanto, fica claro a relevância de se definir melhor as metas, orçamentos e
expectativas, muitas vezes relegados a um segundo plano. Esta etapa é
fundamental para a construção de indicadores que gerem informação e permitam
um diagnóstico preciso do que está sendo avaliado.
“Trabalhos recentes do Tribunal de Contas da União (...) mostram uma
tendência à vertente de fomento ao desenvolvimento de indicadores de
desempenho nos programas governamentais.”34
Deste modo, há que se concentrar esforços no desenvolvimento da
metodologia de avaliação de resultados como um todo e não apenas de uma
etapa deste. Há que se estender, também, a sua aplicação, uma vez que,
32
In Avaliação do Programa de Saúde da Família – PSF, p.9 a 12.
33
In Avaliação da ação dos governos municipais, p.9.
34
In Estratégias de auditoria de desempenho governamental: proposta de um modelo analítico, p.6.

37
atualmente, concentra-se na verificação de programas, enquanto poderia estar
sendo utilizada para monitoramento de organizações, políticas, órgãos, etc. Não é
possível identificar, hoje, um padrão a ser seguido, o que facilitaria a difusão dos
resultados encontrados.
A Fundação Cesgranrio apresenta outros trabalhos de avaliação de
resultados de programas dentro da área de educação. “A Cesgranrio adota uma
concepção de avaliação que procura estar em sintonia com os avanços na área do
conhecimento. De acordo com a coordenadora do Centro de Avaliação e
Desenvolvimento Institucional, Thereza Penna Firme, (...), a avaliação se
preocupa com o aperfeiçoamento. – Todo trabalho de avaliação – afirma ela – visa
a conclusões que levem a uma ação, a um aperfeiçoamento. E isso porque
envolve essencialmente o juízo de valor. (...) Uma avaliação termina com
recomendações que levem a uma ação. (...) E ela cita quatro características
fundamentais no processo de avaliação: deve ser útil para as pessoas envolvidas
no processo; viável, isto é, feita em tempo hábil; ética, ou seja, de maneira a
respeitar os valores das pessoas envolvidas, mas num processo de negociação,
de entendimento; e precisa, o que significa, ser bem feita, com cuidado, com
procedimentos adequados.”35
Nos Tribunais de Contas Estaduais também são encontrados alguns
trabalhos voltados para a ótica da avaliação de resultados. No TCE/RJ, por
exemplo, “esse tipo de abordagem foi utilizado no exame das contas de gestão do
Estado do Rio de Janeiro, exercício/99, embora a análise tenha sido prejudicada
em alguns aspectos, pela falta de indicadores e medidas de desempenho que
deveriam constar do Plano Plurianual, da Lei de Diretrizes Orçamentárias e da Lei
de Orçamento Anual do referido exercício.”36
Adicionalmente, foi iniciado em 2002, pelo Núcleo de Estudos
Socioeconômicos da Secretaria Geral de Planejamento, um estudo no sentido de
divulgar indicadores municipais que auxiliassem a elaborar e executar “planos, leis
de diretrizes orçamentárias e orçamentos anuais, fornecendo elementos que
35
In Revista Cesgranrio, nº1, p.14 e 15.

38
podem ser utilizados na realização de avaliações, bem como contribuindo para
que esses documentos, juntamente com as prestações de contas, e suas versões
simplificadas, se tornem verdadeiros instrumentos da transparência da gestão,
como determina a Lei de Responsabilidade Fiscal.”37
Nos demais Estados, pode-se destacar a atuação inovadora dos Tribunais de
Contas da Bahia e do Paraná, cujos trabalhos no sentido de implementar e
realizar auditorias de desempenho vêm crescendo significativamente. No entanto,
as atuações brasileiras, nesta área, ainda são bastante pontuais, o que indica uma
necessidade de buscar aprimorar a troca de experiência entre as entidades
fiscalizadoras, o que possibilitará um aprimoramento das técnicas empregadas.
9. CONCLUSÕES
Este trabalho pretendeu dar uma visão pragmática quanto à implantação dos
novos modelos de Administração Pública. Trata-se de um esforço pioneiro no
sentido de delimitar índices que sejam representativos da trajetória do Setor
Público.
Foi demonstrado que, mesmo sem um esforço no sentido de se construir um
detalhamento adequado das metas e objetivos, ainda assim, com uma gama de
indicadores gerais é possível se obter informações relevantes quanto ao caminho
que determinado Estado ou Município está tomando.
Este estudo faz parte de um esforço cada vez mais crescente de aumentar o
processo de transparência da gestão pública. Neste caso, entende-se por
transparência o reconhecimento do ponto onde estamos, para onde gostaríamos
de ir, para onde podemos, efetivamente, ir, e como podemos alcançar o que é
factível e como demonstrar isto à sociedade.
A este esforço soma-se os três instrumentos tornados obrigatórios a partir da
Constituição Federal de 1988: Plano Plurianual (PPA), a Lei de Diretrizes
36
In TCE-RJ e Análise das Contas Públicas: Avaliação de resultados e qualidade de vida,p.1
37
In Avaliação da ação dos Governos Municipais, p.9.

39
Orçamentárias (LDO) e a Lei Orçamentária Anual (LOA). E acrescenta-se a Lei
de Responsabilidade Fiscal (LRF) que, apesar de ter sido responsável pela
criação de mecanismos de controle de receitas, despesas e endividamento, não
deve servir como único balizador da gestão, e não deve esgotar esforços neste
sentido. O modelo de gestão atualmente requerido pela Nova Administração
Pública transcende estes fatores e deve englobar todos os direitos sociais
garantidos pela constituição de 1988, além de garantir o atendimento às novas
demandas que possam se tornar prioritárias para a sociedade, como parece estar
sendo o caso do meio-ambiente.
Desta forma, o trabalho aqui apresentado deve servir de base e estímulo
para a construção de novos indicadores e de um esforço no sentido de se buscar
detalhar melhor as metas incluídas em cada PPA ou LOA, uma vez que uma
análise mais apurada depende fortemente do estabelecimento de objetivos mais
detalhados a priori.
Vale destacar que todo este esforço só é possível com uma reestruturação
efetiva do controle interno, que, conforme nos lembra o trabalho do TCE-RJ
(2001), deve contemplar não apenas a mensuração física da gestão e dos
programas de governo, mas também deve ser capaz de estabelecer relações
pertinentes com emprego dos recursos, de forma que se possa avaliar o
progresso alcançado na consecução dos objetivos da política e das metas dos
programas de trabalho. Estas medidas representariam um auxílio significativo na
tarefa de reorientação de planos e programas, e ajudariam administração a
adaptar tais planos e programas à situação econômico-social vigente, além de
destinarem-se à implementação da avaliação quanto à eficiência relativa.
Mais objetivamente, segundo MESQUITA (2001), podemos pensar que o
investimento tanto no controle interno quanto no controle social não podem ser
negligenciados devido às sanções legais impostas com a aprovação de Lei de
Responsabilidade Fiscal.
Um fator que não fez parte do escopo deste estudo, mas também de extrema
importância, é que se busque ampliar a análise para os custos de oportunidade.

40
Um exemplo disso é avaliar se os recursos abdicados trouxeram benefícios acima
dos custos, ou se o bem-estar poderia ter sido ampliado com a utilização de outros
mecanismos de subsídio em detrimento de receitas tributárias. Só com a
incorporação deste conceito será possível avaliar integralmente o atendimento,
pelos gestores do setor público, dos princípios de transparência, legalidade,
impessoalidade, moralidade, publicidade e eficiência, disposto no caput do artigo
37 da Constituição federal de 1988.
Por fim, destaca-se o seguinte trecho do livro de Becker: “A mesma realidade
pode ser descrita de um enorme número de maneiras, visto que descrições podem
ser respostas para qualquer uma dentre uma multidão de questões. Podemos
concordar em princípio que nossos procedimentos devem permitir chegar à
mesma resposta para a mesma questão, mas, na realidade, nós só colocamos a
mesma questão quando as circunstâncias da interação e da organização social
produziram consenso sobre este ponto. Isto acontece quando as condições em
que vivem as pessoas permitem que elas vejam certos problemas como comuns,
como problemas que demandam certos tipos de representação da realidade social
em base rotineira, e, assim, criam as condições para o desenvolvimento de
profissões e qualificações que produzem estas representações para uso. Em
conseqüência, algumas questões são colocadas e respondidas, enquanto outras,
igualmente boas, interessantes e de valor, e mesmo cientificamente importantes,
são ignoradas, ao menos até que a sociedade mude o bastante para que as
pessoas que precisam destas respostas passem a controlar os recursos que lhes
permitiriam obter uma resposta.”38
38
In Métodos de Pesquisa em Ciências Sociais, p. 151 e 152.

41
10.BIBLIOGRAFIA
BARZELAY, M.; “Instituições Centrais e Auditoria de Desempenho: Uma Análise
Comparativa das Estratégias Organizacionais na OCDE”.
BECKER, H.; “Métodos de Pesquisa em Ciências Sociais”; Segunda Edição; São
Paulo; Editora Hucitec, 1994.
BRASIL. FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DO RIO DE
JANEIRO; “Indicadores Sociais do Estado do Rio de Janeiro”; Fundação de
Amparo à Pesquisa do Estado do Rio de Janeiro; Rio de Janeiro; 1982.
BRASIL. FUNDAÇÃO CESGRANRIO; “ENSAIO: Avaliação e Políticas Públicas
em Educação”; Fundação Cesgranrio; Rio de Janeiro; v.1, n.2 (jan./mar. 1994);
1994.
BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do Programa de Saúde
da Família – PSF”; Tribunal de Contas da União; Brasília: TCU, Secretaria de
Fiscalização e Avaliação de Programas de Governo, 2002.
BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre as ações
de atendimento à pessoa idosa”; Tribunal de Contas da União; Brasília: TCU,
Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002.
BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre as ações
de detecção e correção de problemas visuais”; Tribunal de Contas da União;
Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo,
2002.
BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre o
Programa de Erradicação do Trabalho Infantil”; Tribunal de Contas da União;
Brasília: TCU, Secretaria de Fiscalização e Avaliação de Programas de Governo,
2002.
BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Avaliação do TCU sobre o
Programa Irrigação e Drenagem”; Tribunal de Contas da União; Brasília: TCU,
Secretaria de Fiscalização e Avaliação de Programas de Governo, 2002.
BRASIL. TRIBUNAL DE CONTAS DA UNIÃO; “Manual de Auditoria de Natureza
Operacional”; Tribunal de Contas da União; Brasília: TCU, Coordenadoria de
Fiscalização e Controle, 2000.
BRASIL. TRIBUNAL DE CONTAS DO ESTADO DO RIO DE JANEIRO; “TCE-RJ e
Análise das Contas Públicas: Avaliação de Resultados e Qualidade de Vida”;
Tribunal de Contas do Estado do Rio de Janeiro; Cuiabá; TCE-RJ, gabinete
Conselheiro Nader, 2001.

42
BRASIL. TRIBUNAL DE CONTAS DO ESTADO DO RIO DE JANEIRO; “Tópicos
Gerais dos Estudos Sócio-econômicos de Municípios: 1997-2001”; Tribunal de
Contas do Estado do Rio de Janeiro; Rio de Janeiro: TCE-RJ, Secretaria Geral de
Planejamento; Mimeo.
CARLEY, M.; “Indicadores Sociais: Teoria e Prática”; Zahar Editores; Rio de
Janeiro; 1985.
CRUZ, F.; “Auditoria Governamental”; Ed. Atlas; São Paulo; 2ª edição; 2002.
FILHO, A. & OLINQUEVITCH, J.L.; “Análise de Balanços para Controle Gerencial:
Enfoque sobre o fluxo de caixa e previsão de rentabilidade”; Ed. Atlas; São Paulo;
3ª edição; 1993.
FIRME, T.; “Avaliação: Tendências e Tendenciosidades”, In: ENSAIO: Avaliação e
Políticas Públicas em Educação; Fundação Cesgranrio; Rio de Janeiro; v.10, n.37
(out./dez. 2002); 2002.
FREITAS, C.; “Estratégias de Auditoria de Desempenho Governamental: Proposta
de um Modelo Analítico”; Mimeo.
FREITAS, C.; “Notas de Aula – Curso Auditoria de Desempenho”; Mimeo, FGV;
Rio de Janeiro, 2003.
JANNUZZI, P.; “Indicadores Sociais no Brasil”; São Paulo; editora Alínea, 2001.
MORAES, A. (Org); “Constituição da República Federativa do Brasil de 5 de
outubro de 1988”; Ed. Atlas; São Paulo; 20ª edição; 2ª Tiragem; 2003.
MESQUITA, R., ALBUQUERQUE, G. & SENNA, E.; “Avaliação da Ação dos
Governos Municipais”; TCE-RJ; Rio de Janeiro. Mimeo
MESQUITA, R.; “Emenda Constitucional 25: Lei de Responsabilidade Fiscal,
Controle Social”; TCE-RJ; Rio de Janeiro, 2001.
MESQUITA, R.; “Novo Enfoque do exame das Contas Públicas”; TCE-RJ; Rio de
Janeiro. Mimeo.
MESQUITA, R. & ALBUQUERQUE, G.; “Planos e Instrumentos de Planejamento –
PPA, LDO e LOA – Pontos Controversos”; TCE-RJ; Rio de Janeiro. Mimeo.
MUCCHIELLI, A.; “Les Méthodes Qualitatives”; Presses Universitaires de France;
Paris; 1ª edição; 1991.
PRAZERES, P.; “Dicionário de Termos da Qualidade”; Editora Atlas; São Paulo;
1996.
REVISTA CESGRANRIO, nº1, out/1997

43
SANDRONI, P.; “Dicionário de Economia”. São Paulo: Editora Best Seller; 1985.
SANTOS, O., RINGENBERG, D. & BERTOLOTTO, Z.; “Eficiência, Eficácia e
Efetividade: Diretrizes a Nortear os Tribunais de Contas Diante da Lei de
Responsabilidade Fiscal”; TCE-SC; Cuiabá; 2001.
SODERSTROM, E.; “Social Impact Assessment: Experimental Methods and
Approaches”; Praeger Publishers; USA; 1981.
TEIXEIRA, R.; “O Tribunal de Contas do Estado do Espírito Santo e a Auditoria de
Desempenho”; Dissertação de Mestrado, FGV; Rio de Janeiro; 2001.
WERNECK, V.; “A Velha e a Nova Questão de Avaliação”; In: ENSAIO: Avaliação
e Políticas Públicas em Educação; Fundação Cesgranrio; Rio de Janeiro; v.4, n.13
(out./dez. 1996); 1996.
GOMES, R.; “Análise do Desempenho de Organizações Públicas Municipais”;
ENANPAD, 1997. Mimeo.
www.kplus.com.br

Avaliação de resultados no setor público do RJ: teoria e indicadores

Recomendados

Recomendados

Más contenido relacionado

Similar a Avaliação de resultados no setor público do RJ: teoria e indicadores

Similar a Avaliação de resultados no setor público do RJ: teoria e indicadores (20)

Avaliação de resultados no setor público do RJ: teoria e indicadores