O documento propõe um modelo classificatório para prever o risco de transferências voluntárias entre entes da federação falharem. O modelo é treinado com dados de quase 10 mil transferências passadas e usa várias variáveis para classificar o risco em duas categorias: êxito ou fracasso. Testes iniciais mostraram que o modelo acerta a classificação em cerca de 90% dos casos.

1. Classificação de Risco de
Transferências Voluntárias
João Batista Rodrigues Fonseca
Secretaria de Gestão de Informações para o Controle Externo – Seginf
Diretoria de Gestão de Informações Estratégicas – DGI
Setembro/2015

2. • Probabilidade de ocorrência de um evento que possa
prejudicar, total ou parcialmente, as chances de sucesso de
um projeto. (ALENCAR E SCHMITZ, 2006)
• Valor, estimado ou calculado, da probabilidade da
ocorrência de um fato ou da sua gravidade, sendo
normalmente relacionado a possíveis perdas ou impactos
negativos. (BM&F BOVESPA, 2012, com adaptações)
• Probabilidade de ocorrência de um evento que poderá
impactar o alcance dos objetivos que afetam a entrega dos
serviços governamentais para o cidadão. (NAO apud
TCU/FGV, 2005, com adaptações)
Definição de Risco

3. • Definição: transferências de recursos a outros entes da
federação ou a entidades privadas, a título de cooperação,
auxílio ou assistência financeira, que não decorra de
determinação constitucional, legal ou os destinados ao Sistema
Único de Saúde.
• Finalidade: descentralização de políticas públicas
• Escopo de análise: Siconv
– cerca de 89 mil transferências desde 2008
– abrange convênios, contratos de repasse e termos de parceria
– informações disponíveis sobre todo o ciclo de vida das transferências
– transferências voluntárias executadas fora do Siconv são exceção
Transferências Voluntárias

4. – elemento transversal: existência (ou não) de débito
Obrigação de devolução de recursos por não comprovação de boa
utilização é sintoma de falha na entrega da política pública em nível
local
Problema
• Elevado número de irregularidades
• Limitada capacidade operacional
dos órgãos de controle
• Diversidade de políticas públicas:
– objetos e regulamentos diversos
– aspectos comuns às transferências
voluntárias são de natureza formal

5. Requisitos
Subsidiar ações:
 Tempestivas
 Preventivas
 Pedagógicas
Subsidiar atuação:
 Sistêmica
 Seletiva
CAPACIDADE
PREDITIVA
Mineração de dados
Dados
Solução Proposta

6. Mineração de Dados
• É a exploração e a análise, por meio automático ou
semiautomático, de grandes quantidades de dados, a
fim de descobrir padrões e regras significativos.
(BERRY e LINOFF, 2004)
• Objetivo: extrair informação de dados
– implícita
– previamente desconhecida
– potencialmente útil
• Nossa necessidade: prever o resultado da execução de
transferências voluntárias

7. Capacidade Preditiva
• Capacidade de fazer previsões sobre eventos
desconhecidos
• Os eventos podem estar no passado, no presente ou no
futuro

8. Solução Proposta
• Modelo Classificatório: infere regras de classificação a
partir de objetos previamente classificados
• Risco: probabilidade de a política pública fracassar
• Débito: indicativo de fracasso
• Classes:
– Êxito: submetida ao escrutínio de uma das possíveis instâncias
de controle, constata-se a correta aplicação dos recursos, salvo
falhas formais, não se configurando nenhuma das hipóteses de
devolução de recursos por não comprovação de boa utilização.
– Fracasso: configura-se uma das hipóteses de devolução de
recursos por não comprovação de boa utilização.

9. • Compreensão do negócio
• Levantamento e compreensão dos dados
• Levantamento de variáveis de interesse e
de técnicas possíveis
• Preparação dos dados
• Modelagem
• Teste/Validação
• Avaliação
• Implementação
Fases da Metodologia
estamos aqui

10. • Variáveis:
– diretas: modalidade, órgão concedente, esfera administrativa do
convenente, etc;
– indiretas: faixa de valor do repasse, percentuais de contrapartida e
de liberação de recursos, prazo de aprovação, etc;
– calculadas: indicador de tempo de análise, capacidade de
fiscalização do concedente, etc.
• Dados de aprendizado – 9823 transferências voluntárias:
– 50% com indicação de fracasso: existência de TCE, registro de
inadimplência, não atingimento dos objetivos previstos
– 50% com indicação de êxito: foram fiscalizados e não foram
constatadas irregularidades graves
Construção do Modelo Classificatório

11. Modelo Classificatório – Aprendizado
85% 15%
Treinamento
Floresta de árvores de decisão C5.0
(Quinlan, 1993)
Teste
Acurácia: 90%
Falso : 4,5%
Falso : 5,5%
Modelo

12. • Classificação da base de dados do Siconv
• Previsão (probabilidade) das 89 mil transferências
Modelo Classificatório – Aplicação

13. • Fiscalização para validar o modelo
• TC 010.247/2015-7 (MIN-BZ)
• Coordenação: Secex-MT
• ES, GO, MA, MS, MT, PR, RR, RS e SC
• Conclusão: outubro/2015
Modelo Classificatório – Validação
• Dados preliminares indicam alta taxa
de acerto das previsões (>90%)

14. • Fiscalização sistemática
• Ranqueamento
• Órgão
• Programa
• Convenente
• Município
• UF
Perspectivas

15. Obrigado!
Contato: João Batista Rodrigues Fonseca
fonsecajb@tcu.gov.br
dgi@tcu.gov.br