1. UNIVERSIDADE FEDERAL FLUMINENSE
PRÓ-REITORIA DE GESTÃO DE PESSOAS
COORDENAÇÃO DE PESSOAL TÉCNICO-ADMINISTRATIVO
DIVISÃO DE CAPACITAÇÃO E QUALIFICAÇÃO
AVALIAÇÃO DE IMPACTO DA CAPACITAÇÃO – PERÍODO 2006/2010
Autores
Aline da Silva Marques;
Cenira Soares da Matta
Eduardo José Bedran
Isis Amaral Franca
Marcelo Barbosa
Maria Clara de Carvalho Lopes
Marilda de Souza Camargo
Marta Cavalcante Assumpção Moniz
Rosana Therezinha Queiroz de Oliveira
Stephanie Caroline Boechat Correia
Solange Machado Blanco
Solange Barbosa Bittencourt
1. Introdução
1.1. Visão e Missão da Universidade
A Universidade Federal Fluminense, Instituição de Ensino, Pesquisa e Extensão, do estado do
Rio de Janeiro, com sede na cidade de Niterói, que tem por Missão e Visão:
Missão:
“Produzir, difundir e aplicar conhecimento e cultura de forma crítica e socialmente
referenciada.”
Fonte: PDI – UFF

2. Visão de Futuro:
“A UFF será reconhecida nacionalmente pela qualidade dos seus cursos, mérito da
sua produção científica e relevância social das suas atividades, ampliando a sua
capacidade de oferecer soluções para o desenvolvimento auto-sustentado do
Brasil.”
Fonte: PDI - UFF
Atualmente, conta com cerca de 4.000 Técnico-Administrativos e 2.500 Docentes, distribuídos
em diversas localidades da cidade de Niterói, do estado do Rio de Janeiro em um Campus
Avançado em Oriximiná/PA:
1.2. Justificativa e Relevância do Projeto
O projeto de Avaliação de Impacto da Capacitação integra um Programa apresentado pela
PROGEPE/UFF à Comissão Mista do Plano de Desenvolvimento Institucional (PDI) da
Universidade Federal Fluminense, intitulado: “Dimensionamento e Análise da Força de
Trabalho Técnico-Administrativa da UFF”.
Após a aprovação institucional do Projeto, foi constituído um Grupo de Trabalho - GT –
PDI/ Progepe, para elaborar, realizar e acompanhar as ações destinadas à sua execução. No
curso das análises iniciais, constatou-se a necessidade de dividir a equipe em subgrupos
correspondentes aos eixos temáticos que compõem o programa, a saber, Avaliação de Impacto
da Capacitação; Dimensionamento da Força de Trabalho da UFF e Mapeamento de
Competências.
Desse modo, foram estabelecidas metodologias por eixo temático, de modo a viabilizar a
execução dos trabalhos por cada subgrupo, garantida a integração através de reuniões frequentes
entre os três subgrupos. Apesar da subdivisão em temas, ao final, os resultados serão
consolidados em uma única proposta de política de gestão de pessoas.
Dessa forma, considerando o constante da Lei 11.091/2005, que instituiu o Plano de
Carreira dos Cargos Técnico-Administrativos em Educação – PCCTAE, ao estabelecer:
Art. 24. O plano de desenvolvimento institucional de cada Instituição Federal
de Ensino contemplará plano de desenvolvimento dos integrantes do Plano de
Carreira, observados os princípios e diretrizes do art. 3º desta Lei.
§ 1º - O plano de desenvolvimento dos integrantes do Plano de Carreira
deverá conter:
I – dimensionamento das necessidades institucionais, com definição de
modelos de alocação de vagas que contemplem a diversidade da instituição;
II – Programa de Capacitação e Aperfeiçoamento; e
III – Programa de Avaliação de Desempenho..

3. Considerando também o texto aprovado no Plano de Desenvolvimento Institucional
da UFF – PDI 2008-2012, na área estratégica de Gestão de Pessoas, em seu objetivo:
“Assegurar uma força de trabalho competente que garanta a eficiência, a eficácia e a qualidade
dos serviços prestados pela UFF.”
A equipe gestora da UFF, da área de gestão de pessoas, vem atuando de forma a
possibilitar, cada vez mais, o aprofundamento de um conhecimento sistêmico da sua força de
trabalho, e em particular, no caso do presente projeto, da real necessidade de desenvolvimento
profissional, pessoal, social e de cidadão de seus servidores técnicos.
Os resultados obtidos com a Avaliação do Impacto da Capacitação têm por objetivo
maior subsidiar estudos mais aprofundados a serem aplicados nas políticas voltadas ao
desenvolvimento do corpo funcional da universidade.
1.3 Objetivos
Avaliar o impacto produzido pelo processo de capacitação dos servidores técnico-
administrativos da UFF sobre as competências individuais e institucionais, no período de 2006 a
2010.
Subsidiar a elaboração dos concursos públicos, as remoções, as redistribuições, as avaliações de
desempenho e o plano de capacitação;
2. Apresentação do Projeto: Avaliação de Impacto da Capacitação – Período
2006/2010
A Avaliação de Impacto da Capacitação, parte integrante do projeto aprovado
pelo PDI/UFF/2011: Dimensionamento e Análise da Força de Trabalho Técnico-
Administrativa da UFF delimita-se cronologicamente, das ações de capacitação
realizadas no período de 2006/2010, tendo como fundamento a Lei 11.091 de 12 de
janeiro de 2005.
A pesquisa se propõe a avaliar o impacto que o Programa de Capacitação da
Universidade Federal Fluminense provocou no ambiente de trabalho e possíveis
mudanças de comportamento dos servidores capacitados por meio dos cursos de
capacitação promovidos pela SDDH/DTA, hoje, Pró-Reitoria de Gestão de Pessoas
(Progepe), levando também em consideração o fato de ser a capacitação ferramenta
estratégica em Gestão de Pessoas na consecução dos objetivos institucionais e,
entendendo por Avaliação de Impacto: “pesquisa que busca determinar que efeitos que

4. podem ser realmente atribuídos a um programa que pretende alterar um estado de coisas
(SAVEDRA, 2002, p.8-11)”.
Para definir a metodologia de desenvolvimento da pesquisa, foi realizada busca
em textos teóricos e trabalhos realizados anteriormente por outras instituições, bem
como dissertações e teses sobre o tema, permitindo a definição dos passos a serem
seguidos para a realização do trabalho.
3. Metodologia adotada
Dessa forma, a presente proposta se apóia nos princípios da pesquisa qualitativa
e quantitativa ao estabelecer como fonte de informação dados obtidos por meio de
questionário, adotar como avaliação diagnóstica a partir do resultado do Levantamento
realizado em 2006, junto aos servidores técnico-administrativos, sobre as competências
que tais servidores necessitavam que fossem desenvolvidas para que realizassem melhor
seus trabalhos.
O Quadro a seguir, apresenta uma amostra das competências mais citadas, que
serviram de base para a composição dos cursos de capacitação oferecidos no período.
Competências Quantidade
Habilidades para o relacionamento interpessoal 952
Conhecimento de Redação Oficial e Comercial 500
Conhecimento sobre Legislação Administrativa, 311
Pública etc.
Habilidade de Gestão da Informação 289
Visão de Processos 250
Quadro 1 - Amostra das Competências (Pesquisa de 2006)
Fonte: Levantamento realizado pela DTA/SDDRH/UFF
Também foram tomados como dados iniciais as informações fornecidas no
Formulário de Aferição Individual de Desempenho contidas no item 2, nos anos de
2004 e 2005.
As informações contidas no formulário: Aferição Individual de Desempenho
serão trabalhadas por meio de software estatístico e lexical, que permitem a análise e
cruzamento das informações quantitativas e qualitativas contidas nos formulários,
permitindo dessa forma estabelecer um diagnóstico de expectativa de capacitação
naquele momento.

5. A avaliação aplicada durante a realização dos cursos no período de 2006 a 2010
também estão recebendo o mesmo tratamento, numa perspectiva de avaliação de
processo ou avaliação formativa, que se afigura como um tipo de monitoramento, cujo
foco reside na eficiência com que o programa é conduzido em vista dos resultados
imediatos obtidos.
Segundo Marcus Faria Figueiredo e Argelina Maria Cheibub Figueiredo, avaliação
de processo pode ser definida como a maneira de identificar o verdadeiro conteúdo de
um programa público, se ele está sendo realizado como previsto, se está alcançando o
público para o qual foi concebido e se os benefícios estão sendo distribuídos na
intensidade prevista.
A avaliação de processos, segundo os autores requer, portanto, que se desenvolvam
métodos para responder a três perguntas: de que (e como) se constitui o programa em
pauta? (métodos para desenvolver e especificar os componentes de um programa); o que
é, na realidade, entregue aos beneficiários? (métodos para mensurar a implementação do
programa); por que existem diferenças entre os objetivos (e intenções) do programa e os
que são realmente realizados? (avaliar fatores que influenciam a implementação,
provocando mudanças entre o previsto e o realizado).
Assim, a avaliação processual não objetiva medir o tamanho ou a natureza do
impacto do programa mas, quando feita ao longo da implementação, representa uma
possibilidade de monitoramento dos processos diretamente responsáveis pela produção
do efeito esperado. Isto é, ela permite controlar com a devida antecipação o tamanho e a
qualidade do efeito desejado (FIGUEIREDO, FIGUEIREDO, 1986, p. 107-127).
Dessa forma, a avaliação deve ser concebida como um processo de constante
estimativa da adequação entre os objetivos e as metas que o programa deve realizar e o
seu desenvolvimento empírico. O trabalho de avaliação faz-se pelo estudo dos
resultados do programa em relação aos seus objetivos propostos. Numa definição
amplamente aceita, “avaliação é a estimativa sistemática da operação e/ou dos
resultados de um programa ou de uma política, em comparação com um conjunto de
parâmetros implícitos ou explícitos, como forma de contribuir para o aprimoramento do
programa ou política (WEISS, 1998, p.5).”
Realizar um projeto de avaliação de programas governamentais significa, de
saída, responder a cinco perguntas:
1. O programa está realizando seus objetivos?
2. Como está sendo administrado o programa?

6. 3. O programa está fazendo o que pretende fazer?
4. Como ele foi capaz ou porque não foi capaz de atingir os seus objetivos?
5. Que diferença faz o programa?
Dessas, a última pergunta (que diferença faz o programa?) nos conduz
diretamente à avaliação de impacto.
O impacto já foi definido como toda “seqüência de acontecimentos que emanam
da implementação de uma decisão política” (GRUMM, 1975, p.443). Numa primeira
acepção, portanto, é tudo o que decorre daquele programa ou política. Assim, realizar
uma avaliação de impacto significa “determinar a extensão com que um conjunto de
atividades humanas direcionadas pode afetar o estado de certos objetos ou fenômenos e
– ao menos algumas vezes – determinar porque os efeitos foram tão restritos ou tão
amplos quanto se mostraram” (MOHR, 1995, p.1).
A pesquisa de avaliação de impacto busca determinar que efeitos podem ser
realmente atribuídos a um programa que pretende alterar um estado de coisas. Dito de
outra maneira, o impacto de um programa pode ser entendido como o resultado de uma
comparação entre aquilo que ocorreu após a implementação do programa e aquilo que
teria acontecido se o programa não tivesse sido implementado (MOHR, 1995, p. 4). A
questão é de saber se os indivíduos estão em melhor situação por causa desta atividade
do que estariam sem ela (SAVEDRA, 2002, p. 8-11).
Para Baker (2000) a avaliação de impacto não somente se preocupa em
mensurar/interpretar os resultados do programa, mas analisa em que medida eles podem
ser atribuídos ao programa e somente a ele. Nesse sentido, a avaliação de impacto é
entendida, tal qual em Scriven (1991), como a mensuração do efeito de determinada
intervenção sobre determinado alvo, a fim de saber em que medida houve alteração na
situação inicial. A avaliação sobre o impacto também abrange a noção de avaliação dos
efeitos que se mantêm a longo prazo (BAUER, 2010, 229-251).
Tal avaliação procura identificar os efeitos produzidos sobre uma população-
alvo de um programa social. Busca-se verificar não apenas se as atividades previstas
foram executadas, como também se os resultados finais que se esperavam foram
igualmente alcançados. O foco desse tipo de estudo é, em síntese, detectar mudanças
nas condições de vida de um grupo-alvo ou de uma comunidade, como resultado de um
programa e em que medida as mudanças ocorreram na direção desejada (COSTA,
CASTANHAR, 2003, 969-92).

7. A Organização para a Cooperação Econômica e o Desenvolvimento (OCDE)
também reforça que “impacto” é o efeito causado, direta ou indiretamente, por uma
intervenção, claramente atribuindo esse tipo de avaliação ao final do processo de
implementação do programa.
A definição de impacto do Comitê de Assistência ao Desenvolvimento (CAD) é
muito similar a da OCDE: efeitos de longo-prazo, positivos e negativos, primários ou
secundários, produzidos por uma intervenção para o desenvolvimento, direta ou
indiretamente, intencional ou involuntariamente. O Banco Mundial também adota a
definição do CAD e da OCDE (BAUHER, 2010).
O método proposto para o desenvolvimento do trabalho de campo é a pesquisa
Survey, que “envolve o exame de um fenômeno em uma grande variedade de ambientes
naturais” (PINSONNEAULT; KRAEMER, 1993, p.5). A pesquisa utilizando o método
Survey se propõe a aplicação de questionários estruturados, compostos de questões
dicotômicas, abertas, de múltipla escolha e nominais.
Os dados coletados por meio de questionário, em um momento preciso do
tempo, junto à amostra selecionada para representar a população-alvo, caracteriza-se
como um estudo de corte transversal, segundo Hoppen, Lapoint e Moreau (1996) e
Keeves (1990) e permite a avaliação post-facto. Dessa forma, a aplicação do
questionário inicia-se no segundo semestre de 2011.
A determinação da amostra será feita sob a orientação de um profissional do
Departamento de Estatística, da UFF, que tem auxiliado no tratamento necessário aos
dados coletados por meio do questionário.
O questionário será aplicado aos servidores e seus chefes imediatos, divididos
em três grandes áreas: acadêmica; administrativa e Hospital Universitário Antonio
Pedro, com foco na natureza dos cursos de capacitação oferecidos (natureza geral com
conteúdo transversal e natureza especial).
O instrumento de coleta de dados utilizado (questionário) será preenchido pelos
respondentes depois de contato preliminar e acompanhado de carta de encaminhamento.
Estes dois últimos procedimentos têm por objetivo assegurar uma taxa de retorno
suficiente para assegurar fidedignidade à pesquisa.
Objetivando ainda a fidedignidade da pesquisa, o questionário será validado em
pré-testagem, onde será requerido ao respondente que manifeste sua impressão sobre:
a) Clareza (Vocabulário, compreensão das perguntas).
b) Quantidade de perguntas / tempo gasto para a resposta.

8. c) Se as instruções eram suficientes para o correto preenchimento.
d) Ordem das questões (influência de uma questão na outra).
e) Formato (Tamanho das letras, disposição, lay-out)
f) Conteúdo (relevância das questões; alguma questão causa constrangimento)
Tendo procedido às correções cabíveis, e obtido a validade do instrumento, será
aplicado na amostra selecionada.
4. Ações realizadas de abril a julho de 2011
Definida a metodologia, a equipe da Divisão de Capacitação e Qualificação,
responsável pelo desenvolvimento da pesquisa de Avaliação do Impacto da Capacitação
da UFF, passou a desenvolver as ações, que estão esquematizadas no Quadro 2 a seguir.
Inicialmente, foram feitas reuniões com o prof. Licínio Esmeraldo da Silva do
Departamento de Estatística, com prof. José Rodrigues Farias Filho, responsável pelo
Núcleo de Competitividade, Estratégia e Organizações – LabCEO, que disponibilizou
sua equipe e recursos de informática do laboratório Engenharia, com a profa. Sandra
Escovedo Selles, da Faculdade de Educação, que indicou alunos do doutorado e
mestrado para colaborarem na formulação dos questionários.
A equipe de colaborados, vem trabalhando em parceria, visando estabelecer
parâmetros e variáveis consistentes e que levem a maior fidedignidade no tratamento
dos dados quantitativos e qualitativos obtidos.
Atualmente, os dados obtidos com a avaliação diagnóstica e de processo estão
sendo tratados e os questionários em fase de aprovação final, com previsão de testagem
para o mês de agosto de 2011.
Março a) Definição dos participantes do grupo e coordenação;
b) Pesquisa bibliográfica em plataformas científicas (Scielo, Domínio Público - Capes)
e páginas eletrônicas (Google Acadêmico), visando definir a base teórica relativa a
Avaliação de Impacto.
O que é Avaliação de Impacto?
Qual a metodologia mais adequada?
Quais as ferramentas, técnicas mais utilizadas?
O que já foi feito em âmbito nacional sobre Avaliação de Impacto da Capacitação?
c) Identificação e seleção de textos;
d) Distribuição para os participantes do grupo.
Abril: Primeiro momento:

9. Nivelamento de leituras realizadas e entendimento da teoria pesquisada.
Segundo Momento:
Discussão e proposições de Métodos e Ações a serem adotadas para a execução da
pesquisa.
Terceiro Momento:
Elaboração da proposta metodológica para aprovação no Grupo de Trabalho
Recuperação do histórico de implantação do Programa de Capacitação, analisando o
Levantamento de Competências realizado em 2006, que será utilizado como fonte
primária,
Identificação nos formulários de Aferição Individual de Desempenho dos anos de 2004
e 2005 as respostas do Item 2 das Observações Gerais;
Identificação pelo grupo da importância de continuar a fazer pesquisa bibliográfica ao
longo do processo
Maio: Contato com professor responsável pelo grupo de pesquisa do Labceo – Escola de
Engenharia, visando estabelecer parceria com seu grupo de pesquisa para o tratamento
dos dados quantitativos e qualitativos obtidos com a aplicação dos questionário e dos
dados do levantamento realizado em 2006 e do item 2 do formulário Aferição
Individual de Desempenho;
Contato com professora-pesquisadora da Faculdade de Educação para estabelecer
parceria com seu grupo de pesquisa para a elaboração dos questionários e preparação
da equipe que irá aplicá-los.
Reuniões com os pesquisadores para estabelecer as variáveis e critérios de abordagem.
Junho: Reunião com o estatístico e professor Lícinio de Departamento de Estatística da UFF,
visando obter orientação quanto à definição da amostra e estratificação dos grupos a
serem pesquisados, a saber:
Por Área – Administração Central; Unidades Acadêmicas; HUAP; Fora da Sede
Por Nível – E; D/C;B/A
Elaboração de dois questionários – espelho – um para o servidor e outro para a chefia
imediata
Análise e discussão das questões propostas para os questionários e variáveis de
tratamento estatístico.
Julho: Solicitação ao NTI dos dados necessários para determinação da amostra a ser utilizada
para aplicação do s questionários.
Aprovação do modelo de questionários para aplicação do teste piloto em agosto.
Quadro 2 – Etapas Executadas março a julho
Fonte: DCQ/CPTA/Progepe (2011)

10. REFERÊNCIAS
ADRIANA BAUER. Avaliação de impacto no Brasil: é possível mensurar impactos de
programas de formação docente? In: Est. Aval. Educ., São Paulo, v. 21, n. 46, p. 229-
252, maio/ago. 2010. p. 229-251.
CHIAVENATO, Idalberto. Gestão de Pessoas: o novo papel dos recursos humanos nas
organizações. Rio de Janeiro: Campos, 2003.
COSTA, Frederico Lustosa; CASTANHAR, José Cezar. Avaliação de programas
públicos: desafios conceituais e metodológicos. In: RAP. Rio de Janeiro 37(5):969-92,
Set./Out. 2003.
FIGUEIREDO, Marcos Faria; FIGUEIREDO, Argelina Maria Cheibub. Avaliação
política e avaliação de políticas: um quadro de referência teórica. In: Anál. & Conj.,
Belo Horizonte, 1 (3): 107.127, set/dez. 1986.
HOPPEN, N., LAPOINT, L., e MOREAU, E. Um guia para avaliação de artigos de
pesquisa em sistemas de informação. Revista Eletrônica de Administração
(http://www.ppga.ufgrs.br/read) n. 03 abr de 2011.
KEEVES, John P. Educational Research, Methodology, and Measurement.
University of Melbourne, Australia: Pergamon Press, 1990.
OLIVEIRA, R.T.Q. Gestão da Pós-Graduação na Universidade Federal
Fluminense: um estudo de caso. Dissertação (Mestrado em Sistemas de Gestão)
Universidade Federal Fluminense, 171p., 2005.
PINSONNEAULT, A., KRAEMER, K.L. (1993). Survey research methodology in
management information system: an assessment. Journal of Management
Information Systems, v.10, n.2, Autumn, p.75-105.
SAVEDRA, Mônica Maria Guimarães. Avaliação do impacto dos programas orientados
da Fundação Carlos Chagas Filho de Amparo à Pesquisa RJ. In:VII Congreso
Internacional del CLAD sobre la Reforma del Estado y de la Administración
Pública, Lisboa, Portugal, 8-11 Oct. 2002.