- O documento apresenta uma pesquisa sobre a percepção de riscos sócio-ambientais utilizando a técnica de escalonamento multidimensional.
- Foram avaliados riscos como doenças, eventos climáticos, tecnologias, poluentes e hábitos por meio de escalas sobre suas características.
- Os resultados geraram um mapa perceptual dos riscos em duas dimensões, identificando aqueles percebidos como de maior e menor temor.
1. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Construção do mapa perceptual dos riscos sócio-ambientais
utilizando o escalonamento multidimensional (MDS)
Moacyr Machado Cardoso Junior1
Rodrigo Arnaldo Scarpel2
1
Doutorando - Produção
2
Professor do Departamento de Produção
Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
2. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Sumário
• Introdução
• Percepção do Risco e o Paradigma Psicométrico
• Método
• Escalonamento Multidimensional – MDS
• Resultados
• Considerações finais
• Referências Bibliográficas
3. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Introdução
A maioria das pessoas enfrenta algum tipo de perigo todos os dias e este fato
levou a inúmeras pesquisas no sentido de se descobrir como as pessoas
entendem o risco.
A definição de risco está relacionada com a probabilidade que uma pessoa
sinta ou experimente os efeitos do perigo.
A matriz de risco, definida pela probabilidade e consequências é aceita na
literatura como uma definição apropriada para análises de risco conduzidas por
engenheiros.
Mas é totalmente inadequada quando pensamos em gerenciamento do risco
social. (Sjoberg et al., 2004)
As preocupações sociais são motivadas por numerosos fatores além do risco
“puro”, entre estes crenças éticas, valores, convicções políticas, papéis
comerciais, profissionais e formas de trabalho.
4. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Introdução
A sociedade apresenta uma oposição sólida a algumas tecnologias e isto tem
dificultado o processo de tomada de decisão por parte do poder público.
“O risco de fumar, dirigir um carro e usar o transporte público é muito maior do que
morar próximo a uma usina nuclear, porém as pessoas aceitam fumar, então porque
não aceitam uma usina nuclear? “
A pesquisa de percepção de risco vem sendo desenvolvida desde os trabalhos
iniciais de Starr (1969) citado por Sjoberg et al (2004).
Duas teorias predominam: Paradigma psicométrico, baseado na psicologia e
ciências da decisão e a teoria cultural desenvolvida por sociólogos e
antropólogos.
5. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Introdução
O presente estudo tem por objetivo avaliar a percepção do risco, sob o enfoque
do paradigma psicométrico em um grupo de estudantes de pós graduação em
gestão ambiental sobre uma lista de perigos que envolvem doenças endêmicas
do Brasil, tecnologias, hábitos, substâncias, eventos climáticos e geológicos
extremos e meios de transporte.
A contribuição esperada do trabalho é a de produzir um mapa perceptual do risco
utilizando técnicas de visualização de dados multidimensionais, conhecido como
escalonamento multidimensional (MDS). A abordagem metodológica empregada
neste estudo foi a da pesquisa exploratória.
6. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Percepção do Risco e o Paradigma Psicométrico
A estratégia mais usual para o estudo da percepção do risco emprega o
paradigma psicométrico, que usa escalas psicofísicas e técnicas de
análise multivariada para produzir representações quantitativas ou também
conhecidas como mapas cognitivos de atitudes e percepções.
(SLOVIC, 2001)
As pessoas fazem julgamentos quantitativos a cerca do risco atual e desejado
de diversos perigos e nível desejado de regulamentação de cada um dos
riscos. Estes julgamentos são então relacionados a julgamentos a cerca de
outras propriedades, tais como: voluntariedade, temor, conhecimento,
controle, benefícios para a sociedade, número de mortes ocorridas em um
ano, número de mortes em decorrência de um ano desastroso.
(SLOVIC, 1987 e 2001).
7. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Percepção do Risco e o Paradigma Psicométrico
9 dimensões são citadas na literatura referente a estudos de percepção.
Risco -- voluntário ou involuntário;
Risco -- Imediato ou não;
Risco -- Conhecido pela pessoa que está exposta;
Risco -- Crônico ou Catastrófico;
Risco -- Comum, assimilado pelas pessoas ou se causa muito temor grande;
Risco -- Severidade das consequências impostas pelo risco;
Risco -- Conhecido pela ciência;
Risco -- Controle da pessoa sobre o risco e;
Risco -- Novo ou não para a sociedade.
8. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Percepção do Risco e o Paradigma Psicométrico
O paradigma psicométrico é uma aproximação na identificação das
características que influenciam a percepção do risco.
A aproximação assume que o risco é multidimensional, com muitas outras
características além do julgamento individual da probabilidade de causar danos à
saúde ou à vida.
A aplicação do método em estudos de percepção do risco a saúde humana
inclui:
-lista de perigos (eventos, tecnologias e práticas);
-escalas psicométricas que reflitam características dos riscos que são
importantes para mapear a percepção humana em resposta aos riscos;
-Avaliação pelos respondentes de cada item da lista de perigos em cada
dimensões;
-estatística multivariada para identificar e interpretar um conjunto de fatores
latentes que captam as variações das respostas dos indivíduos e do grupo.
McDaniels et al (1995) citado por Sjoberg et al, (2004)
9. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
•Algumas análises levam em consideração até 18 dimensões
•Usualmente 80% da variância é explicada com até 3 dimensões pela análise
fatorial.
•Fatores que mais tem sido reportado em estudos de percepção são:
Novo-Antigo, Temido-Comum e Número de expostos.
•Algumas críticas ao paradigma psicométrico são feitas no que se refere ao
pequeno número de dimensões avaliadas de 9 a 18, e pelo fato de não incluir
uma dimensão importante que é referente ao risco ser natural ou não, e
finalmente que as análises são baseadas em médias e não em todos os dados
colhidos.
Sjoberg, (2000 e 2002) e Marris et al. (1998)
Percepção do Risco e o Paradigma Psicométrico
10. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Método
Doenças Dengue
Câncer Mama
Câncer Próstata
Febre Amarela
AIDS
Câncer de pele
Malária
Sarampo
Cólera
Hepatite
Leishmaniose
Hanseníase
Eventos climáticos e
geológicos extremos
Inundação
Estiagem
Escorregamento de encostas
Ciclone
Vendaval
Granizo
Tecnologias Usina Nuclear
Hidrelétrica
GNV veicular
Transgênicos
Termoelétrica
Nanotecnologia
Telefonia Celular
Comida enlatada
Meios de Transporte Viajar de carro
Viajar de Avião
Viajar de Trem
Viajar de Metrô
Andar de Moto
Andar de Bicicleta
Poluentes ambientais Amianto
Dioxinas e Furanos
PCBS
NOx
Material Particulado
Ozônio
Pesticidas
Hexaclorobenzeno
Mirex
DDT
Hábito Fumar
Tabela 1 - Objetos da Pesquisa de Percepção do Risco Ambiental
11. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Método
Dimensões Escala
Voluntariedade do risco.
As pessoas “tomam” este risco voluntariamente
Voluntário Involuntário
1 2 3 4 5 6 7
Tempo para Efeito.
Em que extensão existe risco de morte imediata ou o risco de morte é tardio.
Imediato Tardio
1 2 3 4 5 6 7
Conhecimento do Risco. - Exposto
Em que grau o risco é conhecido pelas pessoas que estão expostas a ele.
Conhecido Não conhecido
1 2 3 4 5 6 7
Conhecimento do Risco. - Ciência
Em que grau o risco é conhecido pela ciência.
Conhecido Não conhecido
1 2 3 4 5 6 7
Controle sobre o Risco.
Se você está exposto ao risco, em que grau você pode, devido suas habilidades,
evitar a morte enquanto está engajado na atividade
Incontrolável Controlável
1 2 3 4 5 6 7
Novo.
Este risco é novo ou antigo, familiar
Novo Antigo
1 2 3 4 5 6 7
Crônico-Catastrófico.
Este risco mata uma pessoa por vez (crônico) ou o risco mata um grande número
de pessoas de uma única vez (catastrófico)
Crônico Catastrófico
1 2 3 4 5 6 7
Comum-Temido.
As pessoas aprenderam a conviver com este risco e podem decidir
tranquilamente sobre o mesmo, ou é um risco para o qual as pessoas apresentam
um grande temor
Comum Temor
1 2 3 4 5 6 7
Severidade das Consequências.
Qual a probabilidade de que a consequência deste risco seja fatal.
Não é Fatal Fatal
1 2 3 4 5 6 7
Tabela 2 - Dimensões da percepção do risco e respectivas escalas tipo Likert
12. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
O método para avaliar a percepção do risco foi o Escalonamento
Multidimensional não Métrico (MDS).
O objetivo é encontrar uma configuração de pontos no espaço p-dimensional a
partir das distâncias entre os pontos de tal forma que as coordenadas dos n
pontos ao longo da dimensão p produza uma matriz de distâncias Euclidianas
cujos elementos estão tão próximos quanto possível aos elementos da matriz de
distâncias originais (alta dimensão).
O MDS não métrico é usado normalmente quando desejamos obter o
julgamento, colocando os objetos em ordem crescente ou decrescente de
importância sob a ótica de um avaliador.
(COX e COX, 2000).
Escalonamento Multidimensional – MDS
13. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
A aproximação mais comum usada para determinar os elementos dij e para obter
as coordenadas dos objetos x1, x2, ..., xn é um processo iterativo, implementado
no algoritmo de Shepard-Kruskal, com a minimização de uma função
denominada de Stress.
Escalonamento Multidimensional – MDS
( ) 2
1
2
2
ˆ
−
=
∑
∑
<
<
ji ij
ji ijij
d
dd
Stress
14. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
O Julgamento da Qualidade do MDS é realizada pelo:
-Valor da Função Stress obtida;
-Scree Plot (Stress x dimensão);
-Diagrama de Shepard (mostra a dispersão dos pontos) inadequação
-Interpretabilidade das dimensões;
Escalonamento Multidimensional – MDS
15. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Resultados
1 2 3 4 5 6 7 8
051015202530
Cotovelo
Stress=4.9121
Scree PLot
Stress
Dimensão
Figura 1 - Definição da Dimensão
16. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Resultados
Figura 2 - Diagrama de Shepard para o ajuste do MDS não métrico, em 1, 2, 3 ou 4 dimensões
2 4 6 8
02468
K=1 - Dimensional
Dissimilaridade
Distância/Disparidade
2 4 6 8
02468
K=2 - Dimensional
Dissimilaridade
Distância/Disparidade
2 4 6 8
02468
K=3 - Dimensional
Dissimilaridade
Distância/Disparidade
2 4 6 8
246
K=4 - Dimensional
Dissimilaridade
Distância/Disparidade
17. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Resultados
Figura 3 - Resultado do MDS para k=2
A terceira forma de se avaliar a dimensão adequada é pela definição do
significado dos novos eixos de coordenadas do espaço MDS
-4 -2 0 2 4
-4-202
AIDS
Amianto
Andar de Bicicleta
Andar de Moto
Câncer de pele
Câncer Mama
Câncer Próstata
Ciclone
Cólera
DDT
Dengue
Dioxinas e Furanos
Escorregamento encosta
Estiagem
Febre Amarela
Fumar
GNV veicular
Granizo
HanseníaseHepatite
HexaclorobenzenoHidrelétrica
Ingerir comida enlatada
Inundação
Leishmaniose
Malária
Material particulado
Mirex
Nanotecnologia
NOx
Ozônio
PCBS
Pesticidas
Sarampo
Telefonia Celular
Termoelétrica
Transgênicos
Usina Nuclear
Vendaval
Viajar de avião
Viajar de carro
Viajar de Metrô
Viajar de Trem
MDS
Eixo X
EixoY
Eixo X como Temor, onde Transgênicos, Nanotecnologia e Telefonia Celular
estariam como os de maior Temor, e na outra extremidade, viajar de avião. O
fato de viajar de avião estar como baixo Temor é uma contradição, uma vez que
em outros estudos sempre aparece como de grande Temor, (SLOVIC, 2001).
Temor
18. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Resultados
Figura 3 - Resultado do MDS para k=2
A terceira forma de se avaliar a dimensão adequada é pela definição do
significado dos novos eixos de coordenadas do espaço MDS
-4 -2 0 2 4
-4-202
AIDS
Amianto
Andar de Bicicleta
Andar de Moto
Câncer de pele
Câncer Mama
Câncer Próstata
Ciclone
Cólera
DDT
Dengue
Dioxinas e Furanos
Escorregamento encosta
Estiagem
Febre Amarela
Fumar
GNV veicular
Granizo
HanseníaseHepatite
HexaclorobenzenoHidrelétrica
Ingerir comida enlatada
Inundação
Leishmaniose
Malária
Material particulado
Mirex
Nanotecnologia
NOx
Ozônio
PCBS
Pesticidas
Sarampo
Telefonia Celular
Termoelétrica
Transgênicos
Usina Nuclear
Vendaval
Viajar de avião
Viajar de carro
Viajar de Metrô
Viajar de Trem
MDS
Eixo X
EixoY
O Eixo Y então assumiria o fator conhecido-desconhecido, assim Fumar
representa um risco extremamente conhecido e ciclone, Usina Nuclear como um
risco desconhecido. Esta interpretação tem coerência, pois os itens transgênicos
e nanotecnologia, por ainda se tratarem de tecnologias em desenvolvimento são
muito pouco conhecidas pela sociedade em geral e em particular para o grupo
de estudo, ao passo que o risco de viajar de avião, de trem, de carro já são
considerados como riscos banais e portanto menos temidos
19. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Resultados
Figura 3 - Resultado do MDS para k=2
-4 -2 0 2 4
-4-202
AIDS
Amianto
Andar de Bicicleta
Andar de Moto
Câncer de pele
Câncer Mama
Câncer Próstata
Ciclone
Cólera
DDT
Dengue
Dioxinas e Furanos
Escorregamento encosta
Estiagem
Febre Amarela
Fumar
GNV veicular
Granizo
HanseníaseHepatite
HexaclorobenzenoHidrelétrica
Ingerir comida enlatada
Inundação
Leishmaniose
Malária
Material particulado
Mirex
Nanotecnologia
NOx
Ozônio
PCBS
Pesticidas
Sarampo
Telefonia Celular
Termoelétrica
Transgênicos
Usina Nuclear
Vendaval
Viajar de avião
Viajar de carro
Viajar de Metrô
Viajar de Trem
MDS
Eixo X
EixoY
Como interpretar então o modelo com duas dimensões e o melhor ajuste do
MDS para três dimensões conforme descrito anteriormente ?
Neste caso devemos analisar o mapa perceptual em três dimensões e verificar
se o mesmo permite melhores conclusões a respeito da percepção do risco no
grupo de estudos, inclusive corrigindo a distorção de “viajar de avião”.
20. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Resultados
Figura 4. MDS para os eixos de coordenadas Temor VS. Familiar-Novo
-4 -2 0 2 4
-4-202
AIDS
Amianto
Bicicleta
Moto
Câncer Pele
Câncer Mama
Câncer Próstata
Ciclone
Cólera
DDT
Dengue
Dioxinas & Furanos
Escorregamento Encosta
Estiagem
Febre Amarela
Fumar
GNV
Granizo
Hanseníase
Hepatite
Hexaclorobenzeno
Hidrelétrica
Comida enlatada
Inundação
Leishmaniose
Malária
MP
Mirex
Nanotecnologia
NOX
Ozônio
PCBS
Pesticidas
Sarampo
T.Celular
Termoelétrica
Transgênicos
Usina Nuclear
Vendav al
Avião
Carro
Metrô
Trem
MDS
Familiar - Novo
Temor
X – Eixo de Coordenadas dos Riscos que vão do Familiar ao Novo, assim em um
extremo tem-se que os riscos novos: Nanotecnologia, transgênicos e telefonia
celular, e no outro extremo como riscos considerados como familiares tem-se
viajar de avião, ciclone, inundação, vendaval.
21. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Resultados
Figura 4. MDS para os eixos de coordenadas Temor VS. Familiar-Novo
-4 -2 0 2 4
-4-202
AIDS
Amianto
Bicicleta
Moto
Câncer Pele
Câncer Mama
Câncer Próstata
Ciclone
Cólera
DDT
Dengue
Dioxinas & Furanos
Escorregamento Encosta
Estiagem
Febre Amarela
Fumar
GNV
Granizo
Hanseníase
Hepatite
Hexaclorobenzeno
Hidrelétrica
Comida enlatada
Inundação
Leishmaniose
Malária
MP
Mirex
Nanotecnologia
NOX
Ozônio
PCBS
Pesticidas
Sarampo
T.Celular
Termoelétrica
Transgênicos
Usina Nuclear
Vendav al
Avião
Carro
Metrô
Trem
MDS
Familiar - Novo
Temor
No eixo de coordenadas Y: apresenta-se o Temor, assim riscos como ciclone,
Usinas nucleares, inundação, transgênicos figuram entre os que causam maior
temor e no outro extremo Fumar, que já é considerado um risco banal.
22. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Resultados
Figura 5 - MDS para os eixos de coordenadas Tecnologia-Natural VS. Familiar-Novo
-4 -2 0 2 4
-2-1012
AIDS
Amianto
Bicicleta
Moto
Câncer Pele
Câncer Mama
Câncer Próstata
Ciclone
Cólera
DDT
Dengue
Dioxinas & Furanos
Escorregamento Encosta
Estiagem
Febre Amarela
Fumar
GNV
Granizo
Hanseníase
Hepatite
Hexaclorobenzeno
Hidrelétrica
Comida enlatada
Inundação
Leishmaniose
Malária MP
Mirex
Nanotecnologia
NOX
Ozônio
PCBSPesticidas
Sarampo
T.Celular
Termoelétrica
Transgênicos
Usina Nuclear
Vendaval
Avião
Carro
Metrô
Trem
MDS
Familiar - Novo
Tecnologia-Natural
Na combinação XZ, tem-se agora o eixo de coordenadas Z: Riscos tecnológicos
ou antropogênicos e riscos naturais, ficando em um extremo viajar de avião,
como representante dos riscos tecnológicos e no outro extremo doenças como
câncer de mama e próstata.
23. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Resultados
Figura 6 - MDS para os eixos de coordenadas Tecnologia-Natural VS. Temor
-4 -2 0 2 4
-2-1012
AIDS
Amianto
Bicicleta
Moto
Câncer Pele
Câncer Mama
Câncer Próstata
Ciclone
Cólera
DDT
Dengue
Dioxinas & Furanos
Escorregamento Encosta
Estiagem
Febre Amarela
Fumar
GNV
Granizo
Hanseníase
Hepatite
Hexaclorobenzeno
Hidrelétrica
Comida enlatada
Inundação
Leishmaniose
Malária MP
Mirex
Nanotecnologia
NOX
Ozônio
PCBSPesticidas
Sarampo
T.Celular
Termoelétrica
Transgênicos
Usina Nuclear
Vendaval
Avião
Carro
Metrô
Trem
MDS
Tecnologia-Natural
Temor
A análise também pode ser feita estudando os agrupamentos obtidos, visualiza-
se pelas cores dos riscos que o resultado final do MDS gerou um agrupamento
coerente com os tipos de riscos, como por exemplo, grupo dos eventos
climáticos e geológicos extremos, poluentes, tecnologias, doenças, meios de
transporte e hábito.
No entanto o pior agrupamento obtido foi o das tecnologias, que estão
dispersos em três quadrantes.
Nas outras combinações a dispersão diminui, ficando os mesmos mais próximos
de um agrupamento.
24. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Considerações Finais
O presente trabalho estudou a percepção de riscos ambientais, considerando
tecnologias, substâncias, hábito, meios de transporte, eventos climáticos e
geológicos extremos, poluentes e doenças endêmicas do Brasil de um grupo de
profissionais ligados á área de gestão ambiental. Os resultados do MDS obtidos
pela análise de 9 dimensões que envolvem a percepção de risco mostrou que o
mapa perceptual gerado em três dimensões é o que melhor se ajusta aos
critérios do MDS não métrico, ou seja, valor do Stress obtido, Diagrama de
Shepard, e interpretação dos novos eixos de coordenadas calculados.
A proposta de classificação dos eixos de coordenadas identificadas neste
trabalho representa a melhor configuração disponível baseada na teoria
psicométrica e resultado de pesquisa do MDS exploratório, mas novos trabalhos
devem ser conduzidos a fim de se confirmar a configuração, ou seja, pesquisa
do MDS confirmatória. A análise de sensibilidade do MDS que não foi
realizada neste trabalho também fica como sugestão de realização de novos
estudos envolvendo a percepção de riscos e o MDS.
25. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Referências
BALL, D. J., & BOEHMER-CHRISTIANSEN, S. Understanding and responding to societal concerns - Research Report n.034.
Norwich: HSE, 2002.
BORG, I., & GROENEN, P. J. Modern Mutidimensional Scaling: Theory and Applications. New York: Springer, 2005.
COX, T. F., & COX, M. A. Multidimensional Scaling (2ª Ed. ed.). London: Chapman & Hall/CRC, 2000.
MARRIS, C., LANGFORD, I. H., O´RIORDAN, T. A quantitative test of the cultural theory of risk perceptions: comparison with the
psychometric paradigm. Risk Analysis 1998.
McCRARY, F., & BAUMGARTEN, M. The Young Epidemiology Scholars Program (YES) . Acesso em 16 de Abr. de 2010, disponível
em www.collegeboard.com/prod_downloads/yes/risk_perception.pdf , 2004
R DEVELOPMENT TEAM (2006), R: A language and environment for statistical computing. Vienna : R. Foundation for Statistical
Computing.
SJOBERG, L. Factor in Risk Perception. Risk Analysis Vol. 22, n.4, pp.1-11, 2000.
SJOBERG, L.. Are received risk perception model alive and well? Risk Analysis Vol. 20, n.1, pp. 665-669, 2002.
SJOBERG, L.; BJORG-ELIN, M.; RUNDMO, T. Explaining risk perception An evaluation of the psychometric paradigm in risk
perception research. Trondheim, Norway: Rotunde, 2004.
SLOVIC, P. (1987). Perception of Risk. Science , 280-285.
SLOVIC, P. Risk Perception. London: Earthscan. 2001
VENABLES A.C. e RIPLEY B.D. (2002), Modern Applied Statistics with S. - New York : Springer.
WEINSTEIN, N. D. Unrealistic optimism about future life events. J. Pers. Soc.Psychol., Vol. 39, n.5,PP. 806-820, 1980
WICKELMAIER, F. An Introduction to MDS. Acesso em 12 de Fev. de 2009, disponível em
http://perception.inrialpes.fr/~Arnaud/indexation/mds03.pdf, 2003.
26. Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF
Muito Obrigado
moacyr@ita.br
Laboratório de Engenharia de Produção
Universidade Estadual do Norte Fluminense UENF