1. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Um Sistema de Autentica¸c˜ao por Faces Usando
Filtros de Correla¸c˜ao em V´ıdeos
Jos´e F. L. de Oliveira Eduardo A. B. da Silva
Manuel A. P. Cardoso
Axel G. Hollanda
jleite@lps.ufrj.br eduardo@lps.ufrj.br
manuel@internext.com.br
aghi@lps.ufrj.br
XXVII Simp´osio Brasileiro de Telecomunica¸c˜oes
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 1:26

2. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
1 Introdu¸c˜ao
Objetivos
T´opicos Abordados
2 Sistema de Reconhecimento de Faces
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
3 Discuss˜ao
Resultados
Conclus˜oes
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 2:26

3. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Objetivos
T´opicos Abordados
Reconhecimento de Faces e Objetos
Criar um sistema port´atil de reconhecimento de faces e
objetos para deficientes visuais
Implementar algoritmos estado-da-arte em reconhecimento de
faces e objetos
Avaliar os resultados em termos de desempenho
Propor novos algoritmos e/ou m´etodos para melhorar o
desempenho dos algoritmos testados
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 3:26

4. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Objetivos
T´opicos Abordados
Sistema de Reconhecimento de Faces
Detec¸c˜ao de faces: Viola-Jones
Reconhecimento de faces
Elastic Bunch Graph Matching – EBGM
Class-dependence Feature Analysis – CFA
Scale-invariant Feature Transform – SIFT
Um sistema de reconhecimento VJ-CFA
M´etodos e t´ecnicas desenvolvidos para aumentar
confiabilidade do reconhecimento do sistema VJ-CFA
Normaliza¸c˜ao da posi¸c˜ao da face com o aux´ılio do VJ
Sele¸c˜ao das imagens de treinamento
Interpreta¸c˜ao do vetor de picos de correla¸c˜ao
Estabiliza¸c˜ao do vetor de picos de correla¸c˜ao
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 4:26

5. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Viola-Jones
Detec¸c˜ao ´e r´apida e
eficiente.
Baix´ıssima taxa de falsos
positivos
FAR – False Accept Rate
Alt´ıssima taxa de
verdadeiros positivos
TAR – True Accept Rate
A normaliza¸c˜ao da posi¸c˜ao ´e
feita a partir do retˆangulo,
fornecido pelo VJ, que
cont´em a face
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 5:26

6. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
CFA
Implementa¸c˜ao simples (EBGM e SIFT complexas)
Os filtros de correla¸c˜ao possuem forma anal´ıtica fechada
Treinamento:
h = T−1
X(XT
T−1
X)−1
c (1)
Identifica¸c˜ao:
ˆc = ˆx · h (2)
Processo de reconhecimento r´apido (EBGM e SIFT mais
demorado)
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 6:26

7. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
CFA: Treinamento
I1
I2
IN
Estágio de Registro
.
.
.
Imagens de
Projeto do Filtro
Algoritmo de
Filtro de
FFT
Treinamento
Correlação
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 7:26

8. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
CFA: Identifica¸c˜ao
Positiva
Negativa
Identificação
Estágio de Reconhecimento
Teste
Imagem de
FFT
Correlação
Filtros de
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 8:26

9. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Diagrama de Blocos: Treinamento
Câmera
VJ
Treinamento
Detecção
Detecção
Armazenamento
Normalização
da Posição
Imagens
Imagens
Armazenadas
Atraso
Seleção das
CFA
dos Filtros
Obtenção
Banco de Filtros de Correlação
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 9:26

10. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Diagrama de Blocos: Identifica¸c˜ao
Câmera
VJ
Reconhecimento
Detecção
Rejeitado Reconhecido
Decisão
Limiares
Detecção
Filtros de
ClassificaçãoCFA
Normalização
da Posição
Estabilização
dos Picos
Correlação Correlação
Picos de
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 10:26

11. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Normaliza¸c˜ao da Posi¸c˜ao: Problema
De forma geral, os algoritmos usados para o reconhecimento
(CFA) precisam normalizar a posi¸c˜ao e a ilumina¸c˜ao das faces
Reduzir ao m´aximo a influˆencia, normalmente negativa, de
suas varia¸c˜oes durante o reconhecimento
A normaliza¸c˜ao da posi¸c˜ao de uma face emprega, usualmente,
as coordenadas dos olhos por serem pontos de f´acil localiza¸c˜ao
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 11:26

12. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Normaliza¸c˜ao da Posi¸c˜ao: Problema
Uma vez que se tenha suas coordenadas, uma transla¸c˜ao
seguida de uma transforma¸c˜ao de escala e rota¸c˜ao ´e o
suficiente para normalizar a posi¸c˜ao
Para imagens est´aticas, a localiza¸c˜ao n˜ao autom´atica destes
pontos n˜ao representa um problema s´erio
Na identifica¸c˜ao dinˆamica de imagens das faces geradas pela
webcam, este procedimento n˜ao pode ser adotado na pr´atica
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 12:26

13. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Normaliza¸c˜ao da Posi¸c˜ao: Solu¸c˜ao
Para contornar este problema, o detector de Viola-Jones ´e
utilizado para obter as coordenadas automaticamente
O detector VJ determina as coordenadas aproximadas dos
olhos
As coordenadas dos olhos das imagens do banco de dados de
treinamento s˜ao obtidas pelo mesmo processo
O erro da aproxima¸c˜ao ´e parcialmente compensado
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 13:26

14. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Sele¸c˜ao das Imagens de Treinamento: Problema
Para se obter filtros que permitam um reconhecimento
satisfat´orio, as imagens devem ser o mais representativas
poss´ıvel para cada classe, ou seja, que as imagens
correspondentes `a cada classe estejam, se poss´ıvel, em regi˜oes
do RN sem interse¸c˜ao
Na pr´atica, isto pode n˜ao ocorrer, como no caso de s´osias e
gˆemeos, o que se pode fazer ´e tentar reduzir estas regi˜oes de
interse¸c˜ao
Ocorrˆencia de imagens muito semelhantes dentro de uma
mesma classe: n˜ao representa um problema para o
desempenho do reconhecimento, mas acarreta um aumento
desnecess´ario do tempo de treinamento
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 14:26

15. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Sele¸c˜ao das Imagens de Treinamento: Solu¸c˜ao
Um m´etodo bem simples para reduzir estes problemas utiliza o
ˆangulo entre duas imagens definido por
cos(θ) =
U · V
|U||V|
. (3)
Seja θs o ˆangulo selecionado de separa¸c˜ao das imagens. Ent˜ao,
se θ ≤ θs ⇒ imagens s˜ao semelhantes
se θ > θs ⇒ imagens n˜ao s˜ao semelhantes.
(4)
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 15:26

16. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Sele¸c˜ao das Imagens de Treinamento: Solu¸c˜ao
sθ
θs
Classe BClasse A
Figura: Reduzindo a redundˆancia da lista de imagens de treinamento.
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 16:26

17. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Sele¸c˜ao das Imagens de Treinamento: Solu¸c˜ao
Classe BClasse A
Figura: Reduzindo a redundˆancia da lista de imagens de treinamento.
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 17:26

18. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Sele¸c˜ao das Imagens de Treinamento: Solu¸c˜ao
Classe BClasse A
Figura: Reduzindo a redundˆancia da lista de imagens de treinamento.
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 18:26

19. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Interpreta¸c˜ao do Vetor de Picos de Correla¸c˜ao: Problema
Pico de Correlação
1 2 3 6 7 10 11 12 ID954 8
1
´E preciso definir o que ser´a considerado um pico de correla¸c˜ao
significativo
Sempre haver´a um m´aximo, mesmo que a face n˜ao esteja
cadastrada
´e preciso fazer com que o mesmo corresponda a uma
identifica¸c˜ao positiva est´avel e confi´avel
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 19:26

20. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Interpreta¸c˜ao do Vetor de Picos de Correla¸c˜ao: Solu¸c˜ao
Um contador, C, armazena quantas vezes seguidas o m´aximo
principal, mp, recai sobre um determinado indiv´ıduo
Se o indiv´ıduo muda ou se o m´aximo secund´ario, ms, ´e maior
que o valor b, o contador ´e zerado
Considera-se que h´a uma mudan¸ca de indiv´ıduo quando a
detec¸c˜ao da face ´e interrompida
Se ms ≤ a, considera-se que o indiv´ıduo foi identificado com
um ´unico quadro
Se a < ms ≤ b e C ≥ NF considera-se que o indiv´ıduo foi
identificado ap´os NF ou mais quadros consecutivos
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 20:26

21. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Interpreta¸c˜ao do Vetor de Picos de Correla¸c˜ao: Solu¸c˜ao
Pico de Correlação
1 2 3 6 7 10 11 12
a
b
ID954 8
1
Máximo Secundário Máximo Primário
Figura: Heur´ıstica para a identifica¸c˜ao de faces com CFA.
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 21:26

22. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Estabiliza¸c˜ao do Vetor de Picos de Correla¸c˜ao: Problema
Os m´aximos secund´arios, com valores acima do limiar b, do
vetor de picos de correla¸c˜ao ocorrem aleatoriamente entre as
classes
Enquanto o m´aximo principal permanece est´avel
Faz com que o contador C seja zerado freq¨uentemente
Dificulta a identifica¸c˜ao do indiv´ıduo
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 22:26

23. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Detec¸c˜ao de Faces
Reconhecimento de Faces
Um Sistema de Reconhecimento VJ-CFA
M´etodos Desenvolvidos para o Sistema VJ-CFA
Estabiliza¸c˜ao do Vetor de Picos de Correla¸c˜ao: Solu¸c˜ao
Seja c[n] = [c0[n], c1[n], . . . , cj [n], . . . , cNC −1[n]] o vetor de
picos de correla¸c˜ao para o quadro n
Obter o pico de correla¸c˜ao, ¯cj [n], ao longo do tempo para
cada indiv´ıduo do banco
O vetor c[n − m], n ≥ m, ´e multiplicado por λm, λ < 1
Isto controla a influˆencia dos quadros passados sobre ¯c[n]
¯c[n] =
NW −1
m=0
λmc[n − m]
max
j
NW −1
m=0
λmc[n − m]
, (5)
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 23:26

24. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Resultados
Conclus˜oes
Sistema VJ-CFA
Tabela: Tempo de treinamento Tt e de pr´e-processamento Tp em fun¸c˜ao
do ˆangulo de separa¸c˜ao θs utilizado na otimiza¸c˜ao da lista de imagens de
treinamento. NI (%) ´e o percentual do n´umero total de imagens
dispon´ıvel para treinamento que foi efetivamente utilizado.
θs(◦) Tp/T∗
p Tt/T∗
t Tp+t/T∗
p+t Tt/Tp NI (%)
0 0,14 1,00 1,00 39,19 100
45 1,00 0,21 0,39 1,13 57
50 0,81 0,13 0,27 0,84 45
55 0,62 0,07 0,18 0,61 35
60 0,45 0,03 0,11 0,56 24
65 0,31 0,01 0,07 0,20 13
O s´ımbolo“*”denota o valor m´aximo assumido pela vari´avel.
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 24:26

25. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Resultados
Conclus˜oes
Desempenho do Sistema
Os m´etodos desenvolvidos propiciaram:
a utiliza¸c˜ao do detector de faces de Viola-Jones para obten¸c˜ao
r´apida e autom´atica das coordenadas aproximadas dos olhos,
permitindo a normaliza¸c˜ao autom´atica da posi¸c˜ao
a redu¸c˜ao da redundˆancia do conjunto de treinamento,
levando a uma redu¸c˜ao significativa do tempo de treinamento
de cerca de 80%, sem impactar o reconhecimento
a determina¸c˜ao da significˆancia de um pico de correla¸c˜ao,
aumentando a confiabilidade da identifica¸c˜ao
a estabiliza¸c˜ao do vetor de picos de correla¸c˜ao, permitindo,
com isto, que a identifica¸c˜ao ficasse mais est´avel
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 25:26

26. ITJRSC COPPE/Poli/UFRJ
Sum´ario
Introdu¸c˜ao
Sistema de Reconhecimento de Faces
Discuss˜ao
Resultados
Conclus˜oes
Considera¸c˜oes Finais
O sistema permanece funcional para posi¸c˜oes de face n˜ao
frontais e com pequenas varia¸c˜oes na intensidade da
ilumina¸c˜ao
Mudan¸cas um pouco mais acentuadas na ilumina¸c˜ao (posi¸c˜ao
da fonte de ilumina¸c˜ao) podem dificultar o reconhecimento
´E necess´ario retreinar os filtros de correla¸c˜ao para acomodar
as novas varia¸c˜oes (aquisi¸c˜ao e treinamento) o que pode ser
considerado uma desvantagem do uso do algoritmo CFA
Trocar a cˆamera que fez a aquisi¸c˜ao das imagens de
treinamento por outra de caracter´ısticas diferentes ´e um
experimento que tamb´em precisa ser feito (o filtro continua
funcional?)
Jos´e, Eduardo, Manuel e Axel – ITJRSC/UFRJ Sistema de Autentica¸c˜ao por Faces – SBrT 2009 26:26