Este documento describe un método semi-automático para la reconstrucción de modelos 3D de caras a partir de múltiples vistas. El método incluye el alineamiento de caras en imágenes mediante regresión lineal múltiple y la reconstrucción 3D utilizando interpolación con funciones de base radial para deformar los puntos de control de la cara 3D a partir de los puntos alineados en 2D. El método se prueba en experimentos y se concluye que es rápido, flexible y robusto para aplicaciones como videojuegos y pelí

1. Método Semi-Automático para el
modelado de caras 3D a partir de
Múltiples Vistas.
Bowen Aguayo, Lincoln Emilio

2. ÍNDICE
1. Introducción.
2. Objetivos.
3. Conceptos previos.
4. Desarrollo del método utilizado para el alineamiento de caras en las imágenes.
5. Desarrollo del método para la reconstrucción de caras en 3D.
6. Experimentos.
7. Conclusión.
1/23

3. INTRODUCCIÓN
𝑀11 =
𝛼11 ⋯ 𝛼1𝑛
⋮
𝛼 𝑚1
⋱
⋯
⋮
𝛼 𝑚𝑛
2/23

4. INTRODUCCIÓN
APLICACIONES:
• Videojuegos
• Películas
• Avatares
• …
NBA 2K15 for PS3 [1]
Siggraph 2014 [3]
Automatic Acquisition of High-fidelity[2]
Automatic Acquisition of High-fidelity[2] 3/23

5. OBJETIVOS
4/23

6. OBJETIVOS
Método de alineamiento
de cara.
Ajuste de los puntos 2D
alineados con los puntos
de control en el modelo
3D.
Interpolación RBF desde
los puntos de control a
todos los vértices del
modelo.
5/23

7. CONCEPTOS PREVIOS
• Descriptores de imágenes (Image Descriptors)
• Regresión lineal múltiple
• Interpolación con funciones de base
radial
6/23

8. CONCEPTOS PREVIOS
Descriptores
de imágenes
• Orb descriptor
• SIFT descriptor
• SURF descriptor
• Local Binary Features
(LBF)
• Histogram of
Gradients (HOG)
• …
HOG SIFT
7/23

9. CONCEPTOS PREVIOS
Regresión lineal
• Regresión lineal
simple
• Regresión lineal
múltiple
𝑌 = 𝛽 𝑘 𝑋 𝑘 + 𝜀 𝑌𝑖
𝑇
= 𝑋𝑖
𝑇
𝐵 + 𝜀𝑖
𝑇
𝑩 = (𝑿 𝑻 𝑿)−𝟏 𝑿 𝑻 𝒀
8/23

10. CONCEPTOS PREVIOS
Interpolación de
funciones con base
radial.
• Gaussian
• Multi-cuadrática
• Cuadrática inversa
• Multi-cuadrática
inversa
• …
∅ 𝑥, 𝑐 = ∅( 𝑥 − 𝑐 )
𝑦 𝑥 =
𝑖=1
𝑁
𝑤𝑖∅( 𝑥 − 𝑥𝑖 )
9/23

11. ENTRENAMIENTO DEL MODELO
DESARROLLO DE ALINEAMIENTO DE CARA
10/23

12. DESARROLLO DE ALINEAMIENTO DE CARA
ENTRADA DESARROLLO SALIDA
𝑎𝑟𝑔 min
𝑅 𝑘 𝑏 𝑘
𝑑 𝑖 𝑑 𝑘
𝑖
∆𝑥∗
𝑘𝑖 − 𝑅 𝑘∅ 𝑘
𝑖
− 𝑏 𝑘
2
𝑥 𝑘 = 𝑥 𝑘−1 + 𝑅 𝑘−1∅ 𝑘−1 + 𝑏 𝑘−1
𝑅 𝑘
Dirección
descendente genérica.
11/23

13. DESARROLLO DE ALINEAMIENTO DE CARA
𝑎𝑟𝑔 min
𝑅 𝑘 𝑏 𝑘
𝑑 𝑖
𝑑 𝑘
𝑖
∆𝑥∗
𝑘𝑖
− 𝑅 𝑘∅ 𝑘
𝑖
− 𝑏 𝑘
2
𝑥 𝑘 = 𝑥 𝑘−1 + 𝑅 𝑘−1∅ 𝑘−1 + 𝑏 𝑘−1
12/23

14. DESARROLLO DE CONSTRUCCIÓN DE CARA
ENTRADA DESARROLLO SALIDA
𝑅 𝑘
• Ubicar los puntos de control en
cada una de las imágenes.
• Deformar los puntos de control de
la imagen 3D, dependiendo de la
ubicación de los puntos 2D.
• Interpolar los desplazamientos que
se han obtenido por la
deformaciones de los puntos de
control hacia toda la cara (RBF).
• Calibrar la cámara 3D-a-2D
utilizando EPnP.
13/23

15. DESARROLLO DE CONSTRUCCIÓN DE CARA
14/23

16. EXPERIMENTOS
Experimentos con
alineamiento de
caras
15/23

17. EXPERIMENTOS
A medida que se avanza en el número de perturbaciones, el error va
disminuyendo hasta llegar a una asíntota.
Experimentos con
alineamiento de
caras
16/23

18. EXPERIMENTOS
Experimentos con
alineamiento de
caras
17/23

19. Experimentos con
la reconstrucción
3D.
Aquí se observan los errores normalizados correspondientes al
alineamiento de cara.
EXPERIMENTOS
Experimentos con
alineamiento de
caras
18/23

20. EXPERIMENTOS
Experimentos con
la reconstrucción
3D.
19/23

21. Aquí se observan los errores normalizados una vez obtenido el modelo final en
comparación con la posición de los puntos de control colocados manualmente.
EXPERIMENTOS
Experimentos con
la reconstrucción
3D.
20/23

22. CONCLUSIÓN
• El método es rápido, tarda aproximadamente 4 segundos una vez que se tiene
todos los puntos de control en los sitios correspondientes. Se lo probó en un
ordenador con un procesador Intel(R) Core™ i5-3330 CPU @ 3.00 GHz 3.20 GHz. El
tiempo depende de la cantidad de vértices de los que está compuesto el modelo
3D y la cantidad de iteraciones que se quieren hacer.
• Es bastante flexible y robusto para la aplicación en diversas caras.
• Se puede trabajar con una sola imagen, permitiendo de esta manera la
automatización completa, ya que resulta más fácil la detección de los puntos
frontales. Así mismo se pueden encontrar diversas bases de datos con puntos de
dicho perfil.
21/23

23. FUTUROS TRABAJOS
MEJORAR TEXTURIZADO IMPLEMENTACIÓN DE UN
MÉTODO DE ALINEAMIENTO DE
CARA QUE APRENDA CON CADA
MODELO NUEVO.
MEJORAR LAS
PERTURBACIONES AL
MOMENTO DE ENTRENAR EL
MODELO
Akshay Asthana, Stefanos Zafeiriou, Shiyang
Cheng and Maja Pantic [4]
Xuehan Xiong and Fernando De la Torre [5]
22/23

24. 23/23
GRACIAS
¿PREGUNTAS?

25. BIBLIOGRAFÍA
[1] Available for the PS4 and Xbox One, the face scan feature maps your entire face into small points and creates
your features and look. Your time has come to scan. Watch how it works:
https://www.youtube.com/watch?v=6eAkgVC3moo
[2] Automatic Acquisition of High-fidelity Facial Performances Using Monocular Videos SIGGRAPH Asia 2014.
©www.simplyshredded.com, Ken Taylor, and Hollywood Foreign Press Association, used with permissions. We have
presented a facial performance capture system that automatically captures high-fidelity facial performances using
uncontrolled monocular videos (e.g., Internet videos): https://www.youtube.com/watch?v=Fsktl1vUzGg
[3] We present a fully automatic approach to real-time facial tracking and animation with a single video camera:
https://www.youtube.com/watch?v=mAGEiv3UNEU
[4] Akshay Asthana, Stefanos Zafeiriou, Shiyang Cheng, and Maja Pantic. Incremental
face alignment in the wild. Computer Vision and Pattern Recognition, 2014.
[5] Xuehan Xiong and Fernando De la Torre. Supervised descent method and its applications
to face alignment. Computer Vision and Pattern Recognition, 2013