IA para Ciberseguridad

1
Autoencoders, GANS y otros chicos del montón Rooted CON 2019
Autoencoders, GANS y
otros chicos del montón:
La IA al servicio de la
Ciberseguridad
(en lo bueno y en lo malo)
/Rooted CON 2019 – Edición X
Pablo González
Enrique Blanco
@pablogonzalezpe
@eblanco_h

2
whoami $>
Pablo González
Ingeniero Informático & Máster Seguridad
Informática
2009 – 2013 Informática 64
2013 - ?? Telefónica (Ideas Locas – CDO)
Director Máster Seguridad de las TIC UEM
MVP Microsoft 2017-2018-2019
Co-fundador de Flu Project & hackersClub
Algunos libros (0xWord):
– Metasploit para pentesters
– Pentesting con Kali
– Ethical Hacking
– Got Root
– Pentesting con Powershell

3
whoami $>
Enrique Blanco
Licenciado en Ciencias Físicas (UCM)
Máster en Astrofísica (UCM)
Investigador en Data Science y Smart Energy
Grids en NEC Laboratories Europe GmbH
Ingeniería de Sistemas en Indra Espacio
Equipo de Ideas Locas CDO de Telefónica:
Proyectos de investigación y divulgación de
contenido relacionado con Inteligencia
Artificial.

4
¿De qué va esto?
1. Noticias (O Noticias Falsas)
2. IA aplicada a la Ciberseguridad ¿Matrimonio condenado a entenderse?
3. Técnicas para desarrollar ataques y defensas. Conceptos básicos (o
no…)
4. How-To: ¿Qué se puede hacer con esto? Mode Low-Cost = ON
5. Evolución & Aplicabilidad. Estafa del CEO

5
Noticias (O Noticias Falsas)
La Inteligencia Artificial (IA) como
generadora de Fake News
Fake Obama created using AI video tool - BBC News -
Publicado el 19 jul. 2017
El peligro de las Deep Fakes

6
Noticias (O noticias falsas)
El peligro de las Deep Fakes
Pornografía como primera aplicación reseñable, ¡por supuesto!

7
Noticias (O noticias falsas)
¿Importa una Fake News?

8
IA aplicada a la Ciberseguridad
¿Matrimonio condenado a
entenderse?
Ciberserguridad y la IA están unidas
Detección anomalías
LUCA Talk 6: Redes más seguras con
Machine Learning
Detección de phishing (Phish.AI)

9
Conceptos básicos (o no…)
¿Qué es el Machine Learning?
“La capacidad de una máquina de aprender de la experiencia”
Fuente: https://www.xataka.com/robotica-e-ia/machine-learning-y-deep-learning-
como-entender-las-claves-del-presente-y-futuro-de-la-inteligencia-artificial
Rama de la Inteligencia
Artificial (IA) que tiene como
objetivo extraer la mayor
cantidad de información y
conocimiento posible de los
datos.

10
¿Qué es un modelo?
• Representación matemática de un proceso del mundo real
• No es más que una función con la capacidad de dar una
predicción
• Generar un modelo de ML requiere proporcionar datos de
entrenamiento a un algoritmo para que éste pueda “aprender”
¿A qué nos referimos con algoritmo en ML?

11
¿Qué es un algoritmo?
• Conjunto de pasos realizados en orden
• Motor subyacente en el código que ejecutamos
• Definición: conjunto de pasos que se pasan a un modelo para que éste
realice los cálculos o el procesamiento
Fuente: https://www.ellucian.com/insights/machine-
learning-can-change-way-institutions-operate
feeds trains

12
Paradigmas de aprendizaje
Diferentes tipos de aprendizaje en ML englobados en los siguientes
conjuntos:
• Aprendizaje inductivo: ejemplos específicos para alcanzar conclusiones
(hipótesis) generales.
Diferenciamos:
–Aprendizaje supervisado
–Aprendizaje no supervisado
–Aprendizaje semi-supervisado
• Aprendizaje reforzado: realimentación proporcionada al final de una
secuencia de pasos, mediante un refuerzo positivo o negativo

13
Aprendizaje supervisado
• Usuario facilita a
algoritmo pares
entrada-salida de
ejemplo
• El algoritmo encargado
de aprender la relación
entrada-salida
• Se podrá dar una salida
para una entrada jamás
vista
Fuente: http://jeremy.kiwi.nz/pythoncourse/2016/04/01/lesson07rd.html

14
Aprendizaje no supervisado
• No hay ningún tipo de
supervisión. Sólo se
cuenta con datos de
entrada.
• Misión:
–describir la
estructura de los
datos,
–encontrar algún tipo
de organización para
simplificar el
análisis.
• Carácter exploratorio Fuente: http://jeremy.kiwi.nz/pythoncourse/2016/04/01/lesson07rd.html

15
¿Qué son las Redes Neuronales?
• Modelo computacional que comparte propiedades con el cerebro animal.
Muchas unidades simples trabajan en paralelo sin una unidad de control
centralizada.
• Comportamiento de una red neuronal definido por la arquitectura de su
red.
• Arquitectura caracterizada por :
–Número de neuronas
–Profundidad o número de capas
–Conexiones existentes entre capas

16
¿Qué son las Redes Neuronales?
• Modelo computacional que comparte propiedades con el cerebro animal.
Muchas unidades simples trabajan en paralelo sin una unidad de control
centralizada.
• Comportamiento de una red neuronal definido por la arquitectura de su
red.
• Arquitectura caracterizada por :
–Número de neuronas
–Profundidad o número de capas
–Conexiones existentes entre capas
Fuente: Multilayer neural network topology. Deep Learning, A
practiotioner’s approach. O’Reilly.
Fuente: Single-layer perceptron. Deep Learning, A practiotioner’s approach.
O’Reilly.

17
Deep Learning
Conjunto de algoritmos de ML que modelan abstracciones de alto nivel
en datos usando arquitecturas profundas
• Arquitecturas de Deep Learning:
• Redes Neuronales Profundas (DNN)
• Redes Neuronales Convolucionales (CNN)
• Redes Neuronales Recurrentes (RNN)
• …
• Aplicadas a Visión Artificial, Natural Language Processing…
The activations of an example ConvNet architecture.
Fuente: http://cs231n.github.io/convolutional-networks/

18
Deep Learning
Conjunto de algoritmos de ML que modelan abstracciones de alto nivel
en datos usando arquitecturas profundas
• Arquitecturas de Deep Learning:
• Redes Neuronales Profundas (DNN)
• Redes Neuronales Convolucionales (CNN)
• Redes Neuronales Recurrentes (RNN)
• …
• Aplicadas a Visión Artificial, Natural Language Processing…
The activations of an example ConvNet architecture.
Fuente: http://cs231n.github.io/convolutional-networks/

19
Modelos generativos
• Aprenden tipo de distribución de datos a través de un aprendizaje no
supervisado ¡Datos no etiquetados!
• Meta: generar nuevas muestras con ligeras variaciones sobre esa
distribución
• Dos enfoques más utilizados:
–Variational Autoencoders (VAEs)
–Generative Adversarial Networks (GANs)

20
Autoencoders
• Enfoque no supervisado para el aprendizaje de una representación de
características en un espacio dimensional reducido
Datos de entrada
Reconstrucción

21
Autoencoders
• Se parte de datos sin etiquetar

22
• Se parte de datos sin etiquetar
Autoencoders
Características del
encoder:
1. Input procesado
por ReLU CNN
2. Modelo denso
para obtener z

23
• Codificamos la info de entrada
Autoencoders
encoder:
1. Input procesado
por ReLU CNN
2. Modelo denso
para obtener z
Q: ¿Por qué
queremos reducir
las características?

24
Autoencoders
• Codificamos la info de entrada
encoder:
1. Input procesado
por ReLU CNN
2. Modelo denso
para obtener z
Q: ¿Por qué
queremos reducir
las características?
A: Para poder
capturar
variaciones
significativas en los
cambios en la
entrada a la red

25
Autoencoders
• Reconstruimos las imágenes

26
Autoencoders
decoder:
Se invierte la
arquitectura del
Encoder

27
Autoencoders
decoder:
Se invierte la
arquitectura del
Encoder
Datos de entrada
Reconstrucción

28
Variational Autoencoders (VAEs)
Generando datos:
Muestreo aleatorio en z y usar la red decoder

29
Generative Adversarial Networks
(GANs)
• Red neuronal basada en un juego de suma cero
• Dos jugadores – generador (G) y discriminador (D) – compiten el uno
contra el otro
Real Pablo
Fake Pablo

30
(GANs)
• Entrenamiento de GANs:
–G genera muestras y se las
pasa a D (G intenta engañar
a D)
–D estima la probabilidad de
que la muestra provenga de
G (D intenta descubrir a G)
• Entrenar D para desenmascarar
a G maximizando la probabilidad
de que D esté equivocado
• Facilitar a G cómo de cerca ha
estado de engañar a D
Fuente: https://www.kdnuggets.com/2017/01/generative-
adversarial-networks-hot-topic-machine-learning.html

31
(GANs)
Riesgos en el entrenamiento de GANs:
–Largos tiempos de entrenamiento
–El modelo puede no converger. Difícil elegir arquitectura
idónea. Dificultad en la elección de hiperparámetros.
–G se queda estancado y no genera muestras variadas
–D se hace demasiado bueno y condena a G

32
(GANs)
Riesgos en el entrenamiento de GANs:
–Largos tiempos de entrenamiento
–El modelo puede no converger. Difícil elegir arquitectura
idónea. Dificultad en la elección de hiperparámetros.
–G se queda estancado y no genera muestras variadas
–D se hace demasiado bueno y condena a G

33
Autoencoder Attack
Caso 1: Pablo se mete a cómico
Técnica de FaceSwapping con VAEs
https://github.com/iperov/DeepFaceLab
Características HW
Modelo HP ZBook Studio G4
Procesador Intel® Core™ i7-
7700HQ CPU @
2.80GHz
RAM instalada 16,0 GB
GPU NVIDIA Quadro M1200
4 GB
Requisitos SW
Pre-built Windows App
CUDA 9.0
CUDNN 7.1
Drivers aplicables a la GPU

34
Faceswapping Pablo González – Miguel Lago
Autoencoder Attack
Caso 1: Pablo se mete a cómico

35
AutoencoderAttack
Caso 2: Enrique entrena a un equipo de
fútbol
Faceswapping Enrique Blanco – Mourinho

36
Autoencoder Attack
Pasos para realizar un faceswapping
1. Detección y extracción de rostros
Duración recomendada:
∼ 2 min mínimo
Condiciones similares
de iluminación al vídeo
de destino
Orientación similar del
rostro
[ ! ] Extracción de 2,924
rostros
Ejemplo de detección de
marco facial
[ ! ] Extracción de 3,605
rostros

37
Autoencoder Attack
2. Entrenar el VAE
Imagen original Imagen
reconstruida
Vector
base
Encoder Decoder

38
Vector
base A
Encoder A Decoder A
Vector
base B
Encoder B Decoder B
Imagen original B
Imagen original A
Imagen reconstruida B
Imagen reconstruida A
Autoencoder Attack
2. Entrenar el VAE

39
Autoencoder Attack
2. Entrenar el VAE
Vector
base A
Encoder A Decoder A
Vector
base B
Encoder B Decoder B
Imagen original B
Imagen original A

40
Autoencoder Attack
2. Entrenar el VAE
Vector
base A
Encoder Decoder A
Vector
base B
Encoder Decoder B
Imagen original B
Imagen original A

41
Autoencoder Attack
2. Entrenar el VAE
Vector
base A
Encoder Decoder A
Vector
base B
Encoder Decoder B
Imagen original B
Imagen original A

42
Autoencoder Attack
2. Entrenar el VAE
Imágenes originales
(test dataset) [1, 3]
Imágenes de A generadas
tras Decoder A [2]
Imágenes de B generadas
tras Decoder B [4]
Imágenes de A generadas
tras Decoder B [5]

43
Autoencoder Attack
2. Entrenar el VAE
Timelapse 70,000 épocas (∼ 1 día)
Tiempo de entrenamiento extenso
aprox. 3 días (∼200,000 épocas)

44
Autoencoder Attack
3. Testeo de la red neuronal y generación del vídeo
Vector
base A
Decoder A
Vector
base B
Encoder
Decoder B
Imagen original B
Imagen
reconstruida de B
con las facciones
de A
Imagen original A
Imagen
reconstruida de A
con las facciones
de B
Encoder

45
GANs Attack
¿Cómo convertirse en Chema Alonso?
Modelo generativo para imitar las facciones detectadas por una cámara.
face2face-demo: toma los facial landmarks para la generación de rostros
haciendo uso de DCGAN. https://github.com/datitran/face2face-demo
(*) Image-to-Image Translation with Conditional Adversarial Networks. Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros;
Nov 2016
Requisitos SW
Anaconda / Python 3.5
tensorflow-gpu 1.3
openCV 3.0
dlib 19.4
pix2pix-tensorflow (*)
CUDA 8.0
CUDNN 6.0
Drivers aplicables a la GPU

46
GANs Attack
1. Generación de datos de entrenamiento
a. Detección del rostro del vídeo fuente
b. Detección de las facciones con dlib pose estimator – 68 face
landmarks (*)
(*) One Millisecond Face Alignment with an Ensemble of Regression Trees by Vahid Kazemi and Josephine Sullivan, CVPR 2014
728 frames del video
original

47
2. Entrenamiento del modelo generativo
Hace uso de pix2pix-tensorflow (implementación original en Torch)
Tiempo estimado de entrenamiento: 3 días
3. Testeo del modelo
a. Reducir el modelo entrenado (usar una imagen como tensor de
input)
b. Congelar el modelo a un único fichero
c. Ejecutar el testeo facilitando como entrada imágenes de
webcam
GANs Attack

48
2. Entrenamiento del modelo generativo
Hace uso de pix2pix-tensorflow (implementación original en Torch)
Tiempo estimado de entrenamiento: 3 días
3. Testeo del modelo
a. Reducir el modelo entrenado (usar una imagen como tensor de
input)
b. Congelar el modelo a un único fichero
c. Ejecutar el testeo facilitando como entrada imágenes de
webcam
Demo de la cara de Chema con rostro aleatorio
GANs Attack

49
GANs Attack.
Audio – Estafa del CEO CDO

50
Modelo personalizado de voz de la persona a suplantar.
Neural Text-to-Speech (TTS) Microsoft: Deep Neural Networks para
mejorar pronunciación y entonación
https://azure.microsoft.com/es-es/blog/microsoft-s-new-neural-text-to-speech-service-
helps-machines-speak-like-people/
GANs Attack.

51
Microsoft Custom Voice
Aislar muestras de audio (en inglés) de la persona a suplantar
[Lenguajes soportados: English, Chinese]
1. Descarga de audios (.wav) desde YouTube en Inglés
2. 314 utterances de s cada uno h
GANs Attack.

52
Microsoft Custom Voice
Aislar muestras de audio (en inglés) de la persona a suplantar
[Lenguajes soportados: English, Chinese]
3. Transcripciones: Speech-to-Text de cada audio en formato .txt;
Google Cloud Speech-to-Text API
4. Subir audios y transcripciones para obtener modelo
5. Modelo satisfactoriamente construido → despliegue
Tiempo aproximado de entrenamiento: 8 horas
GANs Attack.

53
Postprocesado digital de la voz generada como audio monofónico
@lucferbux
Se trataron características de la voz, tono, timbre, vibrato e inflexión
Añadido filtro telefónico y ruido de fondo
Resultado: timbre bien logrado pero entonación robótica
Causas:
–Grabaciones no realizadas en estudio
–SNR bajas en algunos audios
Estafa lista. Vídeo de Chema con el audio
GANs Attack.

54
Postprocesado digital de la voz generada como audio monofónico
@lucferbux
Se trataron características de la voz, tono, timbre, vibrato e inflexión
Añadido filtro telefónico y ruido de fondo
Resultado: timbre bien logrado pero entonación robótica
Causas:
–Grabaciones no realizadas en estudio
–Tasa de pronunciación no óptimas
–SNR bajas en algunos audios
Estafa lista. Vídeo de Chema con el audio
GANs Attack.
Video+Audio – Estafa del CEO CDO

55
Detección. La IA al servicio de lo bueno
Análisis de sentimientos
Redes sociales, diarios digitales …
• Fuentes muy importantes de información
• Información fácilmente manipulable
• Facilita la rápida difusión de información no contrastada

56
Detección de Fake News: un problema sencillo de aplicación de ML
• Aprendizaje supervisado
– Dos clases
• 0 – noticia verdadera
• 1 – noticia falsa
– Procesado de Lenguaje Natural (NLP)
• Uso de Redes Neuronales Recurrentes (LSTM (*))
(*) A Survey on Natural Language Processing for Fake News Detection. Ray Oshikawa, Jing
Qian, William Yang Wang; Nov 2018

57
Detección de Fake News: un problema sencillo de aplicación de ML
• Aprendizaje supervisado
– Dos clases
• 0 – noticia verdadera
• 1 – noticia falsa
– Procesado de Lenguaje Natural (NLP)
• Uso de Redes Neuronales Recurrentes (LSTM (*))
– Dificultades:
• Gran cantidad de información requerida
• Enorme esfuerzo para etiquetado de muestras
(*) A Survey on Natural Language Processing for Fake News Detection. Ray Oshikawa, Jing
Qian, William Yang Wang; Nov 2018

58
Detección de Fake News
Extensiones y APIs para detección de noticias:
• Legítimas
• Fake News
• Click Bait
• Extremadamente sesgadas
• Sátira
https://github.com/fake-
news-detector/fake-news-
detector

59
Detección de Fake News
Extensiones y APIs para detección de noticias:
• Verificación de dominios de origen como fuente verídica
• Análisis de patrones en el contenido de la noticia
• Búsqueda de keywords para mejorar la búsqueda, categorización y
manejo de información
https://machinebox.io/docs/
fakebox

60
Patrones biométricos en vídeos
WIFS2018_In_Ictu_Oculi: Exposing AI Generated Fake Face Videos by Detecting Eye Blinking
Yuezun Li, Ming-Ching Chang and Siwei Lyu Computer Science Department, University at
Albany, SUNY
Uso de Redes Convolucionales Recurrentes para detectar vídeos falsos
Figura 1: In Ictu Oculi paper

61
WIFS2018_In_Ictu_Oculi: Exposing AI Generated Fake Face Videos by Detecting Eye Blinking
Yuezun Li, Ming-Ching Chang and Siwei Lyu Computer Science Department, University at
Albany, SUNY
Uso de Redes Convolucionales Recurrentes para detectar vídeos falsos
Figura 2: In Ictu Oculi paper

62
Desenmascarando vídeos falsos con Machine Learning
Irregularidades en el parpadeo del vídeo (*)
Rutina que caracteriza:
• Número de parpadeos
• Velocidad de parpadeo [blink/s]
• Duración del parpadeo y desviación típica [s]
• Máxima y mínima separación entre parpadeos
(*) Analysis of blink rate patterns in normal subjects. Bentivoglio AR, Bressman SB, Cassetta
E, Carretta D, Tonali P, Albanese A. National Center for Biotechnology Information 1997
Nov;12(6):1028-34.

63
Sencillo Clasificador Gaussiano
• Velocidad de parpadeo [blink/s]
• Duración del parpadeo [s]
Muestras aleatorias para
entrenamiento y testeo del
modelo.

64
Sencillo Clasificador Gaussiano
Faceswapping Pablo → Miguel Lago Faceswapping S. Buscemi → J. Lawrence

65
Conclusiones
1. “ If everything seems to be the same and no distinctions are made,
then we won’t know what to protect. We won’t know what to fight
for. And we can lose so much of what we’ve gained in terms of the
kind of democratic freedoms and market-based economies and
prosperity that we’ve come to take for granted
Barack Obama
2. Engañar a la gente sale ‘muy barato’
3. La IA y la Ciberseguridad irán de la mano
4. Los límites de la IA no se han vislumbrado y la Ciberseguridad se verá
fortalecida (y atacada) por ellos
5. El conocimiento y la concienciación son los pilares sobre los que nos
apoyaremos (de nuevo) para protegernos

66
Muchas gracias@pablogonzalezpe
@eblanco_h

IA para Ciberseguridad

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (10)

Similar a IA para Ciberseguridad

Similar a IA para Ciberseguridad (20)

Más de RootedCON

Más de RootedCON (20)

Último

Último (16)

IA para Ciberseguridad