Se ha denunciado esta presentación.
Se está descargando tu SlideShare. ×

Automatizando ideas con Apache Airflow

Anuncio
Anuncio
Anuncio
Anuncio
Anuncio
Anuncio
Anuncio
Anuncio
Anuncio
Anuncio
Anuncio
Anuncio
Próximo SlideShare
El mundo cloud y las apis
El mundo cloud y las apis
Cargando en…3
×

Eche un vistazo a continuación

1 de 25 Anuncio
Anuncio

Más Contenido Relacionado

Similares a Automatizando ideas con Apache Airflow (20)

Más de Software Guru (20)

Anuncio

Más reciente (20)

Automatizando ideas con Apache Airflow

  1. 1. Yecely Díaz 
 yecely.diaz@gmail.com Automatizando ideas con Apache Airflow
  2. 2. Agenda 01 03 02 04 05 ¿Qué es Apache Airflow? Historia real Operadores DAG Demo
  3. 3. Historia real Equipo de finanzas Script + BD 1:00 am 6:00 am Actualizar la consulta Descargar CSV Ejecutar su script 8:00 am 9:00 am Validación de los archivos Generar reporte Subir a S3 Enviar correo de confirmación
  4. 4. ‣ “Es una plataforma que programáticamente puede crear, planificar y monitorizar flujos de trabajo (DAGs).”
 ‣ Secuencias de tareas ejecutadas por una planificación o evento.
 ‣ Creado en 2014 por Maxime Beauchemin (@mistercrunch).
 ‣ Sistema de gestión de workflow de Airbnb. ¿Qué es Apache Airflow?
  5. 5. ‣ Airflow se unió al programa Incubator de Apache Software Foundation en marzo de 2016 ‣ Anunció Airflow como un proyecto de nivel superior en enero de 2019. ‣ En 2018 se integró en el stack de Google Cloud ¿Qué es Apache Airflow?
  6. 6. DAG Válido Gráficos acíclicos dirigidos - Directed Acyclic Graphs
  7. 7. DAG Inválido
  8. 8. ‣ Python
 ‣ Ejecución, planificación y distribución de tareas
 ‣ Monitoreo, logging y alertas
 ‣ Pruebas unitarias
 ‣ Plugins ‣ Interface de línea de comandos (CLI) e Interface de usuario (UI) 
 
 Ventajas
  9. 9. ‣ No es intuitivo para usuarios nuevos
 ‣ Configuración del ambiente
 ‣ Sin soporte nativo para Windows
 Desventajas
  10. 10. Componentes principales
  11. 11. Operadores ‣ DAGs. Describen como ejecutan el flujo de trabajo ‣ Operadores determinan lo que realmente hace una tarea
 ‣ Pueden compartir comunicación (XComs)
  12. 12. Componentes principales
  13. 13. Operadores ‣ BashOperator
 ‣ PythonOperator
 ‣ EmailOperator
 ‣ SimpleHttpOperator
 ‣ MySqlOperator, SqliteOperator…
 ‣ DockerOperator
 ‣ S3Operator
 ‣ SlackAPIOperators
 ‣ Sensores
  14. 14. Historia real Equipo de finanzas Script + BD 1:00 am 6:00 am Actualizar la consulta Descargar CSV Ejecutar su script 8:00 am 9:00 am Validación de los archivos Generar reporte Subir a S3 Enviar correo de confirmación
  15. 15. Demo
  16. 16. ‣ Docker ‣ Astronomer CLI (https://github.com/astronomer/astro-cli#installing-astro) 
 Ejecución local
  17. 17. ‣ CI/CD. Integración continua y distribución continua ‣ Google Cloud Platform ‣ Amazon EKS (AWS Managed Kubernetes)  ‣ Astronomer (https://www.astronomer.io/) ¿Y en producción?
  18. 18. Dudas y comentarios @silvercorp yecely.diaz@gmail.com

×