Subido porSoftware Guru
Automatizando ideas con Apache Airflow
El documento presenta una introducción a Apache Airflow, una plataforma para crear y monitorear flujos de trabajo (dags) que fue desarrollada en 2014 por Maxime Beauchemin y se convirtió en un proyecto de nivel superior de la Apache Software Foundation en 2019. Se discuten los componentes principales de Airflow, incluyendo operadores, ventajas y desventajas, así como un caso práctico del equipo de finanzas que muestra su implementación en la actualización y procesamiento de datos. También se menciona su integración en servicios como Google Cloud y AWS, junto con referencias a herramientas relacionadas como Astronomer CLI.
Automatizando ideas con Apache Airflow
- 1. Yecely Díaz yecely.diaz@gmail.com Automatizandoideas con Apache Airflow
- 2. Agenda 01 03 02 04 05 ¿Qué es Apache Airflow? Historiareal Operadores DAG Demo
- 3. Historia real Equipo definanzas Script + BD 1:00 am 6:00 am Actualizar la consulta Descargar CSV Ejecutar su script 8:00 am 9:00 am Validación de los archivos Generar reporte Subir a S3 Enviar correo de confirmación
- 4. ‣ “Es unaplataforma que programáticamente puede crear, planificar y monitorizar flujos de trabajo (DAGs).” ‣ Secuencias de tareas ejecutadas por una planificación o evento. ‣ Creado en 2014 por Maxime Beauchemin (@mistercrunch). ‣ Sistema de gestión de workflow de Airbnb. ¿Qué es Apache Airflow?
- 5. ‣ Airflow seunió al programa Incubator de Apache Software Foundation en marzo de 2016 ‣ Anunció Airflow como un proyecto de nivel superior en enero de 2019. ‣ En 2018 se integró en el stack de Google Cloud ¿Qué es Apache Airflow?
- 6. DAG Válido Gráficos acíclicos dirigidos- Directed Acyclic Graphs
- 7.
- 8. ‣ Python ‣ Ejecución,planificación y distribución de tareas ‣ Monitoreo, logging y alertas ‣ Pruebas unitarias ‣ Plugins ‣ Interface de línea de comandos (CLI) e Interface de usuario (UI) Ventajas
- 9. ‣ No esintuitivo para usuarios nuevos ‣ Configuración del ambiente ‣ Sin soporte nativo para Windows Desventajas
- 10.
- 11. Operadores ‣ DAGs. Describencomo ejecutan el flujo de trabajo ‣ Operadores determinan lo que realmente hace una tarea ‣ Pueden compartir comunicación (XComs)
- 12.
- 13. Operadores ‣ BashOperator ‣ PythonOperator ‣EmailOperator ‣ SimpleHttpOperator ‣ MySqlOperator, SqliteOperator… ‣ DockerOperator ‣ S3Operator ‣ SlackAPIOperators ‣ Sensores
- 15. Historia real Equipo definanzas Script + BD 1:00 am 6:00 am Actualizar la consulta Descargar CSV Ejecutar su script 8:00 am 9:00 am Validación de los archivos Generar reporte Subir a S3 Enviar correo de confirmación
- 16.
- 17. ‣ Docker ‣ AstronomerCLI (https://github.com/astronomer/astro-cli#installing-astro) Ejecución local
- 18. ‣ CI/CD. Integracióncontinua y distribución continua ‣ Google Cloud Platform ‣ Amazon EKS (AWS Managed Kubernetes) ‣ Astronomer (https://www.astronomer.io/) ¿Y en producción?
- 20.