Apache Airflow

Airflow 是一个用于以编程方式创建、调度和监控数据管道的平台。
使用 Airflow，可将工作流编写为任务的有向无环图（DAG）。Airflow 调度器会根据指定的依赖关系，在一组工作者上执行任务。丰富的命令行工具使对 DAG 进行复杂操作变得轻松自如。强大的用户界面便于直观查看生产环境中的流水线运行状态，监控进度，并在需要时排查问题。

原则
动态：Airflow 流水线以代码形式配置（Python），支持动态生成流水线，允许编写可动态实例化流水线的代码。
可扩展：可轻松定义自定义算子、执行器并扩展库功能，以适应您环境所需的抽象层级。
简洁：Airflow 流水线简洁明确。通过强大的 Jinja 模板引擎，脚本参数化功能内置于核心。
可伸缩：Airflow 采用模块化架构，使用消息队列与任意数量的工作者进行协调。Airflow 可无限扩展。